Podcasts · ゆるコンピュータ科学ラジオ

【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】#130

· 49 min

Episode 【数えるだけ】AIが単語を理解するトリックが巧妙すぎる【大規模言語モデル2】#130

0:00 49:23

プロモーション:Notion AI

Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。

https://ntn.so/yurucom1

大規模言語モデルの肝「単語ベクトル」とは?「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。

【ことラボ】

◯Twitter → https://x.com/KotoLaboRyo

◯YouTube → https://www.youtube.com/@kotolabo

◯「単語ベクトル」とは何か? → https://youtu.be/l8YCKz15Hn8

【目次】

0:00 コアラの対義語は?

0:46 大規模言語モデルの肝「単語ベクトル」

6:36 単語を数字の組で表す

14:32 実際には「次元圧縮」している

18:00 対義語は真逆のベクトル?

21:57 ぬくもりを捨てることで実現した技術

26:56 素晴らしきNotionAI

30:18 文脈化単語埋め込みは味付け化係

38:34 とにかく何かいい感じになる

43:33 ニューラルネットワークとは何なのか

【参考文献】

◯大規模言語モデル

https://amzn.to/3VKqed7

◯キテレツおもしろ自然言語処理

https://amzn.to/3VwInd4

◯風俗の虫―捜査官が覗いた日本の風俗70年

https://amzn.to/4bbs62W

◯自然言語処理の必須知識!Word2Vec とは?

https://www.kikagaku.co.jp/kikagaku-blog/word2vec/

※単語ベクトルの出典

◯【入門】深層学習の革命児!Transformer を今こそ理解しよう

https://www.kikagaku.co.jp/kikagaku-blog/deep-learning-transformer/

※文脈化単語埋め込みの出典

【サポーターコミュニティへの加入はこちらから!】

https://yurugengo.com/support

【親チャンネル:ゆる言語学ラジオ】

https://www.youtube.com/@yurugengo

【実店舗プロジェクト:ゆる学徒カフェ】

https://www.youtube.com/@yurugakuto

【おたよりフォーム】

https://forms.gle/BLEZpLcdEPmoZTH4A

※皆様からの楽しいおたよりをお待ちしています!

【お仕事依頼はこちら!】

info@pedantic.jp

【堀元見プロフィール】

慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。

Twitter→https://twitter.com/kenhori2

noteマガジン→https://note.com/kenhori2/m/m125fc4524aca

個人YouTube→https://www.youtube.com/@kenHorimoto

【水野太貴プロフィール】 名古屋大学文学部卒。専門は言語学。某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。

Twitter→https://twitter.com/yuru_mizuno

【姉妹チャンネル】

◯ゆる音楽学ラジオ (https://open.spotify.com/show/7Ba89bnuEW0pyMeUbGR3oT)

◯ゆる民俗学ラジオ (https://open.spotify.com/show/2OPaWdgRVuUv5jLeFBViDU)

◯ゆる天文学ラジオ (https://open.spotify.com/show/6CGctNRBpOJmNPPSbvGV51 )

◯ゆる書道学ラジオ (https://open.spotify.com/show/03kMZOoIJS9ybknZGv3zXc)

◯ゆる生態学ラジオ (https://open.spotify.com/show/7tTeHy7MjTGmrFrPGmjwMz)

◯ゆる哲学ラジオ (https://open.spotify.com/show/7t8NNVqRiisEHL4HG9tArT)

The episode on the publisher’s site (opens in a new tab)

Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.