現代のAIは24時間体制の「子守り」が必要? 開発者の泥臭い努力を聞く回【大規模言語モデル3】#131
· 34 min
Episode 現代のAIは24時間体制の「子守り」が必要? 開発者の泥臭い努力を聞く回【大規模言語モデル3】#131
【PR】NordVPN
下記のリンクからお申し込みいただくと、サブスクリプション費用が大幅割引!さらに今なら4か月分が延長されます。30日間の全額返金保証もあるので、この機会にぜひお試しください。
▼詳細はこちらから https://nordvpn.com/yurucomputer
▼クーポンコード yurucomputer *クーポンコードはチェックアウト時にご入力ください
*上記URL経由では自動でクーポンが反映されます
AI技術者は泥臭い努力まみれでした。「データ王に俺はなる!!!」「大規模言語モデルに必要な子守りと学校教育」「泥臭い努力でデータの泥を取り除く」など、大規模言語モデル研究者たちの努力について話しました。
【ことラボ】
◯Twitter → https://x.com/KotoLaboRyo
◯YouTube → https://www.youtube.com/@kotolabo
【目次】
0:00 データ王に俺はなる!!!
1:02 コモン・クロールは海賊王の上位互換
5:30 データの泥を取り除く
16:58 大規模言語モデルの子守りは大変
20:54 大規模言語モデルにも学校教育が必要
25:23 泥臭い努力が大きなものを生む
29:51 一番恥ずかしい思いをしたのはどっち?
【参考文献】
◯大規模言語モデル
https://amzn.to/3VKqed7
◯大規模言語モデル開発における日本語 Web 文書のフィルタリング手法の検証(榎本 et al., 言語処理学会 2024)
https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/P8-6.pdf
→動画内で紹介した「意味がありそうでない文字列」はここから。
◯ONE PIECE
https://amzn.to/3VDysCl
◯ichikara-instruction LLMのための日本語インストラクションデータの作成
https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A6-3.pdf
◯ゲンロン戦記
https://amzn.to/4ch6xPU
【サポーターコミュニティへの加入はこちらから!】
https://yurugengo.com/support
【親チャンネル:ゆる言語学ラジオ】
https://www.youtube.com/@yurugengo
【実店舗プロジェクト:ゆる学徒カフェ】
https://www.youtube.com/@yurugakuto
【おたよりフォーム】
https://forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています!
【お仕事依頼はこちら!】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→https://twitter.com/kenhori2
noteマガジン→https://note.com/kenhori2/m/m125fc4524aca
個人YouTube→https://www.youtube.com/@kenHorimoto
【水野太貴プロフィール】 名古屋大学文学部卒。専門は言語学。某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→https://twitter.com/yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ (https://open.spotify.com/show/7Ba89bnuEW0pyMeUbGR3oT)
◯ゆる民俗学ラジオ (https://open.spotify.com/show/2OPaWdgRVuUv5jLeFBViDU)
◯ゆる天文学ラジオ (https://open.spotify.com/show/6CGctNRBpOJmNPPSbvGV51 )
◯ゆる書道学ラジオ (https://open.spotify.com/show/03kMZOoIJS9ybknZGv3zXc)
◯ゆる生態学ラジオ (https://open.spotify.com/show/7tTeHy7MjTGmrFrPGmjwMz)
◯ゆる哲学ラジオ (https://open.spotify.com/show/7t8NNVqRiisEHL4HG9tArT)
Links in the notes 20
- https://nordvpn.com/yurucomputer
- https://x.com/KotoLaboRyo
- https://www.youtube.com/@kotolabo
- https://amzn.to/3VKqed7
- https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/P8-6.pdf
- https://amzn.to/3VDysCl
- https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A6-3.pdf
- https://amzn.to/4ch6xPU
- https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbjZCX29YNURmb2JvTVZFMFA4c3VsN0hXYjUxd3xBQ3Jtc0ttemwzZkZxbzBuZzNQREdoRnpCT2pRUjIxX0xiSTRqNS1HZFRXd2dtRmlxNlluQlBmUUd5LVZJOTdhel9fb1BjYU9KbDBnLWUyLXV4M1dkZ3VHREk0cEMwMEREcXRZVjgyNEtPMW5Tb1dJZFoydEh2cw&q=https%3A%2F%2Fyurugengo.com%2Fsupport&v=i3I8hbNMjwg
- https://www.youtube.com/@yurugengo
- https://www.youtube.com/@yurugakuto
- https://forms.gle/BLEZpLcdEPmoZTH4A
- https://twitter.com/kenhori2
- https://note.com/kenhori2/m/m125fc4524aca
- https://www.youtube.com/@kenHorimoto
- https://twitter.com/yuru_mizuno
- https://open.spotify.com/show/7Ba89bnuEW0pyMeUbGR3oT
- https://open.spotify.com/show/2OPaWdgRVuUv5jLeFBViDU
- https://open.spotify.com/show/6CGctNRBpOJmNPPSbvGV51
- https://open.spotify.com/show/03kMZOoIJS9ybknZGv3zXc
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.