Podlodka #444 – Архитектура LLM
· 1 h 24 min
Episode Podlodka #444 – Архитектура LLM
Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka
Ведущие в выпуске: Женя Кателла, Андрей Смирнов
Полезные ссылки:
Illustrated Transformer https://jalammar.github.io/illustrated-transformer/
Attention is all you need https://arxiv.org/abs/1706.03762
Illustrated BERT https://jalammar.github.io/illustrated-bert/
GPT-family models overview https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/
A bit of overview of tokenization https://huggingface.co/learn/llm-course/en/chapter6/1
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.