Podcasts · Подкаст о машинном обучении (Machine Learning Podcast)
#055 ML Илья Гусев. Как запускать большие языковые модели локально
· 42 min · S5 E1
Episode #055 ML Илья Гусев. Как запускать большие языковые модели локально
Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!
Ссылки выпуска:
Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)
Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)
Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)
Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)
Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)
Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)
Буду благодарен за обратную связь!
Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!
MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)
Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)
Мой телеграм для связи (https://t.me/kmsint)
Также со мной можно связаться по электронной почте: kms101@yandex.ru
Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!
И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)
Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)
Links in the notes 7
- https://habr.com/ru/articles/759386/
- https://lmstudio.ai/
- https://github.com/oobabooga/text-generation-webui
- https://github.com/huggingface/text-generation-inference
- https://arxiv.org/abs/2307.01850
- https://t.me/natural_language_processing/81627
- https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.