Podlodka #501 – Локальные модели для кодинга
· 2 h 05 min
Episode Podlodka #501 – Локальные модели для кодинга
Подписка на облачного кодинг-агента стоит не так уж дорого. Зачем тогда покупать GPU и запускать модель самому? Вместе с Иваном Опариным из Wildberries разбираемся, какие локальные модели уже годятся для агентной разработки, где они уступают облачным, сколько стоит железо под них и как настраивать их под свою кодовую базу.
А самое главное – дадим подробный гайд по тому, как решить свою первую задачу с помощью агента на локальной модели, и по тому, как внедрить их в свою ежедневную работу.
Хочешь стать главным экспертом по AI в своей команде? Один из лучших способов – перенимать опыт у тех, кто уже внедряет AI и набивает шишки на практике. Вступай в Podlodka AI Engineers Club – закрытое сообщество 800 инженеров c еженедельными воркшопами, активным чатом и огромной базой знаний. https://podlodka.ai
Реклама. ИП Толстая, ИНН 507503278104, erid: 2SDnjdsfbtg
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka
Ведущие в выпуске: Стас Цыганов, Егор Толстой
Полезные ссылки:
Чат «ИИнтузиаст» https://t.me/+H3uHM51jCg5mZjAy
Канал «ИИнтузиаст» https://t.me/byurrer_ru
«Фарш не провернуть» — канал Алексея Фатеева о локальных моделях и инференсе https://t.me/fuckup_files
«Локальный максимум» — материалы о локальных LLM, инференсе и GPU https://alesha.pro/
Qwen3.8-27B — основная модель, которую обсуждаем в выпуске https://huggingface.co/Qwen/Qwen3.8-27B
Qwen3.8-27B — GGUF-квантизации от Unsloth https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
Qwen3.8-Flash-Next https://huggingface.co/Qwen/Qwen3.8-Flash-Next
GLM-5.3-Flash https://huggingface.co/zai-org/GLM-5.3-Flash
DeepSeek V4.1 Flash https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Gemma — документация семейства моделей Google https://ai.google.dev/gemma/docs/core
Unsloth — динамические квантизации моделей https://unsloth.ai/blog/dynamic-v2
llama.cpp — движок для запуска локальных моделей https://github.com/ggml-org/llama.cpp
vLLM https://github.com/vllm-project/vllm
SGLang https://github.com/sgl-project/sglang
DS4 / DwarfStar — inference-движок от создателя Redis https://github.com/antirez/ds4
DeepInfer — inference-движок DeepSeek https://github.com/deepseek-ai/DeepInfer
Mirai https://trymirai.com/
Uzu — inference-движок Mirai https://github.com/trymirai/uzu
Coinbase — кейс дообучения Qwen3.5-9B для выявления фрода https://www.coinbase.com/blog/part-three-owning-intelligence-series
Cross-Model KV Cache Transfer — исследование переноса KV-кэша между моделями https://arxiv.org/abs/2608.03893
Экспериментальная реализация переноса KV-кэша на vLLM от Алексея Фатеева https://github.com/alesha-pro/vllm-cross-model-kv
Mostik — передача внутренних состояний между большой и маленькой моделями https://mostik.ai/read-more
Microsoft — локальные модели и инструменты в Windows и GitHub Copilot https://commandline.microsoft.com/local-models-sandboxed-tools-github-windows/
Microsoft — гибридный AI в Windows https://blogs.windows.com/windowsexperience/2026/10/07/building-windows-for-hybrid-intelligence/
Гибридный инференс с клиент-серверным разнесением prefill и decode: архитектура и экономика для клиентов с унифицированной памятью https://github.com/relux-works/hybrid-inference-paper
Андрей Карпати — о разрыве между использованием чат-ботов и продвинутых агентских систем https://x.com/karpathy/status/2109361546505966046
Эссе инженера DeepSeek об автоматизации своей работы и открытом интеллекте https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA
Английский пересказ эссе инженера DeepSeek и перевод в комментариях https://www.lesswrong.com/posts/o8roRrdisBAjngHJN/a-summary-of-a-viral-chinese-essay-on-what-a-deepseek-kernel
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.