Podcasts · Podlodka Podcast

Podlodka #501 – Локальные модели для кодинга

· 2 h 05 min

Episode Podlodka #501 – Локальные модели для кодинга

0:00 2:04:47

Подписка на облачного кодинг-агента стоит не так уж дорого. Зачем тогда покупать GPU и запускать модель самому? Вместе с Иваном Опариным из Wildberries разбираемся, какие локальные модели уже годятся для агентной разработки, где они уступают облачным, сколько стоит железо под них и как настраивать их под свою кодовую базу.

А самое главное – дадим подробный гайд по тому, как решить свою первую задачу с помощью агента на локальной модели, и по тому, как внедрить их в свою ежедневную работу.

Хочешь стать главным экспертом по AI в своей команде? Один из лучших способов – перенимать опыт у тех, кто уже внедряет AI и набивает шишки на практике. Вступай в Podlodka AI Engineers Club – закрытое сообщество 800 инженеров c еженедельными воркшопами, активным чатом и огромной базой знаний. https://podlodka.ai

Реклама. ИП Толстая, ИНН 507503278104, erid: 2SDnjdsfbtg

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Twitter-аккаунт: https://twitter.com/PodcastPodlodka

Ведущие в выпуске: Стас Цыганов, Егор Толстой

Полезные ссылки:

Чат «ИИнтузиаст» https://t.me/+H3uHM51jCg5mZjAy

Канал «ИИнтузиаст» https://t.me/byurrer_ru

«Фарш не провернуть» — канал Алексея Фатеева о локальных моделях и инференсе https://t.me/fuckup_files

«Локальный максимум» — материалы о локальных LLM, инференсе и GPU https://alesha.pro/

Qwen3.8-27B — основная модель, которую обсуждаем в выпуске https://huggingface.co/Qwen/Qwen3.8-27B

Qwen3.8-27B — GGUF-квантизации от Unsloth https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Qwen3.8-Flash-Next https://huggingface.co/Qwen/Qwen3.8-Flash-Next

GLM-5.3-Flash https://huggingface.co/zai-org/GLM-5.3-Flash

DeepSeek V4.1 Flash https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

Gemma — документация семейства моделей Google https://ai.google.dev/gemma/docs/core

Unsloth — динамические квантизации моделей https://unsloth.ai/blog/dynamic-v2

llama.cpp — движок для запуска локальных моделей https://github.com/ggml-org/llama.cpp

vLLM https://github.com/vllm-project/vllm

SGLang https://github.com/sgl-project/sglang

DS4 / DwarfStar — inference-движок от создателя Redis https://github.com/antirez/ds4

DeepInfer — inference-движок DeepSeek https://github.com/deepseek-ai/DeepInfer

Mirai https://trymirai.com/

Uzu — inference-движок Mirai https://github.com/trymirai/uzu

Coinbase — кейс дообучения Qwen3.5-9B для выявления фрода https://www.coinbase.com/blog/part-three-owning-intelligence-series

Cross-Model KV Cache Transfer — исследование переноса KV-кэша между моделями https://arxiv.org/abs/2608.03893

Экспериментальная реализация переноса KV-кэша на vLLM от Алексея Фатеева https://github.com/alesha-pro/vllm-cross-model-kv

Mostik — передача внутренних состояний между большой и маленькой моделями https://mostik.ai/read-more

Microsoft — локальные модели и инструменты в Windows и GitHub Copilot https://commandline.microsoft.com/local-models-sandboxed-tools-github-windows/

Microsoft — гибридный AI в Windows https://blogs.windows.com/windowsexperience/2026/10/07/building-windows-for-hybrid-intelligence/

Гибридный инференс с клиент-серверным разнесением prefill и decode: архитектура и экономика для клиентов с унифицированной памятью https://github.com/relux-works/hybrid-inference-paper

Андрей Карпати — о разрыве между использованием чат-ботов и продвинутых агентских систем https://x.com/karpathy/status/2109361546505966046

Эссе инженера DeepSeek об автоматизации своей работы и открытом интеллекте https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA

Английский пересказ эссе инженера DeepSeek и перевод в комментариях https://www.lesswrong.com/posts/o8roRrdisBAjngHJN/a-summary-of-a-viral-chinese-essay-on-what-a-deepseek-kernel

The episode on the publisher’s site (opens in a new tab)

Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.