Podlodka #446 – AI-агенты и безопасность
· 53 min
Episode Podlodka #446 – AI-агенты и безопасность
В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.
В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka
Ведущие в выпуске: Стас Цыганов, Аня Симонова
Полезные ссылки:
Archestra.AI https://archestra.ai
Блог Simon Willison https://simonwillison.net/2025/Sep/18/agents/
Статья “Why AI systems may never be secure, and what to do about it” https://www.economist.com/science-and-technology/2025/09/22/why-ai-systems-may-never-be-secure-and-what-to-do-about-it
Статья “Anthropic: How we built our multi-agent research system” https://simonwillison.net/2025/Jun/14/multi-agent-research-system/
Статья “An Introduction to Google’s Approach to AI Agent Security” https://simonwillison.net/2025/Jun/15/ai-agent-security/
Google's Approach for Secure AI Agents https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents/
Статья “Design Patterns for Securing LLM Agents against Prompt Injections” https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/
Код для статьи "Defeating Prompt Injections by Design" https://github.com/google-research/camel-prompt-injection
Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“ https://simonwillison.net/2025/Apr/11/camel/
Shows are listed from Apple Podcasts' charts and directory, and Podcast Index where it is used. Every show and episode belongs to its publisher and plays from the publisher's own feed; this site hosts none of them. Explicit shows are for adult profiles only, and children’s profiles hear only children’s shows. More about this list.