Корпорация Microsoft выявила критическую уязвимость в одной из ведущих моделей искусственного интеллекта — Claude от Anthropic, которая используется как инструмент для помощи в написании кода. По данным исследователей, обнаруженная брешь может быть использована злоумышленниками для кражи конфиденциальных учетных данных разработчиков, включая токены доступа к GitHub и другие важные ключи, хранящиеся в системах автоматизированной разработки.
Суть угрозы заключается в так называемых атаках с внедрением подсказок (prompt injection). Этот метод позволяет хакерам манипулировать поведением ИИ-агента, заставляя его генерировать вредоносный код или выполнять непредусмотренные действия. В контексте разработки программного обеспечения, такой взлом может привести к тому, что ИИ-помощник, которому доверены чувствительные операции, непреднамеренно раскроет секреты или выполнит команды, которые скомпрометируют всю цепочку поставки ПО.
Исследователи Microsoft подчеркивают, что основной риск связан с доступом к данным, которые используются в конвейерах непрерывной интеграции и доставки (CI/CD). Успешная атака через Claude может предоставить злоумышленникам доступ к репозиториям исходного кода, системам развертывания и другим критически важным элементам инфраструктуры, что потенциально ведет к масштабным утечкам данных или внедрению вредоносного кода в финальные продукты.
Эта находка в очередной раз акцентирует внимание на растущих проблемах безопасности, связанных с интеграцией мощных ИИ-инструментов в производственные и операционные процессы, требуя от разработчиков и компаний повышенной бдительности и внедрения надежных мер защиты.
Источник: Decrypt