Взломаны внутренние датасеты и ключи доступа, пользователям срочно менять пароли

Атака на Hugging Face, ключевой репозиторий для моделей и датасетов искусственного интеллекта, случилась не из-за взлома пароля сотрудника, а из-за целенаправленной кибератаки с использованием внешнего ИИ-агента. Злоумышленники загрузили на платформу специально подготовленный датасет, который содержал вредоносный код. Этот код эксплуатировал уязвимость безопасности, получив возможность запуска на серверах компании. После этого, атакующие эскалировали свои привилегии и проникли во внутренние системы, похитив credentials для доступа к сервисам и, что самое тревожное, внутренние датасеты.

Компания заявила, что обнаружила атаку собственными средствами — система аномалий сработала, а для анализа логов сервера использовалась ИИ-модель. Это выглядит как ирония: платформа, созданная для развития ИИ, была атакована с помощью ИИ и им же спасена. Примечательно, что сначала Hugging Face попыталась использовать коммерческую frontier-модель (вероятно, от Anthropic или аналогичной компании) для анализа логов, но та отказалась обрабатывать данные из-за встроенных ограничений на темы кибербезопасности. В итоге пришлось применять собственную локальную LLM, которая не только справилась с задачей, но и не потребовала загрузки чувствительных логов атаки на сторонние серверы.

Этот случай проливает свет на растущую напряженность между разработчиками frontier-моделей и сообществом специалистов по безопасности. Некоторые передовые модели действительно настолько ограничены guardrails, что их невозможно использовать даже для защиты — та же Anthropic ранее конфликтовала с администрацией США из-за опасений, что модели могут быть применены для кибератак. В результате защитники оказываются в парадоксальной ситуации: потенциально самый мощный инструмент для расследования взломов недоступен, а злоумышленники, как видно, не стесняются использовать ИИ для разработки атак.

Пока Hugging Face сменила скомпрометированные ключи, устранила уязвимость и призвала пользователей сделать то же самое. Компания также обратилась в правоохранительные органы. Однако главный вопрос остается открытым: не утекли ли данные клиентов и хостируемые модели? На момент публикации у компании не было ответа на этот вопрос. Для тысяч разработчиков и компаний, которые хранят на Hugging Face свои наработки, это похолодный душ: репозиторий, которому доверяли самое ценное, оказался уязвим перед атакой, где главным оружием был код, замаскированный под обычный датасет. В эпоху, когда данные — это новая нефть, а ИИ — главный станок, защита таких платформ становится вопросом национальной безопасности.

Собственное наблюдение: Срабатывание guardrails на коммерческой frontier-модели в момент, когда требовалась помощь в расследовании кибератаки, — это тревожный знак. Это показывает, что текущие меры безопасности вокруг самых мощных ИИ негибки и могут навредить тем, кого должны защищать. Второй момент: использование внешнего ИИ-агента для взлома поднимает планку. Теперь атаки не просто автоматизированы, они становятся адаптивными и самомигрирующимися, как показано в случае с «роем недолговечных песочниц». Индустрии безопасности придется пересматривать свои подходы, поскольку традиционные сигнатуры и логи становятся бесполезны против такого противника.