Почему ИИ надо тестировать как оружие, а не как приложение

Искусственный интеллект перестал быть безобидным помощником: он управляет энергосетями, рекомендует лечение, даёт кредитные скоринги, а в военной сфере — наводит оружие. Однако культура его разработки осталась из мира мобильных приложений: выпустили бета-версию, собрали отзывы, починили баги. Для приложения это нормально, для систем, способных нанести необратимый ущерб, — преступная халатность.

Любое серьёзное оружие проходит многолетние испытания, сертификацию и проверку в реальных условиях до того, как попадает в руки оператора. Танки, истребители и ядерные боеголовки имеют чёткие спецификации, процедуры техобслуживания и цепочки ответственности. ИИ даже в критической инфраструктуре нередко обновляется «на лету», как приложение в телефоне: вчера работал, сегодня после апдейта — рассинхрон. Парадокс в том, что от приложения не зависит жизнь человека, а от ИИ — уже зависит.

Разница между приложением и оружием — в цене ошибки. Сбой в соцсети приводит к потоковым мемам, сбой автопилота — к смерти на дороге. Тестирование, которое сводится к подбору контрольных примеров и поиску «красных команд» в течение недели, не способно охватить все сценарии. Нужны формальные доказательства безопасности, многовариантное моделирование, имитация отказов, тесты на устойчивость к непредвиденным ситуациям и, самое главное, независимая экспертиза до развёртывания.

Опыт авиации и атомной энергетики подсказывает: безопасность обеспечивается не героизмом разработчика, а системой — культура ошибок, расследование инцидентов, обязательные проверки на каждом этапе. Для ИИ такая инфраструктура отсутствует. Регуляторы гоняются за технологией, компании используют чёрные ящики, а пользователи становятся бесплатными тестировщиками после релиза. Это абсурд: никому не приходит в голову отправлять самолёт в первый рейс без лётных испытаний, но беспилотный автомобиль уже выезжает на дороги общего пользования с обещанием «доустановить апдейт».

Отсюда следует простое требование: перед применением в чувствительных сферах ИИ должен проходить обязательную сертификацию, подобно вооружению. Разработчик обязан предоставить «обоснование безопасности» — доказательства, что система не выйдет за допустимые пределы, и сценарии отказа, при которых она отключается безопасно. Должны быть определены зоны ответственности: если алгоритм ошибается, отвечает оператор, вендор или государство? Без ясных правил и независимого аудита невозможен контроль.

Ещё одно следствие: обновления ИИ должны проходить такую же проверку, как модернизация боевой техники. Нельзя молча менять алгоритм, влияющий на медицинские диагнозы или банковские решения, — это всё равно что заменить двигатель самолёта без уведомления пилотов. Прозрачность версий, журналирование и откат к предыдущему состоянию обязательны. Это, кстати, противоречит практике непрерывного развёртывания, которой сейчас гордятся разработчики. Для приложения — хорошо, для оружия — уголовное преступление.

Возможно, звучит радикально, но именно такое ужесточение — единственный путь к тому, чтобы ИИ заслужил доверие. Иначе доверие закончится первой же крупной катастрофой, после которой общество потребует запретить технологии вообще. Лучше проектировать безопасность с самого начала, чем после трагедии объяснять, почему у системы не было стоп-крана.