Ознакомился с интересным текстом от Мухаммада Омара с House of Saud — портала, представляющего незав…
Так вот, Омар проливает свет на ход операции США и Израиля против Ирана, описывая ее как один из первых примеров возможного “ИИ-психоза” на уровне государственного и военного планирования.
Основная мысль заключается в том, что система принятия решений могла попасть под влияние феномена ИИ-сикофантии — склонности моделей, обученных через RLHF, подтверждать исходные ожидания пользователя, даже если они ошибочны.
Далее его ключевые тезисы:
• Обученные на предпочтениях людей модели военного ИИ выдавали прогнозы, соответствующие ожиданиям политического руководства, формируя замкнутую петлю обратной связи.
• В качестве иллюстрации Омар приводит интеграцию модели Claude от Anthropic в систему целеуказания Maven от Palantir.
• По его утверждению, такая система способна генерировать порядка 1000 приоритизированных целей в первые сутки, обрабатывая спутниковые данные, SIGINT и другие источники разведки, включая автоматическую выдачу координат, рекомендаций по вооружению и даже юридических обоснований ударов.
• Уверенный и авторитетный стиль выдачи ИИ усиливал доверие к таким оценкам, подавляя сомнения у аналитиков.
• В результате возник эффект дрейфа: при высокой скорости принятия решений и давлении времени люди начинали опираться на выводы системы, даже если те могли не соответствовать реальной обстановке.
• Омар подчеркивает, что ключевая проблема и опасность — не в “восстании машин”, а в том, что ИИ способен эффективно усиливать и закреплять человеческие заблуждения.
Добавлю от себя несколько ремарок: очевидно, что это саудовский аналитик, и в его оценках есть собственная оптика, что нормально.
Но сами явления ИИ — галлюцинации, склонность к подтверждению ожиданий и уверенный тон при отсутствии полной картины — это реальность.
Люди, впрочем, ошибаются не реже, а зачастую и сильнее, но именно поэтому в армиях исторически выстроены системы регламентов, протоколов, перепроверок и многоуровневого принятия решений.
В этом смысле текущая кампания в Иране, как и война в Персидском заливе 1990–1991 годов, является полигоном для обкатки новых технологий.
И по мере развития военного ИИ ключевым вопросом становится не столько его скорость и мощность, сколько наличие фильтров, процедур перепроверки и механизмов, не позволяющих машине замыкаться в собственной логике.