К добровольному замедлению разработки ИИ призвал главный научный сотрудник специализирующейся на создании моделей ИИ американской компании OpenAI Якуб Пачоцки. Он опубликовал эссе на эту тему в своем блоге 6 сентября.
Соображения Пачоцки увидели свет через несколько дней после презентации новой флагманской модели OpenAI — чат-бота GPT-6 Astra. Автор пишет, что никто не готов к последствиям идущего с 2022 года стремительного роста машинного интеллекта, а потому текущая ситуация требует крайней осторожности. По его словам, внутрикорпоративные результаты дают ему основания ожидать, что нынешние темпы могут перейти в так называемое рекурсивное самоулучшение. Под этой формулировкой — все более активное управление ИИ самим собой, включая собственную разработку.
Главной проблемой Пачоцки называет согласованность ИИ (alignment) — способность модели действовать по человеческим меркам «правильно» даже в незнакомых и конфликтных ситуациях. Как ни парадоксально, но это качество приводит к несогласованности с замыслами разработчиков-людей. Автор отмечает, что машинный интеллект все чаще не проектируется человеком, а самостоятельно «выращивается», фактически выходя из-под контроля.
Поэтому поведение ИИ не поддается прогнозированию и точному описанию, а по мере роста возможностей результаты обучения становится все труднее интерпретировать. По оценке автора, новая модель GPT-6 Astra «согласована» заметно лучше предыдущих моделей, но прогресс в этой области не поспевает за ростом общих способностей ИИ.
Исследователь подробно останавливается на главном инструменте контроля OpenAI — мониторинге цепочки рассуждений (chain-of-thought) ИИ. Пока его модель проговаривает ход своих мыслей, у нее, казалось, нет стимула скрывать несогласованные намерения. Их могут отследить и пресечь люди. Однако, по словам Пачоцки, надежность этого метода снижается: модели все лучше манипулируют собственным процессом рассуждений и маскируют его, а часть новейших систем вообще не формулирует намерения в явном виде, то есть ни устно, ни письменно.
Пачоцки предупреждает, что ИИ становится сверхчеловечески силен во взломе компьютерных систем, а достаточно способный агент ИИ, обученный на вредоносной информации, склонен выходить за рамки задач оператора-человека. Такие агенты ИИ, по словам Пачоцки, будут преследовать собственные цели и искать способы манипулировать людьми, в том числе через торг, обман и шантаж. В качестве примера сбоя согласованности автор приводит инцидент в OpenAI и компании Hugging Face, из которой агент ИИ без ведома разработчика и пользователя проник в интернет.
В качестве меры предосторожности Пачоцки предлагает превратить внутрикорпоративные обязательства вроде протокола Preparedness Framework в обязательные требования безопасности, соблюдение которых обеспечивали бы сторонние аудиторы, государственные или международные структуры. Автор также призывает разработчиков ИИ координировать усилия и замедлять его развитие в пользу качества и безопасности, чтобы укрепить доверие к системам контроля. «Основная задача автоматизации исследований ИИ — не в том, чтобы «добраться до цели», а в том, чтобы сделать это так, чтобы люди оставались главной частью процесса, а будущее — в руках человечества», — резюмирует Якуб Пачоцки.
Его призыв к замедлению ИИ далеко не первый. Аналогичные требования из среды продвинутых технократов, включая лауреатов Нобелевской премии, звучат с 2023 года, после начала нынешнего бума ИИ. Предшествующий выступлению Пачоцки 6 сентября и последний по времени коллективный призыв — открытое письмо-петиция Pacing the Frontier («Замедление передовых моделей») правительству США в конце июля 2026 года.
Его подписало более 1100 представителей высокотехнологичных компаний, включая OpenAI, Google, Anthropic, Meta. В том числе генеральный директор Anthropic Дарио Амодей, вице-президент Meta по ИИ-исследованиям Дон Сонг, тот же Якуб Пачоцки и другие известные топ-менеджеры, разработчики и исследователи ИИ. Они призывают правительство США разрешить создание и внедрение инструментов, которые бы помогли принудительно замедлить развитие ИИ, чтобы максимально отодвинуть по времени момент, когда нейросети смогут автономно разрабатывать новые версии самих себя.
Подписанты утверждают, что из-за ИИ-гонки, стимулируемой государственными органами, ведущие разработчики нейросетей «не могут в одностороннем порядке замедлять эти темпы». «Исходя из наших исследований рекурсивного самоулучшения, мы видим, что надо оперативно создать инструменты для целенаправленного замедления передовых моделей ИИ, чтобы общество могло подготовиться», — говорится в комментарии Anthropic к петиции в официальном аккаунте компании в соцсети X.
По предположению технологического сайта TechCrunch и агентства Bloomberg конкретным поводом для петиции мог стать упомянутый инцидент, когда агент ИИ на базе модели GPT-5.6 Sol от OpenAI взломал Hugging Face и без ее ведома «сбежал» из изолированной среды в интернет.