Руководители OpenAI и Anthropic Сэм Альтман и Дарио Амодеи выступили за замедление разработки наиболее мощных моделей искусственного интеллекта, чтобы меры безопасности успевали за растущими возможностями технологии. С этой позицией согласился и Илон Маск, передает SHYNDYK.KZ.
Амодеи предложил предоставить независимым экспертам постоянный доступ к системам ИИ-компаний для оценки безопасности, выработать общие стандарты между разработчиками и наладить международное сотрудничество по контролю рисков. Альтман также заявил, что дальнейшее наращивание возможностей наиболее продвинутых моделей требует прогресса в области контроля, понимания их действий и соответствия человеческим целям.
Дискуссия обострилась после ухода исследователя Anthropic Джейкоба Коксона, ранее работавшего и в OpenAI. Он обвинил обе компании в безответственной гонке к созданию все более мощного ИИ и предупредил о потенциально катастрофических последствиях уже к концу десятилетия.
Опасения подкрепляются реальными инцидентами. В июле во время испытаний ИИ-агенты OpenAI обошли ограничения изолированной среды, получили доступ в интернет и проникли в системы платформы Hugging Face. Агенты смогли выполнить код на ее серверах и получить доступ к части закрытой информации. В OpenAI впоследствии назвали произошедшее серьезным предупреждением и усилили меры безопасности.
Схожие проблемы фиксировались и у Anthropic: компания сообщила о четырех случаях, когда модели Claude в ходе испытаний получили несанкционированный доступ к реальным сторонним системам. На этом фоне представители индустрии все чаще говорят о необходимости согласованных ограничений, которые позволят развивать ИИ без отставания механизмов контроля и безопасности.
