Глава Anthropic призвал замедлить развитие ИИ из-за рисков безопасности

Дарио Амодеи, глава компании Anthropic (разработчик языковой модели Claude), опубликовал в своём блоге пост о необходимости замедлить развитие искусственного интеллекта. Он обосновал это требованиями безопасности и конкретными рисками, которые видит в ускоряющемся развитии ИИ-систем.

Какие риски видит Амодеи

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — сказал Амодеи. Он предупредил, что без координированных действий риски будут только возрастать по мере усиления ИИ-систем.

Трёхэтапный план координации

Амодеи предложил три этапа решения проблемы для обеспечения безопасного развития ИИ. На первом этапе сами ИИ-компании должны допустить сторонних экспертов для проверки соблюдения внутренних практик безопасности. На втором этапе координация должна быть налажена между ИИ-компаниями в демократических странах. Третий этап предусматривает глобальную координацию с привлечением правительств как демократических стран, так и авторитарных, включая Китай.

Позиция OpenAI

Несколько дней назад на закрытой встрече с сотрудниками глава OpenAI (разработчик ChatGPT) Сэм Альтман заявил, что компания готова снизить темпы разработки своих наиболее продвинутых систем искусственного интеллекта ради безопасности. Альтман выразил надежду, что другие крупные ИИ-компании последуют примеру OpenAI.

Контекст дискуссии

Призывы к замедлению развития ИИ становятся всё более частыми среди руководителей крупных компаний в этой сфере. Исследователи и лидеры индустрии всё чаще предупреждают о рисках чрезмерно быстрого развития нейросетей без надлежащих мер безопасности.