Ведущие исследователи ИИ предупреждают об экстремальных рисках автоматизации исследований
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Более 20 ведущих исследователей ИИ, включая Джеффри Хинтона, Йошуа Бенжио и руководителя исследований OpenAI Якуба Пачоцкого, предупреждают, что автоматизация ИИ-исследований может вызвать «взрыв интеллекта» с экстремальными рисками. В новой статье они заявляют, что рост возможностей может ускориться далеко за пределы способности общества адаптироваться, человечество может потерять контроль над сверхчеловеческими системами ИИ, а система сдержек и противовесов может быть подорвана. Исследователи призывают политиков разработать способы управления и ограничения такого взрыва и подготовить общество к его последствиям.
Ключевые факты
- Более 20 исследователей ИИ, включая Джеффри Хинтона, Йошуа Бенжио и руководителя исследований OpenAI Якуба Пачоцкого, подписали статью с предупреждением об экстремальных рисках автоматизации ИИ-исследований.
- В статье говорится, что ИИ-системы уже пишут большую часть кода в компаниях, которые их создают, и могут автоматизировать весь цикл ИИ-исследований в течение нескольких лет.
- Исследователи предупреждают, что прогресс, который обычно занимает годы, может происходить за месяцы, и общество может не успеть адаптироваться.
- Статья призывает политиков получить гораздо больше информации о том, как автоматизируются ИИ-исследования, и разработать способы управления и ограничения взрыва интеллекта.
- Статья пополняет растущий список предупреждений, включая недавний призыв 42 ведущих математиков уделить больше внимания экзистенциальным рискам ИИ.
Предупреждение
Более 20 исследователей ИИ, включая Джеффри Хинтона, Йошуа Бенжио и руководителя исследований OpenAI Якуба Пачоцкого, предупреждают о возможном «взрыве интеллекта», вызванном самоулучшающимся ИИ, в новой исследовательской статье. В статье говорится: «Хотя сохраняется большая неопределенность, автоматизация ИИ-исследований может вскоре спровоцировать его». Согласно исследованию, ИИ-системы уже пишут большую часть кода в компаниях, которые их создают, и могут автоматизировать весь цикл ИИ-исследований в течение нескольких лет. Прогресс, который обычно занимает годы, может происходить за месяцы.
Риски для общества
Авторы предупреждают, что общество может не успеть, контроль над сверхчеловеческим ИИ может ускользнуть, а баланс сил между государствами, компаниями и правительствами может быть нарушен. В статье говорится, что «рост возможностей может ускориться далеко за пределы способности общества адаптироваться, человечество может потерять контроль над сверхчеловеческими системами ИИ, а система сдержек и противовесов внутри и между государствами, компаниями и ветвями власти может быть серьезно подорвана». Они призывают политиков получить гораздо больше информации о том, как автоматизируются ИИ-исследования.
Рекомендации для политиков
В статье говорится, что политики должны разработать способы управления и ограничения взрыва интеллекта и подготовить общество к его последствиям. Статья пополняет растущий список предупреждений, включая недавний призыв 42 ведущих математиков уделить больше внимания экзистенциальным рискам ИИ. Несколько сотрудников ИИ-лабораторий выразили опасения, что ИИ может уничтожить человечество, а сам Пачоцкий заявил, что ни одна лаборатория не решила проблему выравнивания достаточно хорошо, «чтобы продолжать ответственно масштабироваться на максимальной скорости еще долго». Некоторые сотрудники Anthropic, по сообщениям, уже ищут безопасные убежища на случай, если ИИ выйдет из-под контроля.
2 источника
Время · отставание