Математики призывают Королевское общество объявить развитие ИИ чрезвычайной ситуацией
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
42 члена и иностранных члена Королевского общества подписали 16 сентября открытое письмо президенту Полу Нёрсу, выразив крайнюю обеспокоенность темпами развития ИИ. Подписавшие предупреждают, что системы ИИ уже работают на уровне ведущих математиков и вскоре могут развить сверхчеловеческие способности в других технических областях. Письмо призывает Королевское общество объявить чрезвычайную ситуацию и донести эту позицию до правительства и СМИ.
Ключевые факты
- 16 сентября 42 члена и иностранных члена Королевского общества подписали открытое письмо президенту Полу Нёрсу, выразив крайнюю обеспокоенность темпами развития ИИ.
- Число подписавших письмо выросло почти до 200 исследователей с момента его публикации.
- Модель OpenAI недавно решила задачу Навье-Стокса, одну из семи математических проблем тысячелетия, над которой человечество работало около 90 лет.
- Исследователь Anthropic Джейкоб Коксон уволился и предупредил, что вероятность уничтожения человечества ИИ к концу десятилетия составляет 10 процентов.
- Глава Anthropic Дарио Амодеи призвал замедлить темпы развития ИИ; его поддержали генеральный директор OpenAI Сэм Альтман и Илон Маск.
Открытое письмо
В письме говорится, что модели, созданные OpenAI и Anthropic, уже работают на уровне ведущих математиков во многих областях этой науки. Авторы предполагают, что существует значительная вероятность развития у этих систем сверхчеловеческих способностей в течение аналогично короткого времени. В письме предупреждается, что эти системы, вероятно, обладают сопоставимой силой в кибербезопасности, управлении автономным оружием, разработке биологических и химических агентов и целенаправленном распространении дезинформации. Авторы заявляют, что рост возможностей этих моделей в математике убеждает их в том, что опасения, высказанные бывшими сотрудниками крупных ИИ-компаний, нельзя отвергать как «хайп».
Нарастающая обеспокоенность безопасностью ИИ
Обеспокоенность экзистенциальной угрозой, связанной с темпами развития ИИ, усилилась после того, как исследователь Anthropic Джейкоб Коксон уволился и предупредил о 10-процентной вероятности уничтожения человечества ИИ к концу десятилетия. Глава Anthropic Дарио Амодеи впоследствии призвал замедлить темпы развития ИИ; этот призыв поддержали генеральный директор OpenAI Сэм Альтман и Илон Маск. Илон Маск остаётся членом Королевского общества после того, как организация в прошлом году отклонила призывы других членов исключить его за роль в сокращении финансирования некоторых областей исследований в США через Департамент эффективности правительства. В открытом письме говорится, что к тому времени, когда ситуация станет очевидной для широкой публики, действовать может быть уже поздно, и содержится призыв к Королевскому обществу использовать своё влияние, чтобы донести эту позицию до правительства и СМИ.
3 источника
Время · отставание