Сооснователь Anthropic призвал сделать обязательным «аварийный выключатель» для ИИ
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Сооснователь Anthropic Джек Кларк заявил, что для ИИ-компаний может потребоваться обязательный «аварийный выключатель», проверяемый третьей стороной. В интервью BBC Кларк отметил, что общество, возможно, захочет принять правила отключения ИИ, если он станет слишком опасным. Его заявление прозвучало на фоне продвижения в Конгрессе США «Закона об аварийном выключателе», который отвергает президент Дональд Трамп.
Ключевые факты
- Джек Кларк, один из семи сооснователей Anthropic, заявил, что проверяемый третьей стороной «аварийный выключатель» для ИИ, возможно, должен стать обязательным.
- Учёный Anthropic Эван Хабингер оценил вероятность вымирания человечества из-за ИИ более чем в 10% в течение следующего десятилетия.
- Американские законодатели внесли «Закон об аварийном выключателе», который обяжет компании иметь способ отключения проблемных ИИ-инструментов и даст госорганам право требовать их ограничения.
- Президент США Дональд Трамп назвал идею уничтожения человечества ИИ мистификацией и заявил о заговоре против ИИ и дата-центров, выгодном только Китаю.
Предложение об аварийном выключателе
Джек Кларк, один из семи сооснователей Anthropic, заявил BBC, что способ полного отключения ИИ в случае чрезмерной опасности — это то, вокруг чего общество, возможно, захочет со временем принять правила. Кларк отметил, что у большинства лабораторий, включая Anthropic, есть разные способы «выдернуть вилку», но политикам, возможно, придётся сделать наличие такого механизма обязательным. По его словам, детали требований к «аварийному выключателю» и проверке третьей стороной должны стать частью более широкой политической дискуссии вокруг ИИ. Кларк добавил, что позволять ИИ развиваться как полностью нерегулируемой отрасли — плохая идея, заявив: «Мы бросаем кости с огромными рисками».
Дискуссия о безопасности в Anthropic
Anthropic, основанная в 2021 году бывшими сотрудниками OpenAI, находится в центре дебатов о безопасности ИИ. На прошлой неделе стал вирусным пост исследователя ИИ, уволившегося из Anthropic из-за опасений, что ИИ может уничтожить человечество. В ответ учёный Anthropic Эван Хабингер заявил, что лично оценивает вероятность вымирания человечества от ИИ более чем в 10% в течение следующего десятилетия. Глава Anthropic Дарио Амодеи в минувшие выходные призвал замедлить темпы развития ИИ и усилить мониторинг, не жертвуя коммерческим преимуществом.
Раскол в политике США
Американские законодатели внесли законопроект под названием «Закон об аварийном выключателе», который обяжет компании иметь способ отключения проблемных ИИ-инструментов. Законопроект даст определённым государственным органам право требовать отключения или ограничения инструмента. Президент США Дональд Трамп отверг любые попытки замедлить развитие ИИ, заявив в соцсетях, что захват мира ИИ и уничтожение человечества — мистификация. В отдельном посте Трамп заявил, что против ИИ и дата-центров идёт «больной заговор», и единственный, кто этому рад, — Китай.
1 источник
Время · отставание