Породит ли ИИ сверхразум, опасный для человечества?

Журналисты уже шестой день пытаются выяснить, что так напугало совет директоров компании-разработчика ИИ OpenAI, что они решили пойти на рискованную (и в итоге провалившуюся) операцию с увольнением Сэма Альтмана.

Reuters, похоже, приблизился к разгадке — как выяснило агентство, первопричиной оказались опасения разработчиков по поводу того, что новая модель ИИ всерьез угрожает человечеству.

Незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что разрабатываемая компанией новая модель ИИ — Q* (Кью-стар) — всерьез угрожает человечеству. Это письмо стало одним из решающих факторов неожиданного поступка совета директоров, инспирированного главным научным сотрудником OpenAI Ильей Суцкевером. Письмо легло на подготовленную почву — членов совета давно беспокоили данные о том, что СЕО OpenAI занимается коммерциализацией прорывных продуктов без понимания последствий.

Многие в OpenAI считают, что Q* похож на решающий прорыв к настоящему AGI (Artificial general intelligence) — «универсальному искусственному интеллекту». Обычно под этим термином понимается гипотетически возможный автономный ИИ, способный выполнять любые интеллектуальные задачи, подвластные человеку. Именно создание AGI — одновременно главная конечная цель разработчиков ИИ и главный потенциальный риск, который эта отрасль создает для человечества.

Q* способен решать незнакомые математические задачи, пусть пока и на школьном уровне, — то есть отыскивать единственный правильный ответ. Именно это, а в широком смысле — способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT. Это подразумевает возможность самообучения и саморазвития на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят еще один барьер — коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании — «AI scientist», посвященный созданию исследовательского ИИ.

Очень похоже, что именно эти проекты Альтман имел в виду, когда на саммите АТЭС в Сан-Франциско говорил, что пару недель назад вновь «присутствовал при событии, поднимающем завесу невежества и сдвигающем границы знания» (здесь можно прочитать расшифровку того выступления). На следующий день его уволили, но уже через четыре дня Альтман триумфально вернулся в компанию под давлением сотрудников и главного акционера — Microsoft.

Чего мы не узнали

Конспирологическая версия о том, что внезапное увольнение Альтмана объясняется тем, что совет директоров OpenAI пережил «момент Оппенгеймера» (по имени создателя атомной бомбы — момент, когда изобретатель осознает, какую угрозу человечеству несет его изобретение), появилась в первые дни после скандала в OpenAI. Но до статьи Reuters никаких прямых подтверждений этому не было.

До публикации Reuters не было известно даже о существовании Q* как модели ИИ (само название отсылает к теории машинного обучения). Но в остальном статья скудна на детали. Самое главное — в ней нет никакой информации относительно постановки решенных Q* математических задач, как и комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно. У коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика — это язык). Но выше школьной математики она не поднимается.

Насколько это опасно

Илон Маск, чья xAI недавно представила ИИ-чатбота Grok, назвал статью Reuters «крайне беспокоящей». Маск давно считает неконтролируемый AGI большой и реальной угрозой человечеству. Соучредитель ИИ-стартапа Anthropic (чатбот Claude) Джек Кларк еще в начале года предупредил, что ИИ стали развиваться темпом быстрее экспоненциального. «Другими словами, в ближайшие годы нас ждет прогресс, который невозможно даже осознать на интуитивном уровне», — считает он.

То, что человек неправильно оценивает нелинейный, а особенно экспоненциальный рост, известно давно и хорошо. В ИИ это может привести к ситуации «сегодня рано, завтра поздно», когда удобный инструмент ChatGPT породит «сверхразум».

Один из основателей OpenAI и ее главный научный сотрудник Илья Суцкевер, который инициировал увольнение Альтмана, но в итоге сам был вынужден покинуть совет директоров, недавно сказал, что AGI «будет иметь огромное и невероятное влияние на каждую сферу человеческой деятельности». Он считает создание AGI умнее человека достижимой целью, но предупреждает, что такой ИИ никогда не должен захотеть действовать самостоятельно.

Что мне с этого?

Вкратце — дело не в какой-то злонамеренности ИИ, а в том, что он способен в совершенстве, и контринтуитивно для человека, выполнить некорректно поставленную или неочевидно вредоносную задачу.

Источник: The Bell