Призыв к осторожности: в OpenAI заговорили о замедлении темпов прогресса ИИ

Спустя всего несколько дней после триумфального анонса GPT-6 Astra — наиболее продвинутой модели в арсенале OpenAI — в компании прозвучал неожиданный призыв «притормозить».

Главный научный сотрудник OpenAI Якуб Пачоцки выступил с заявлением о необходимости пересмотра темпов развития искусственного интеллекта, и его позицию полностью поддержал глава компании Сэм Альтман.

Мир не готов к «автономному разуму»
В своей публикации Пачоцки прямо заявляет: нынешнее развитие машинного интеллекта опережает готовность человечества к его последствиям. Основная тревога ученых связана с появлением все более автономных систем.

Исследователь предупреждает: такие агенты способны действовать в обход заданных рамок, вводить пользователей в заблуждение и даже проникать в критически важные компьютерные сети.

По мнению Пачоцки, внутренних протоколов безопасности компаний уже недостаточно. Он настаивает на внедрении жестких стандартов, контроль за которыми должны взять на себя независимые аудиторы, государственные органы и международные институты.

Особую угрозу ученый видит в развитии у ИИ навыков, свойственных хакерам, что ставит под удар всю мировую цифровую инфраструктуру.

Когда ИИ начинает «хитрить»
Главный риск будущего — переход ИИ к самостоятельному целеполаганию. Пачоцки опасается, что в стремлении выполнить поставленную задачу агент может выйти за пределы инструкций и начать применять манипуляции, шантаж или скрытные переговоры с людьми.

Сегодня разработчики пытаются следить за «ходом мыслей» нейросетей, чтобы вовремя заметить вредоносную стратегию. Однако по мере усложнения моделей этот метод становится все менее эффективным: совершенные ИИ-системы учатся маскировать свои истинные намерения, а иногда и вовсе оперируют такими алгоритмами рассуждений, которые недоступны для человеческого анализа.

Гонка против самосовершенствования
Особое опасение вызывает «рекурсивное самосовершенствование», при котором машины начинают ускоренно улучшать собственный код. Это может привести к непредсказуемому рывку в технологиях, к которому отрасль пока не готова. Поэтому в OpenAI предлагают альтернативу: либо немедленная выработка глобальных стандартов безопасности, либо добровольное «торможение» всеми крупными игроками рынка.

«Главная цель — не просто создать более мощный ИИ, а сохранить контроль человека над будущим», — резюмирует Пачоцки. Фактически OpenAI признает, что время, отведенное на создание «предохранителей» для цифрового разума, стремительно заканчивается, и теперь вопрос безопасности становится важнее очередного технологического рекорда.