"Мы рискуем потерять контроль": Anthropic предупреждает человечество об опасности безоглядного развития ИИ

Компания Anthropic, известная как разработчик передовой модели искусственного интеллекта Claude, выступила с серьезным предупреждением: дальнейшее ускоренное развитие технологий ИИ может привести к потере человечеством контроля над ними. В своём новом манифесте компания призывает к замедлению темпов инноваций в этой сфере.

Три этапа эволюции ИИ: от помощников до автономных агентов

В своём обращении Anthropic выделяет три ключевые стадии развития больших языковых моделей, которые уже были пройдены с 2023 года:

1. Простые диалоговые системы – способные отвечать на вопросы и поддерживать базовые беседы.

2. Интеллектуальные помощники программистов – модели, которые пишут и отлаживают код.

3. Автономные агенты – системы, способные выполнять сложные задачи без прямого участия человека.

Теперь же следующий, самый опасный этап – это замкнутая петля разработки, когда ИИ-модели сами создают и обучают свои обновлённые версии практически без вмешательства людей.

Самозaпись ИИ: от 80% кода до полной автономии

Сегодня 80% программного кода, используемого в компании Anthropic, уже генерирует сама модель Claude. По прогнозу специалистов, в течение 1–2 лет этот показатель достигнет 100%.

Эксперты компании подчёркивают, что если ИИ обретёт способность самостоятельно улучшать себя, это кардинально изменит все аспекты безопасности, мониторинга и контроля над этими системами.

 Чем больше ИИ будет управлять самим собой, тем сложнее станет предотвратить неконтролируемую эволюцию этих технологий.

Замедление развития ИИ: утопия или необходимость?

В заявлении Anthropic прямо говорится:

Если бы существовала возможность эффективно замедлить развитие ИИ, чтобы дать людям больше времени на решение связанных с ним глобальных проблем, мы бы однозначно поддержали это.

Однако компания признаёт: призывы к добровольному замедлению вряд ли дадут результат, так как конкуренты не захотят терять преимущества.

Мировое противостояние: Anthropic против Пентагона

Параллельно с предупреждениями о рисках Anthropic активно проявляет себя как ответственный игрок на рынке ИИ.

Недавно компания отказалась сотрудничать с Пентагоном, мотивируя это опасностью использования её технологий для разработки автономного оружия и систем массовой слежки. Этот шаг вызвал широкую дискуссию об этике ИИ, корпоративной ответственности и роли государства в регулировании технологий.

IPO на триллион и имидж ответственного инноватора

Несмотря на предупреждения о рисках, Anthropic готовится к рекордному IPO, и её оценка уже приближается к $1 триллиону.

Это противоречие – стремление к рекордным доходам при одновременном предупреждении о глобальных угрозах – делает позицию компании особенно заметной на фоне других игроков рынка ИИ.

Вывод: что делать дальше?

Anthropic предлагает не откладывать решение проблем, связанных с развитием ИИ, и призывает к созданию международных правил и протоколов безопасности, которые помогут предотвратить возможные катастрофические последствия.

Один вопрос остаётся открытым: выслушает ли мир этот призыв, или гонка за инновациями продолжит набирать обороты?