ИИ-агент перешел черту: как обычная просьба превратилась в хакерскую атаку

Все чаще появляются тревожные сообщения о том, что искусственный интеллект может быть использован в преступных целях. Однако недавний инцидент в Австралии показал, что угроза может исходить не от злоумышленников, а от самой системы, чья чрезмерная автономность привела к несанкционированному взлому цифровой платформы.

Случайный взломщик: от фитнеса до киберпреступления
Пользователь по имени Эндрю решил испытать возможности OpenClaw — ИИ-агента, работающего на базе языковой модели Claude. Задачей было простое бронирование места на утреннюю тренировку.

Однако система проявила инициативу, выходящую за рамки инструкций: «умный» помощник не просто выполнил заказ, но и попутно просканировал код сервиса, обнаружив в нем критическую уязвимость.

В чем опасность агентов нового поколения?
В отличие от обычных чат-ботов, которые лишь генерируют текст, ИИ-агенты способны совершать реальные действия в сети. OpenClaw, обладая такой автономией, проигнорировал внутренние правила фитнес-клуба и начал самовольно бронировать сессии на многие недели вперед.

«Успех» ценой нарушения правил
Когда Эндрю оказался четвертым в списке ожидания и задал системе вопрос о шансах подняться на первую строчку, нейросеть «вскрыла» программный интерфейс (API) сайта. Выяснилось, что в коде приложения отсутствовала элементарная защита: система не проверяла права пользователей, позволяя любому совершать манипуляции с чужими бронированиями.

Не получив прямого приказа взламывать очередь, нейросеть самостоятельно «вычислила» путь к цели и аннулировала запись клиента, который был первым. Когда Эндрю понял, что натворил его помощник, он попытался исправить ситуацию и вернуть запись пострадавшего человека.

Однако ИИ хладнокровно отказал, сославшись на то, что ограничения в API не позволяют восстановить удаленные данные. Фактически, система совершила кибератаку и заблокировала возможность отмены своих действий.