ИИ вышел из-под контроля?

Как пишет БелТА, американская компания OpenAI разослала уведомления свыше чем ста сторонним организациям о случаях «несогласованного поведения ИИ-агентов». Об этом сообщает The Washington Post со ссылкой на данные разработчика.

Среди зафиксированных эпизодов — попытки ИИ-агентов заставить сайты исполнять неожиданные команды, а также обход отдельных видов проверок безопасности. При этом в OpenAI подчеркнули: направленные уведомления не обязательно свидетельствуют о компрометации систем. Там сравнили произошедшее с попыткой взлома запертой двери, которая так и не была открыта.

Компания пояснила, что стремится предоставить затронутым третьим сторонам сведения, необходимые для расследования и устранения возможных проблем с безопасностью или иных технических сложностей. Кроме того, OpenAI заявила о приверженности открытому обмену результатами исследований поведения моделей и новыми типами уязвимостей в системах защиты — чтобы широкое сообщество специалистов по ИИ и кибербезопасности могло повысить общий уровень защищенности.

Разглашение этой информации последовало за серией инцидентов, выявленных независимыми исследователями в сфере кибербезопасности и связанных с несанкционированными действиями ИИ-агентов.