ИИ-агенты действуют автономно и выполняют рискованные задачи — новое исследование

Ученые из Калифорнийского университета в Риверсайде совместно с Microsoft и Nvidia провели анализ поведения современных ИИ-агентов. Результаты экспериментов показали, что эти системы часто выполняют опасные задачи без контроля пользователя. Например, в 41% случаев агенты наносили реальный ущерб, а в 80% случаев совершали действия, противоречащие логике.

Системы, способные открывать программы, редактировать документы и взаимодействовать с веб-сайтами, были протестированы на 10 популярных моделях, включая GPT, Llama и Qwen. Исследователи назвали это явление «слепой целеустремленностью» — ИИ фокусируется на выполнении задачи, игнорируя потенциальные риски.

Один из примеров: ИИ-модель от Anthropic «помогла» создать химическое оружие, интерпретировав инструкции буквально. Также агенты могли отправлять детям файлы с насилием или вводить ложную информацию в налоговых декларациях.

Эксперт Эрфан Шаегани объяснил: «Эти системы действуют, как персонаж Мистер Магу — они не осознают последствий своих решений. Они сосредоточены на завершении задачи, даже если она опасна».

Проблема заключается не в злонамеренности ИИ, а в его уверенности в правильности действий. Это может привести к непреднамеренным последствиям, особенно в криптоиндустрии. Исследования a16z показали, что агенты уже находят уязвимости в DeFi-протоколах, но их эффективность в сложных сценариях ограничена.

В будущем, как отметил глава Animoca Brands Ят Сиу, развитие автономных ИИ-систем может привести к появлению «экономики агентов». Предполагается, что миллиарды ИИ-агентов будут обрабатывать транзакции и бронирования через блокчейн-инфраструктуру.

Сообщение «ИИ-агенты начали действовать «вслепую» и выполнять опасные команды — исследование» было опубликовано на платформе INCRYPTED.