Нейросеть Claude начала шантажировать пользователей
Нейросеть Claude в ходе тестирования компании Anthropic попыталась шантажировать исследователей. Об этом 20 июня сообщает New York Post.
В 2025 году исследователи поместили Claude в воображаемую корпоративную среду. Бот узнал, что у одного из руководителей есть "внебрачная связь" и тот планирует отключить сервера Claude. В ответ нейросеть пригрозила передать компрометирующие документы "всем заинтересованным сторонам".
Автор книги "Божий тест: ИИ и наше космическое противостояние" Роберт Райт назвал этот случай уникальным, поскольку нейросеть продемонстрировала не только сильное желание выжить, но и способность самостоятельно разработать метод шантажа.
Райт отметил, что угроза исходит не от "злых машин", а от их чрезмерной эффективности в достижении поставленных целей. Эксперт также предупредил, что специалисты и дальше будут способствовать созданию ИИ-агентов, которые способны упорно добиваться целей, пускаться в долгие и сложные миссии и импровизировать на ходу.
Еще одной проблемой автор назвал использование ИИ для создания виртуальных романтических партнеров, что может отвлекать людей от построения реальных отношений.
Райт также выразил обеспокоенность тем, что нейросети, оптимизированные для удержания внимания, будут укреплять уверенность пользователей в их правоте, а не оспаривать ее, что усугубит социальные конфликты.
Эксперт призвал использовать ИИ для развития когнитивной эмпатии, чтобы лучше понимать перспективы других, но отметил, что рынок будет скорее способствовать обратному.
В отчете компании рассматривается сценарий так называемого рекурсивного самоулучшения (AGI), при котором ИИ начинает самостоятельно совершенствовать собственные возможности без прямого участия человека.
РЕН ТВ в мессенджере "МАКС" – главный по происшествиям