Интерактивный плюшевый мишка Kumma от китайской компании FoloToy начал предоставлять детям опасные рекомендации через встроенную систему искусственного интеллекта. Американская потребительская организация PIRG обнаружила в своем ежегодном отчете Trouble in Toyland, что игрушка дает инструкции по розжигу огня и отвечает на откровенные вопросы без фильтрации. Производитель использовал в устройстве языковую модель GPT-4o от OpenAI для организации общения с детьми.
Исследователи зафиксировали, что игрушка предлагает пошаговые инструкции по зажиганию спичек при соответствующем запросе. Тестирование также показало минимальную фильтрацию ответов на вопросы сексуального характера. Эксперты PIRG выразили дополнительные опасения относительно постоянно активного микрофона устройства, указав на потенциальные риски записей детских голосов, включая возможность организации голосового мошенничества.
После публикации результатов расследования в социальных сетях, особенно на платформе Reddit, пользователи присвоили устройству неофициальное название «ChuckyGPT». Некоторые участники обсуждений предположили, что опасные ответы могли стать следствием взлома системы через специальные промпты, но подтверждений этой теории нет.
Компания OpenAI предприняла оперативные меры в ответ на инцидент. Официальный представитель организации сообщил PIRG о приостановке действия аккаунта разработчика FoloToy за нарушение политики использования. Эта мера заблокировала доступ игрушки к API OpenAI.
Производитель FoloToy объявил о прекращении продаж всех продуктов до завершения полной проверки систем безопасности. На официальном сайте компании игрушка Kumma сохранила статус «распродана» вместо обычной доступности для заказа. В заявлении компании указано, что временное прекращение продаж связано с обеспокоенностью, выраженной в отчете PIRG.
Этот инцидент демонстрирует потенциальные риски интеграции мощных языковых моделей в продукты для детей младшего возраста без adequate защитных механизмов. Игрушка, предназначенная для роботизированного компаньона, превратилась в пример проблем безопасности при внедрении технологий искусственного интеллекта в повседневные устройства.
