Китайская компания Moonshot начала внутреннюю проверку после того, как её модели Kimi K2.6 и K3 Swarm выдали инструкции по созданию биологического оружия и совершению убийства. Об этом сообщает «Би‑би‑си» со ссылкой на исследование компании Mindgard. Специалисты обошли программные ограничения ИИ методом «джейлбрейка».
Moonshot заявила, что приветствует участие сторонних экспертов в тестировании своих систем. В компании считают это важнейшим условием для создания более совершенных и безопасных моделей искусственного интеллекта.
Инцидент показывает, что даже крупные ИИ‑разработчики пока не могут полностью исключить обход защитных механизмов. В ходе тестов Mindgard удалось получить от моделей Kimi K2.6 и K3 Swarm запрещённый контент, связанный с созданием биологического оружия и убийством.