«Яндекс» представил концепцию национального датасета для оценки соответствия ИИ‑систем духовно‑нравственным ценностям. Концепцию обсудили на совещании рабочей группы по регулированию и административным барьерам ИИ, которое прошло 13 августа. По данным источника, близкого к Минцифры, датасет нужен для проверки пригодности ИИ к использованию в российских условиях.
На совещании возникли разногласия о степени публичности датасета. ФСБ настаивает на закрытом формате, а представители бизнеса считают, что закрытый бенчмарк будет слишком сложным и замедлит развитие моделей. В качестве компромисса предложен комбинированный формат: открытый бенчмарк для публичного тестирования и прозрачности, а закрытый — для финальной проверки с идентичными тематиками, но разными формулировками вопросов.
Кто будет определять содержание бенчмарка?
Вопрос о том, кто будет определять содержание бенчмарка, остается открытым. ИТ‑сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций.