Это запрос журналиста на Pressfeed — редакция готовит материал и ищет экспертов прямо сейчас.
Срочно ищем спикеров на онлайн-дискуссию: Война бенчмарков и парадокс оценки ИИ: как измерить неизмеримое?
Дедлайн 10 сентября 2024
Приглашаем ведущих экспертов в области ИИ, разработчиков генеративных моделей, создателей бенчмарков и аналитиков принять участие в остросюжетной дискуссии о методах оценки современных систем искусственного интеллекта.
Дискуссия состоится 12 сентября 2024 года в 14:00 (продолжительность 1 час 20 минут) по МСК на Youtube-канале https://www.youtube.com/@AIforDev. Текстовая версия - на Хабре.
В мире ИИ разгорелась настоящая война бенчмарков. Каждый разработчик предлагает свои методы оценки, заявляя об их беспристрастности. Но как в этом хаосе определить истинное качество ИИ-моделей? Можно ли создать универсальную систему оценки, и нужна ли она вообще?
Вопросы для обсуждения:
Анатомия современных бенчмарков: почему одни и те же модели показывают разные результаты в разных тестах? Эффект обратной связи: как оценка влияет на развитие самих моделей? Парадокс беспристрастности: возможно ли создать по-настоящему объективный бенчмарк? Качественный vs количественный подход: что важнее при оценке генеративных моделей? Роль реальных пользователей в оценке ИИ: как интегрировать обратную связь от конечных потребителей? Этика бенчмаркинга: где грань между оптимизацией под тесты и реальным улучшением модели? Будущее оценки ИИ: адаптивные бенчмарки и самообучающиеся системы оценки.
Дискуссия состоится 12 сентября 2024 года в 14:00 (продолжительность 1 час 20 минут) по МСК на Youtube-канале https://www.youtube.com/@AIforDev.
Для участия в качестве эксперта, пожалуйста, предоставьте следующую информацию:
ФИО Должность Организация Опыт работы с бенчмарками и системами оценки ИИ Контакт в Telegram
Дополнительные вопросы оперативно можно обсудить в тг https://t.me/anikolaichuk