Надежность моделей машинного обучения в продакшене

Сайт ВАЙТИ https://vaiti.io – это медиа для профессионалов ИТ-отрасли. На нем размещены подробные практические тексты про IT. В связи с этим мы ищем спикеров, готовых поделиться своей экспертностью в данной теме.

Сейчас мы ищем спикеров на обозначенную в запросе тему: ML-инженеров, Data Scientists, SRE, инженеров по надежности, работающих с ML-системами.

Что нужно: Экспертное мнение, кейсы, рассуждения о том, как применять принципы Chaos Engineering (умышленное внесение сбоев) к тестированию ML-систем. В фокусе — concept drift (изменение статистических свойств данных со временем), но можно шире: любые виды тестирования устойчивости моделей к изменениям внешней среды, дрейфу фичей, аномалиям.

Вопросы, которые могут быть освещены и затронуты в статье:

* Можно ли «ломать» данные или инфраструктуру, чтобы проверить, как модель справится с concept drift? Какие метрики при этом отслеживать? * Какие инструменты и подходы уже существуют для тестирования ML-моделей на хаос? Есть ли готовые фреймворки (например, аналог Chaos Monkey для ML)? * Как отличить дрейф концепта от обычного шума или технического сбоя? * Поделитесь реальными примерами, когда неожиданное изменение данных приводило к падению качества модели и как это можно было предотвратить с помощью проактивного тестирования.

Ваша польза заключается в упоминании вашего бренда и вас как эксперта.

КОМУ НЕ НАДО ОТКЛИКАТЬСЯ НА ЗАПРОС: - Тех, кто воспринимает текст как самопиар без экспертизы в конкретной сфере. Даже если у вас очень крутая компания или крутой заслуженный спикер, но его текст не несет пользы, такие отклики сразу отфильтровываются. - Тех, у кого нет времени приступить к работе над текстом СРАЗУ, а не через год.

Всем заранее спасибо и хорошего дня!