БОГДАН ХОМЯК, СБЕР - АВТОМАТИЗАЦИЯ A/B-ТЕСТИРОВАНИЯ И ФИНАНСОВАЯ ОЦЕНКА AI-ЭФФЕКТОВ

Доклад был сделан на конференции Матемаркетинг-2024 https://matemarketing.ru/ Богдан рассказывает о том, как выглядит воркфлоу А/В-тестирования в кампейнинге (какие этапы важны и почему с учетом банковской специфики), про разработанные инструменты и как они позволяют ускорять запуски А/В тестов, и проводить аналитику, финансовую оценку результатов А/В-тестов от внедрения ML-моделей и делится подходами к оценке влияния внедрения AI (ML) решений как с помощью А/B-тестов, так и с помощью альтернативных методов (HYPEX) на доходы банка). Фокус доклада смещен в аналитическую часть (уникальная специфика наших А/В-тестов в том, чтобы не просто окрасить метрики, а посчитать финансовый результат от ML-модели, отделив его от других эффектов, учитывая каннибализацию и прочее, + casual inference - своя библиотека HYPEX) A/B тестирование и финансовая оценка эффектов ИИ имеют решающее значение для повышения лояльности клиентов и оптимизации распределения ресурсов в банковском деле, что продемонстрировала автоматизированная платформа Сбербанка и акцент на эффективные стратегии продаж. 00:00 Важность A/B тестирования и финансовой оценки эффектов ИИ для повышения лояльности клиентов и оптимизации распределения ресурсов в банковском деле. 02:57 Как Gigаchat улучшает коммуникацию с клиентами и прибыльность, что подтверждается финансовыми показателями, несмотря на трудности в оценке. 05:30 A/B-тестирование в Сбер 11:28 Финансовое влияние A/B-тестирования на стратегии продаж 14:25 Финансовые последствия ИИ и обеспечение точных бизнес-метрик. 17:00 Автоматизированная платформа A/B-тестирования Сбера с инструментами для оценки продаж и анализа в реальном времени 19:32 Автоматизация A/B-тестирования в Сбер Ключевые выводы: Финансовая оценка AI-эффектов в Сбербанке критически важна для приоритизации гипотез, эффективного распределения ресурсов и своевременного вывода или доработки моделей, а также улучшает системы мотивации путем установки четких целей и измерения прогресса. Для оценки статистической значимости финансовых метрик используются два подхода: "сверху вниз" (подходит для случаев с неопределенными бизнес-метриками) и "снизу вверх" (для случаев с четкими бизнес-метриками вроде продаж и конверсий). Финансовый эффект A/B тестирования следует оценивать на трехлетнем горизонте, так как положительный эффект первого года может быть нивелирован негативным эффектом второго и третьего годов из-за короткого жизненного цикла позитивных продуктов и длительного жизненного цикла негативных.