14 тем — от постановки целей до принятия решений. Выберите тему и начните диалог с готового вопроса.
Научитесь формулировать OEC, выбирать guardrail-метрики и определять критерии успешности. Помогает связать бизнес-цели с измеримыми результатами.
Базовые принципы: уровень значимости (alpha), мощность (power), расчёт MDE и простая рандомизация.
Факторные эксперименты, стратифицированная рандомизация, адаптивные и multi-armed дизайны для сложных задач.
Основы: p-value, доверительные интервалы, статистическая значимость результатов.
Ошибки Type S/M, байесовский взгляд, winner’s curse и альтернативные способы принятия решений.
Как продлевать эксперименты, объединять результаты (meta-analysis) и применять последовательные методы без искажения статистики.
Goldilocks, адаптивный ramp-up, phase-gated запуск: как быстрее получать достоверные результаты.
CUPED, ковариаты, causal forests и пост-стратификация для повышения чувствительности теста.
Как обнаружить и интерпретировать дисбаланс между группами (SRM, A/A-тесты) для надёжных выводов.
Контроль ошибок: Bonferroni, FDR, minP/maxT, SLIDE при работе с большим числом метрик.
Измерение velocity, процента успешных тестов, зрелости процессов и эффективности платформы.
Байесовские A/B, бандиты, Thompson Sampling и контекстные методы для динамического распределения трафика.
Поиск сегментов с разным эффектом, causal trees и корректный контроль ошибок при множественных сегментах.
Go/No-Go, cost-sensitive пороги, Bayes-optimal policy для бизнес-решений с учётом рисков и выгод.