Choosing sequential testing framework - comparisons and discussions

https://engineering.atspotify.com/2023/03/choosing-sequential-testing-framework-comparisons-and-discussions/

Choosing Sequential Testing Framework — Comparisons and Discussions - Spotify Engineering

 

 

▢ Sequential testing 

 

•  Sequential testing 이란 A/B 테스트를 하는 동안 데이터가 발생했을 때, 순차적으로 모니터링함으로써 의사결정을 내리는 방법론을 뜻한다. 

 

출처 : 스포티파이R&D

 

•  최근 sequential testing 에 관한 문헌이 주목을 받고 있지만, 다양한 sequential test 중 어떤 것을 선택해야 할지에 관한 advice 는 매우 적다. 스포티파이는 검정 방법을 선택할 때 어떠한 기준과 목표로 선택을 진행하는지 설명하겠다. 

 

 

 

 

▢ 스포티파이의 실험 플랫폼 

 

•  Group sequential test (GSTs) 를 사용한다. 

•  sequential analysis tool 선택에 영향을 미칠 2가지 주요 파라미터 

 

1. If your data infrastructure provides data in batch or streaming.
2. If you can make reasonable estimates of the maximum sample size an experiment will reach.

 

•  데이터가 batch 단위로 들어오든, streaming 단위로 들어오든 GST 는 가장 높은 검정력을 제공해준다. 

•  스포티파이는 상품개발순환에 있어 증거기반의 접근을 채택한다. 

    ▸ false positive or false negative rate → 실험을 디자인 하는데 있어 통제되어야 할 rate 

 

 

 

 

▢ Peeking is a common source of unintended risk inflation 

 

• peeking : 실험 또는 연구를 수행할 때 데이터를 수집하면서 중간 결과를 확인하거나 분석해 이후 데이터 수집 또는 분석 방향성을 결정하는 것을 peeking 이라 부른다. 이는 분석의 타당성을 감소시키고 편향성을 불어일으킬 수 있기 때문에, 분석 시 peeking 을 최소화 하는 것이 중요하다. 

•  z-tests 또는 t-tests와 같은 대부분의 표준 통계 테스트는 데이터 수집 단계가 끝난 후 테스트를 사용하는 경우에만 위험을 제한하는 방식으로 구성된다.

•  peeking 은 실험에서 잘못된 리스크 관리를 유발하는 흔한 요인 중 하나이다. peeking 은 데이터가 계속 수집되는 동안에 z test 나 t test 와 같은 non-sequential 한 test 가 반복적으로 적용될 때, false positive 를 유발한다. 

•  가령, 새로운 pair 의 관측치를 수집하고, test 를 진행했을 때 결과가 유의하지 않아 다시 또 다른 관측치를 모으고 test 를 진행하는 과정을 반복하게 되면 (peeking), false positive rate 이 급격히 증가한다. 

 

 

 

▢ Sequential tests solve the peeking problem 

 

•  통제되지 않는 peeking 은 피해야 하지만, 실험을 위해 데이터를 수집하는 동안 회귀를 모니터링하는 것도 중요하다. 

•  실험의 주 목표는 최종 사용자가 테스트 경험에 부정적인 영향을 받는지 여부를 조기에 파악하는 것이다. 이를 위해선 false alarm 을 일으키는 위험 요소를 통제하는 것이 중요하다. 이러한 peeking 현상을 방지하기 위해, sequential test 를 진행할 수 있다. sequential test 는 데이터가 수집될 때 같은 가설검정을 반복적으로 하더라도 false positive rate 이 커지는 것을 방지할 수 있다. 

 

 

 

▢ 스포티파이가 연구하고 사용하는 분석방법 

 

•  Group sequential test 

   ↪ z test 와 같은 전통적인 검정 방법을 연속적으로 적용하는 것으로 볼 수 있다. 

   ↪ 연속적인 여러 번의 검정을 최적화 하기 위해, 간헐적으로 발생하는 검정 간 상관관계 구조를 활용한다. 

 

 

•  Always valid inference (AVI) 

   ↪ 어떤 가설에 대해서도 항상 유효한 결과를 도출한다. 검정 결과를 확률적으로 해석하는 것이 아니라, 엄밀한 수학적인 증명을 통해 결과를 도출한다. 

 

    ∘ mixture sequential probability ratio test (mSPRT) 

    ∘ generalization of always valid inference (GAVI) 

 

 

•  corrected-alpha approach (CAA) 

   ↪ 여러 개의 가설검정을 수행할 때, 각 검정의 유의수준을 보정하는 방법 중 하나이다. Bonferroni correction과 유사하지만, 보정된 유의수준을 계산하는 방법이 다르다. 좀 더 유연한 보정을 진행한다. 

 

 

•  Bonferroni corrections as a baseline 

   ↪ 여러 가설검정을 수행할 때 검정의 유의성 수준을 보정하는 방법 중 하나이다. 각 가설검정의 유의수준을 원래 유의 수준에서 가설검정의 수 만큼 나누어 줌으로써 보정한다. 가령 5개의 가설검정을 수행하고 유의수준을 0.05로 설정한 경우, 각 검정의 유의수준을 0.01로 보정한다. 이를 통해 오류를 범할 확률을 감소시킬 수 있다. 그러나 검정의 수가 많아질수록 유의수준이 매우 작아지는 문제가 발생할 수 있다. 

 

 

 

▢ 데이터가 어떻게 수집되는지에 따라 검정 방법의 선택이 달라진다.