The science of price experiments in the Amazon Store

 

원문 

 

 

 

◯ 아마존 스토어에서의 가격 실험 

 

•  아마존 스토어의 상품의 가격은 수요,계절성,일반적인 경제적 트렌드와 같은 요소를 반영하고 있다. 

•  가격 정책도 그러한 부분을 중요하게 두고 있다. 새로운 가격 정책은 머신러닝 방법론을 많이 활용하고 있다. Amazon pricing labs 에서는 새로운 가격 정책을 평가하기 위해 온라인 A/B test 를 수행하고 있다. 

•  아마존 스토어를 방문하는 모든 소비자들이 동시에 모든 제품에 대해 동일한 가격에 구매할 수 있도록 하는 차별없는 가격 책정을 실천하고 있으므로, 각기 다른 고객에게 다른 가격을 제시하는 것이 아니라 시간이 지남에 따라 제품 가격에 대한 실험적인 처치를 적용해야 한다. 

 

 

◯ Time-bound experiment 

 

•  새로운 가격 책정을 평가해야 할 때, 파급효과를 방지하고, 정확도를 개선하고, 수요 트렌드와 처치집단에서의 차이를 통제하기 위해 실험을 진행한다. 

•  가장 간단하게 수행할 수 있는 유형의 실험은 특정 class의 일부 제품에 treatment 를 적용하고, class 의 다른 제품은 untreated 한 상태로 두는, 즉 controls 로 설정한채로 진행하는 시간 제한 실험이다. 

 

 

•  time bound 실험에서 발생할 수 있는 노이즈의 잠재적 요소는 다른 상점에서 같은 상품에 적용하는 일시적인 할인과 같이 treatment 에 영향을 미칠 수 있는 외부적인 이벤트이다. 만약 이러한 요인들을 사전에 정의할 수 있다면  triggered intervention 을 수행할 수 있다. 즉, treatment 와 control 의 시작 시간을 이벤트 발생 기간으로 지정할 수 있다. 

 

 

※ "Triggered intervention"은 일반적으로 개인이나 그룹의 특정 행동, 반응, 상태 등을 감지하고, 이를 기반으로 자동으로 어떤 조치를 취하는 시스템 또는 방법을 말한다. 마케팅 분야에서는 고객의 행동 패턴을 분석하여 특정 이벤트가 발생하면 자동으로 특정 광고를 보여주는 등의 자동화된 마케팅 방법이 될 수 있다. 

 

 

◯ Triggered experiment 

 

 

↪ 외부적인 event 로 인해서 유발되는 각 실험의 시작 포인트가 다를 수 있다. 

 

 

 

◯ Switchback experiment 

 

 

•  만약 상품에 대한 수요곡선이 충분히 비슷하고, 처치집단과 통제집단 사이의 결과 차이가 충분히 차이가 난다면, time-bound 와 triggered 실험은 충분할 수 있다. 그러나 가격 책정의 정확한 평가를 위해, 같은 상품에 대해 treatment 와 control 실험은 필요할 수 있다. (전형적인 A/B test) 이러한 것은 switchback 실험이 필요하다. 

•  switchback experiment 는 random-days experiment 로, 처치집단과 통제집단 모두에 각 요일에 각 상품이 랜덤하게 배정되는 방식이다. 랜덤하게 요일을 선택함으로써 실험적인 결과의 표준오차를 줄일 수 있다. 

 

 

◯ Cross over experiment 

 

 

•  교차 실험에서 그룹의 일부 제품에 대해 다른 제품은 treatment 대상으로 두고 두 그룹의 첫주 데이터는 모두 삭제할 수 있다. 충분한 데이터 (2주치) 데이터를 수집한 후 이전 treatment 그룹에서 treatment 를 제거하고 이전 control 그룹에 적용한다. 이는 carryover 효과를 줄어들게 할 수 있다. 

•  교차 실험은 결과의 표준오차를 40% 에서 50%까지 줄였다. 

 

 

 

 

◯ Heterogeneous panel treatment effect 

 

•  HPTE 의 4단계 과정 

  ① detrended data 로부터 상품레벨의 first difference 를 추정한다. 

  ② Outlier 를 거른다. 

  ③ causal forest 를 사용하여 그룹화된 상품으로부터 second difference 를 추정한다. 

  ④ 노이즈를 estimate 하기 위해 data 를 bootstrap 한다. 

 

 

① First difference 

 

•  DID 분석을 위해 진행하는 first difference 는 실험이 시작되기 전과 후에 단일 제품에 대한 결과의 차이다. 

•  단순히 치료 후 결과에서 치료 전 결과를 빼는 것이 아니라, 과거의 추세를 분석해 treatment 기간동안 제품을 treat 하지 않았다면 어떤일이 벌어졌을지 예측한다. 그런 다음 관찰된 결과에서 예측된 값을 뺀다. 

 

 

② Filter outliers 

 

•  가격 실험에서, 결과 측정에서 극심한 변화로 인해 관찰되지 않은 요인들이 종종 발생한다. cutoff point 를 사용해 이러한 outlier 들을 제거한다. 

 

 

③ causal forest 를 사용해 second difference 구하기 

 

•  DID 분석에서, second difference 는 treatment group 과 control group 의 first difference 에서의 차이를 의미한다. 이질적인 상품의 집단 차이를 계산하고 평균을 취한다. 

•  Affinity score 를 계산하기 위해 causal forests 라고 불리는 결정트리의 변동성을 사용한다. 

 

 

④ Bootstrap data 

 

•  표준오차를 계산하기 위해 상품들을 랜덤하게 샘플링하고 평균처치효과를 계산한다. 

 

 

 

◯ Spillover effect 

 

•  특정한 한 상품의 treatemnt 가 다른 비슷한 상품의 수요를 발생시키는 파급효과를 계산하기 위한 방법들도 도입하고 있다.