도착이 결제로 이어지는지8주간 검증합니다

배정 단위

이동 1건을 단위로 합니다. 사용자 단위 대신 이동 단위로 배정하면 동일인의 다른 이동을 대조군으로 활용할 수 있습니다.

처리군

도착 15분 전 혜택 노출. 가맹점 제안을 받고 카카오페이로 주문할 수 있습니다.

대조군

완전 홀드아웃으로 운영합니다. 혜택을 노출하지 않고 동일 기간, 동일 상권의 결제만 관측합니다.

배정 비율

50 / 50

눈가림

고객은 대조군 여부를 알 수 없습니다. 가맹점에는 주차별 집계만 제공하며 개별 배정 결과는 공개하지 않습니다.

한계. 동일 설계로 +2.0pp를 탐지하려면 군당 2,554건, 합계 5,108건이 필요합니다. 일 91건 규모로, 단일 상권 8주로는 확보되지 않습니다. 해당 효과까지 측정하려면 상권을 두 곳으로 확대하거나 기간을 12주로 연장해야 합니다.

1. 1–2주

   온보딩과 기준선

   가맹점 20곳과 계약하고 메뉴·마진 정보를 입력합니다. 혜택은 노출하지 않고 상권의 평상시 결제 수준만 측정합니다.

2. 3주

   A/B 개시

   이동 단위 50/50 배정을 시작합니다. 첫 주는 효과 판정이 아니라 데이터 파이프라인 검증을 목적으로 합니다.

3. 4–5주

   정상 운영

   혜택 산정 정책을 고정한 상태로 운영합니다. 중간 결과를 확인하지 않는 구간을 두어 조기 중단 편향을 방지합니다.

4. 6–7주

   정책 반복

   사전에 정의한 변수 하나만 조정합니다. 혜택 상한을 바꿔 가며 혜택 1원당 추가 결제액이 감소하기 시작하는 지점을 확인합니다.

5. 8주

   홀드아웃 복원과 분석

   처리군 일부를 대조군으로 전환해 효과가 유지되는지 확인합니다. 지속 효과와 일시적 효과를 구분하는 단계입니다.

1차 지표

전환율 +3.0pp 이상, 95% 신뢰구간 하한 > 0

단위 경제

혜택 1원당 추가 결제액 ≥ 2.5원

가맹점

8주 유지율 ≥ 80%, 재계약 의향 ≥ 60%

사용자

옵트아웃률 ≤ 3%, 픽업 미완료율 ≤ 5%

기준을 충족하지 못하면 중단합니다. 그 경우의 결론은 이동 데이터만으로는 상권 결제를 유의미하게 증가시키지 못한다는 것이며, 이 또한 유효한 결과입니다.

카카오 T

지정 상권으로 향하는 이동에 한해 목적지와 ETA 수신, 그리고 실험 배정을 붙일 수 있는 이동 식별자

카카오페이

참여 가맹점 결제 승인·취소 이벤트와 정산 연동, 그리고 전환 판정용 결제 시각

운영

실험 기간 중 상권 가맹점 대상 커뮤니케이션 승인 및 대조군 유지에 대한 합의