도입 가이드

완료된 리뷰만 보면 보이지 않는 것들

캠페인이 끝나면 운영자는 제출된 리뷰를 읽는다. 평점, 콘텐츠 품질, 도달 범위를 확인하고 '이번 캠페인은 잘 됐다'고 결론 내린다. 그런데 그 판단은 얼마나 정확한가.

제출이 완료된 리뷰는 전체 선정자 중에서 실제로 끝까지 이행한 사람들의 기록이다. 중도에 포기한 리뷰어, 제출했으나 검수에서 반려된 리뷰, 기한 내에 URL을 등록하지 못한 참여자는 이 결과지에 등장하지 않는다. 보이는 숫자가 좋아 보이는 이유 중 하나는, 나쁜 결과가 처음부터 집계 바깥에 있기 때문이다.

생존자 편향이 캠페인 해석을 왜곡하는 방식

완료 리뷰 기반의 평균 평점은 실제보다 높게 나온다. 낮은 품질의 리뷰는 검수 단계에서 반려되거나, 애초에 리뷰어가 제출을 포기했기 때문이다. 콘텐츠 품질에 대한 인상도 같은 이유로 왜곡된다. 완주한 리뷰어는 평균 이상의 성실성을 가진 집단이다.

이 편향이 위험한 이유는 숫자 자체가 거짓말을 하는 게 아니라는 점에 있다. 완료된 리뷰 20건의 평균 평점이 4.6점이라는 사실은 정확하다. 그러나 선정자 30명 중 10명이 미제출이었다는 사실을 함께 읽지 않으면, 4.6점은 캠페인 전체의 성과가 아니라 완주자들만의 평균이 된다.

운영자 보정 원칙 3가지

• 분모를 선정자 수로 고정한다 — 완료율 계산 시 분모를 제출자 수가 아닌 선정자 수로 설정해야 캠페인 실질 이행률이 보인다. '완료 20건 / 제출 20건 = 100%'와 '완료 20건 / 선정 30명 = 67%'는 전혀 다른 그림이다.
• 미제출·반려 사유를 별도로 집계한다 — 탄즈소프트 운영 화면에서 리뷰 제출 상태별로 현황을 확인할 수 있다. '미제출', '반려', '기한 초과' 건수를 캠페인 종료 시점에 별도로 기록해 두면 다음 캠페인 설계에 구체적으로 반영할 수 있다.
• 보고 지표를 이중으로 제시한다 — 클라이언트 보고 시 '완료 리뷰 평균 평점'과 함께 '선정자 대비 완료율'을 병기한다. 하나는 품질 지표, 다른 하나는 이행률 지표다. 두 숫자가 함께 있어야 캠페인 성과를 오해 없이 전달할 수 있다.

무엇이 완주를 막았는지가 다음 캠페인을 바꾼다

미제출 비율이 높다면 가이드라인 이해 부족인지, 일정이 촉박했는지, 참여 동기가 충분히 설계되지 않았는지를 따져볼 필요가 있다. 반려 비율이 높다면 검수 기준이 사전에 충분히 공유됐는지를 되돌아본다. 완료된 리뷰를 읽는 것만큼, 완료되지 못한 리뷰 뒤에 무엇이 있었는지를 읽는 것이 운영 역량을 만든다.