실험군을 나눌 자리를 만들었지만 나누지는 않았다
한눈에 답변
콘텐츠 개선 효과를 실험군·대조군으로 나눠 측정하기 위한 필드를 미리 만들었다. 다만 실제로 페이지를 두 그룹으로 나누는 작업은 하지 않았다 — 그 구분이 의미를 가지려면 크롤러 방문 데이터와 측정 기준선이 먼저 있어야 하는데, 그 시점에는 아직 없었다. 자리만 준비해 두고, 데이터가 쌓인 뒤에 실제로 나누기로 했다.
무엇을 준비했나
콘텐츠에 어떤 개입(제목 변경, 직접답변 추가 등)을 했는지와, 그 페이지가 실험군인지 대조군인지를 기록할 수 있는 필드를 콘텐츠 데이터 구조에 추가했다. 기존 글에는 전혀 영향이 없도록 전부 선택 항목으로 만들었고, 화면에도 렌더링되지 않게 했다.
왜 필드만 만들고 실제로 나누지는 않았나
실험군과 대조군을 나누는 것이 의미를 가지려면, 나누기 전에 두 그룹을 비교할 기준이 있어야 한다. 이 시점에는 아직 자사 크롤러 방문 데이터도, 측정 기준선도 없었다. 기준이 없는 상태에서 페이지를 임의로 두 그룹으로 나누면, 나중에 “이 개입이 효과가 있었다”고 말하고 싶어도 비교할 대상 자체가 처음부터 근거 없이 정해진 것이 된다.
대신 무엇을 했나
전환·브랜드 관련 핵심 페이지는 “보호 대상”으로, 색인 상태를 아직 지켜보는 지역 페이지 17개는 “검토 중”으로만 분류해 뒀다. 이건 실험 설계가 아니라, 대규모로 다시 쓰면 안 되는 페이지와 아직 지켜봐야 하는 페이지를 구분해 두는 운영상의 표시였다.
이 사건에서 세운 원칙
측정 인프라를 준비하는 것과 측정을 시작하는 것은 다른 일이다. 인프라(필드, 구조)는 데이터가 없어도 미리 만들어 둘 수 있지만, 실제 그룹 배정은 비교할 기준 데이터가 갖춰진 뒤에만 해야 한다. 데이터 없이 먼저 그룹을 나누면, 나중에 “왜 이 페이지가 이 그룹인가”라는 질문에 답할 근거가 없어진다.