긴 홈페이지 안내를 준비 사항과 신청 절차 두 문서로 나눴다면 예전 주소의 방문 수만 보고 성과가 줄었다고 말하기 어렵습니다. 예전에는 한 주소에서 읽던 내용을 이제 두 주소에서 찾기 때문입니다. 반대로 새 문서의 수치를 모두 더해 늘었다고 평가하는 것도 서두른 판단입니다. 수정 효과를 비교하려면 무엇을 세는지와 어느 문서까지 포함하는지가 먼저 같아야 합니다.
변경 기록에는 분리 적용일, 이전 문서가 맡던 질문, 그 질문을 이어받은 새 문서를 적습니다. 이전 주소를 개요로 남겼다면 이 개요도 새 집계 묶음에 들어가는지 정합니다. 분리하면서 새 주제까지 추가했다면 예전 범위의 변화와 새 주제 유입을 따로 볼 수 있어야 합니다. 비교 도중 성과가 좋아 보이는 문서만 묶음에 넣으면 같은 설명 범위를 비교했다고 보기 어렵습니다.
숫자는 지표의 뜻에 맞춰 읽습니다. 한 사람이 두 문서를 차례로 열어 각 문서에 조회 한 건이 남는 가상의 집계를 생각해 봅니다. 조회 합계는 두 건이지만 그 사람이 두 명으로 늘어난 것은 아닙니다. 예전 한 문서를 읽던 행동이 두 페이지 이동으로 바뀌었을 뿐일 수 있습니다. 방문자 수를 묶어서 보려면 문서 사이 중복을 제거할 수 있는 자료와 동일한 집계 기준이 필요합니다.
페이지별 합계만 확보했다면 이를 더한 값을 묶음 조회로 설명하고 고유 방문자 증가로 바꾸어 말하지 않습니다. 중복을 확인할 수 없는 범위도 보고에 남깁니다. 같은 길이의 관찰 기간을 정하되 분리 작업이 진행 중인 기간은 완전히 적용된 기간과 구별합니다. 새 문서별로 어떤 질문을 찾는지와 문서 사이 이동을 함께 살펴야, 주소가 늘어 생긴 집계 변화와 필요한 답을 더 잘 찾게 된 변화를 구분할 수 있습니다.
문서 묶음의 경계는 결과를 본 뒤 고르지 않는 편이 좋습니다. 준비 사항과 신청 절차를 나눴다면 두 문서가 예전 글의 어떤 부분을 맡았는지 먼저 적습니다. 새로 추가한 비교 안내처럼 이전에 없던 질문은 별도 범위로 표시합니다. 그래야 새 주제에서 생긴 유입을 기존 안내의 구조 개선으로 잘못 설명하지 않습니다.
분리 이후의 이동도 목적에 따라 읽습니다. 준비물을 확인한 사람이 신청 절차를 이어 읽었다면 필요한 다음 답을 찾은 경로일 수 있습니다. 반면 신청 글에 필수 조건이 없어 다시 준비물 글을 여러 번 열었다면 왕복의 이유를 더 살펴야 합니다. 페이지 조회가 늘었다는 같은 현상 안에도 정보 확장과 탐색 부담이 섞일 수 있습니다. 숫자만으로 어느 쪽인지 확정하지 않고 실제 경로와 설명을 대조합니다.
가상의 집계에서 한 사람이 개요, 준비, 신청을 차례로 읽었다면 페이지별 합계가 늘어날 수 있습니다. 같은 사람이 다시 들어온 경우까지 있는 자료라면 방문 횟수와 사람 수의 차이도 생깁니다. 도구가 제공하는 정의를 확인하고, 문서별 값의 단순 합계를 고유 이용자 수로 부르지 않습니다. 중복을 제거할 수 없는 자료는 그 한계를 그대로 남겨 비교합니다.
이전 주소를 유지한 경우에는 그 페이지의 새 역할도 기록합니다. 본문 전체를 읽던 곳이 개요와 선택 링크를 보여 주는 곳으로 바뀌었다면 머무는 시간이나 다음 이동이 달라지는 것이 자연스러울 수 있습니다. 예전과 같은 값이어야 성공이라고 정하기보다 현재 역할에 맞는 행동을 살핍니다. 실제로 필요한 문서로 이어지는지, 제목의 기대와 선택지가 맞는지 확인합니다.
보고서는 전체 묶음의 변화와 개별 문서의 문제를 함께 보여 줄 수 있어야 합니다. 묶음 수치가 유지되더라도 한 문서가 특정 질문을 제대로 받지 못할 수 있습니다. 분리 적용일과 집계 정의를 고정한 뒤, 어떤 질문의 답이 잘 드러났고 어느 구간은 보완이 필요한지 설명합니다. 페이지 수가 늘어난 효과를 제거해 볼 수 있는 자료가 없다면 구조 변경과 성과 사이의 인과를 확정하지 않습니다.
또한 비교표에는 분리된 두 문서의 주소를 함께 남겨 어느 화면을 대상으로 계산했는지 확인할 수 있게 합니다. 주소가 다시 바뀌면 집계 묶음도 재검토합니다.