검색 콘텐츠를 처음 운영할 때 정한 지표가 이후에도 가장 중요한 기준일 필요는 없습니다. 초기에는 문서를 알리는 일이 급했지만 자료가 충분히 쌓이면 필요한 설명을 찾는 과정이 더 중요한 과제가 될 수 있습니다. 재검토에서는 숫자가 좋아졌는지만 볼 것이 아니라 그 숫자가 지금 어떤 결정을 돕는지도 확인해야 합니다.
정기 보고의 각 지표 옆에 수치가 달라졌을 때 취할 행동을 적어 봅니다. 어떤 변화에도 아무 결정이 달라지지 않는 값이라면 핵심 보고에서 유지할 이유가 있는지 검토합니다. 그렇다고 불리한 지표를 없애거나 유리한 값으로 목표를 바꾸는 방식은 피해야 합니다. 문서의 역할이나 이용 경로가 바뀌었는지 확인하고 변경 이유를 업무 목표와 연결해 설명합니다.
새 기준을 도입할 때는 적용 날짜와 기존 기준의 종료 시점을 남깁니다. 필요하다면 일정 기간 두 기준을 함께 관찰해 무엇을 더 알 수 있는지 비교합니다. 과거 성과를 새 정의로 다시 계산할 자료가 없다면 같은 추세로 이어 보이지 않게 합니다. 보조 자료로 남길 값과 매번 검토할 핵심 값을 구분하면 보고 부담도 조절할 수 있습니다. 지표를 자주 바꾸는 것이 목적은 아닙니다. 현재의 검색 질문과 콘텐츠 역할을 판단하는 데 필요한 정보가 보고에서 충분히 드러나는지 살피는 과정입니다.
지표를 검토할 때는 보고서를 받는 사람이 실제로 어떤 결정을 하는지 먼저 묻습니다. 콘텐츠를 새로 만들지 기존 문서를 고칠지, 설명 순서를 바꿀지, 문의 경로를 확인할지에 따라 필요한 자료가 다릅니다. 보기 익숙하다는 이유로 모든 숫자를 계속 올리면 결정에 필요한 변화가 가려질 수 있습니다. 각 지표의 용도를 문장으로 적으면 유지할 항목과 보조로 돌릴 항목이 선명해집니다.
가상의 운영 초기에 글이 검색에서 발견되는지 확인하는 일이 중심이었다고 해 봅니다. 기본 안내가 쌓인 뒤에는 독자가 적절한 문서를 찾는지가 더 중요한 질문이 될 수 있습니다. 그렇다고 이전 노출 자료를 모두 버릴 필요는 없습니다. 새 판단을 위한 이용 경로 자료를 핵심에 두고 노출은 맥락을 설명하는 보조 자료로 남길 수 있습니다. 전환은 좋은 숫자를 고르는 일이 아니라 현재 업무 질문에 맞는 정보를 고르는 과정입니다.
지표의 정의도 함께 검토합니다. 문의 버튼 클릭을 문의 완료라고 부르고 있었다면 새 지표를 추가하기 전에 기존 이름부터 정확히 해야 합니다. 다른 지표를 써도 완료 수준을 혼동하면 같은 문제가 이어집니다. 어떤 행동이 발생했을 때 한 건으로 세는지, 반복 행동은 어떻게 처리되는지 확인 가능한 범위에서 기록합니다. 추적할 수 없는 단계를 측정한 것처럼 보고하지 않습니다.
제외할 후보는 좋거나 나쁜 결과가 아니라 사용 목적의 부재를 기준으로 정합니다. 수치가 불리해서 빼는 결정이라면 보고의 신뢰성을 해칠 수 있습니다. 역할이 바뀌었거나 다른 자료와 중복돼 핵심 보고에서 내리는 경우에는 그 이유를 남깁니다. 장기 비교에 필요한 항목은 보관하고, 매주 해석하지 않아도 되는 값은 주기를 조정하는 선택도 가능합니다.
새 기준을 시험할 때에는 수집이 가능한지와 의미가 있는지를 별도로 확인합니다. 기술적으로 값을 얻을 수 있어도 현재 문서의 문제를 설명하지 못하면 핵심 지표로 적합하지 않을 수 있습니다. 반대로 의미 있는 질문이지만 자료를 직접 얻지 못한다면 화면 관찰이나 문의 유형 기록을 보조로 사용할 수 있습니다. 측정하지 못한 것을 임의 수치로 채워 보고서를 완성하지 않습니다.
변경 뒤 첫 보고서에는 이전 기준과 무엇이 달라졌는지 짧게 설명합니다. 과거 값과 바로 비교할 수 있는 항목과 정의가 달라 연결할 수 없는 항목을 나눕니다. 이어 보이는 그래프를 만들기 전에 동일한 행동과 범위를 세는지 확인해야 합니다. 지표 관리의 완성은 표를 간단히 만드는 데 있지 않고, 수치를 읽은 다음 어떤 작업을 선택해야 하는지 팀이 같은 의미로 이해하는 데 있습니다.