작은 자료는 한두 건만 달라도 비율이 크게 움직입니다
설문이나 상담 기록에서 뚜렷한 차이가 보이면 그 차이를 전체의 특성으로 설명하고 싶어집니다. 하지만 자료의 수가 적을수록 한두 건의 변화가 비율을 크게 흔듭니다. 응답이 다섯 건일 때 한 건이 바뀌면 비율은 스무 퍼센트포인트나 달라지기 때문에, 비율만 보고 경향이 바뀌었다고 판단하면 우연을 변화로 읽을 수 있습니다.
그래서 자료가 어떤 질문에 답할 수 있는지는 비율이 아니라 응답 수와 수집 방식에서 먼저 정해집니다. 보고서를 쓰는 사람은 비율을 제시하기 전에 이 숫자가 몇 건을 기준으로 한 것인지부터 밝히는 습관이 필요합니다.
비율 옆에는 실제 건수와 기간을 적습니다
다섯 명 가운데 네 명이 같은 답을 했다면 80퍼센트라는 표기만으로는 규모를 짐작하기 어렵습니다. 이 경우 5건 중 4건이라고 병기하고, 조사 기간을 함께 적어야 읽는 사람이 자료의 크기를 가늠할 수 있습니다. 같은 비율이라도 건수가 다르면 신뢰할 수 있는 정도가 달라진다는 점을 독자가 직접 판단하게 하는 방식입니다.
표를 만들 때도 분모를 별도 열로 두면 좋습니다. 분모가 서로 다른 항목을 나란히 놓았을 때 비율만 비교하면 오해가 생기므로, 각 항목의 건수를 함께 보여 주어야 비교의 의미가 유지됩니다.
누가 응답했는지 선정 방식을 확인합니다
응답 수 못지않게 중요한 것은 응답자가 어떻게 모였는지입니다. 자발적으로 응답한 사람만 포함됐는지, 특정 지역이나 특정 채널에서만 모았는지, 응답하기 쉬운 시간대에 수집했는지에 따라 결과가 달라질 수 있습니다. 응답하지 않은 사람의 의견을 이미 조사한 것처럼 추정하는 표현은 쓰지 않습니다.
중복 선택이 가능했던 질문이라면 합계가 100퍼센트를 넘을 수 있다는 점도 표 아래에 적습니다. 누락된 응답을 제외했는지, 빈 답변을 어떻게 처리했는지도 같은 곳에 밝혀 두어야 다른 사람이 자료를 다시 읽을 때 같은 결론에 도달할 수 있습니다.
작은 자료로 변화를 설명해야 할 때는 단일 시점의 비율보다 여러 시점의 건수를 나란히 놓고 흐름을 보는 방식이 안전합니다. 한 번의 수치가 아니라 반복해서 같은 방향이 나타나는지를 확인하면 우연의 영향이 줄어듭니다. 그래도 확정적인 결론이 필요하다면 자료를 더 모은 뒤에 판단하는 것이 합리적입니다.
비교하려는 두 집단의 조건이 같은지 살핍니다
두 집단을 비교할 때는 차이가 집단의 특성에서 나온 것인지 조건의 차이에서 나온 것인지 구분해야 합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 결과의 차이는 이용 기간의 차이일 수 있습니다. 질문 문구가 바뀌었거나 설문이 놓인 위치가 달라졌다면 같은 항목이라도 시간 순서로 이어 붙여 해석하기 어렵습니다.
이런 한계가 있을 때는 확정적인 순위를 매기기보다 관찰된 패턴과 아직 확인하지 못한 질문을 나누어 적는 편이 정확합니다. 다음 조사에서 어떤 집단과 기간을 보완할지까지 적어 두면 보고서가 판단의 끝이 아니라 다음 확인의 출발점이 됩니다.
보고서를 받는 사람이 같은 질문을 반복하지 않도록 자료의 한계를 첫 문단에 요약해 두는 방법도 있습니다. 응답 수, 수집 기간, 선정 방식을 두세 문장으로 먼저 알리고 본문에서 세부 결과를 설명하면, 읽는 사람이 결과를 어느 정도의 무게로 받아들여야 할지 처음부터 가늠할 수 있습니다.
그래프는 축과 단위를 정직하게 맞춥니다
그래프를 그릴 때 축의 범위를 좁게 잡으면 두 건과 세 건의 차이도 큰 막대 차이로 보입니다. 축을 0에서 시작하는지, 단위가 건수인지 비율인지를 눈에 띄게 표시하고, 건수가 적은 항목에는 건수를 막대 옆에 직접 적는 방법이 도움이 됩니다.
결론 문장에서는 자료의 범위를 다시 한 번 밝힙니다. 이번에 확인한 사례에서는 이런 경향이 있었다고 말할 수 있어도, 모든 이용자가 그렇다고 단정할 근거는 부족할 수 있습니다. 적은 표본도 현장의 질문을 발견하는 데는 쓸모가 있으므로 버릴 필요는 없습니다. 다만 그 자료가 말하지 않은 부분까지 사실로 바꾸지 않아야 이후 의사결정에 도움이 됩니다.
마지막으로 질문지와 포함 기준을 보관해 둡니다. 다음 조사에서 같은 조건을 적용하면 변화가 실제 차이인지 방법의 차이인지 나누어 볼 수 있습니다.