AI 노출 측정, 어떻게 하나요? medad가 쓰는 측정 방법을 그대로 공개합니다

AI 노출 측정은 생성형 AI에 고정된 질문을 반복해서 던지고, 답변에 우리 이름이 나오는지와 AI가 근거로 가져다 쓴 출처가 어디인지를 함께 기록하는 작업입니다. 이 글은 medad가 실제로 쓰는 측정 방법을 그대로 적은 글입니다. 재현할 수 없는 숫자는 근거가 아니라고 보기 때문입니다.

무엇을 재는가 — 세 가지

첫째, 등장률입니다. 질문을 던졌을 때 답변 본문에 우리 이름이 나오는 비율입니다. 다만 이름이 안 나와도 출처 목록에 우리 주소가 들어가면 그 자체가 노출이므로, 등장률만 보면 절반을 놓칩니다.

둘째, 인용 출처입니다. AI가 답을 만들면서 근거로 가져다 쓴 주소를 전부 기록합니다. 여기에 우리 도메인이 있는지, 없다면 대신 누가 있는지를 봅니다. 실제로 이 항목이 등장률보다 먼저 움직입니다.

셋째, 경쟁 등장률입니다. 같은 질문에 누가 나오는지를 함께 셉니다. 우리 숫자만 보면 그 값이 좋은 건지 나쁜 건지 판단할 기준이 없습니다.

어떻게 재는가 — 사양

핵심은 질문을 손대지 않는 것입니다. 회차마다 문항을 바꾸면 앞 회차와 견줄 근거가 사라집니다. 그래서 사양은 고정해 두고, 바꿔야 할 사정이 생기면 바꾼 시점을 기록에 남깁니다.

왜 한 번 재면 안 되는가

같은 질문을 다시 던져도 답은 그대로 나오지 않습니다. 그래서 한 번 잰 값으로는 나아졌는지 나빠졌는지 말할 수 없습니다. 자체 측정에서도 첫 회차와 두 번째 회차의 차이는 단 한 건이었고, 두 값은 통계적으로 구분되지 않았습니다. 이럴 때 "하락"이라고 쓰면 그건 측정이 아니라 이야기입니다.

숫자를 어떻게 읽는가

표본이 유한하면 결과는 점이 아니라 구간입니다. 이백여 회를 재서 한 번도 안 걸렸다면 "0이다"가 아니라 "상한이 1.7% 남짓인 구간"이라고 적어야 맞습니다. 정말 0에 가까운지, 드물게 나오는데 그 회차에 안 걸린 것인지는 한 번으로 가릴 수 없기 때문입니다. 회차를 쌓으면 그 구간이 좁아집니다.

시차도 함께 봐야 합니다. 새로 올린 글이 답변 생성에 반영되기까지는 시간이 필요합니다. 자체 측정에서 두 회차 사이가 엿새, 그 사이 발행이 네 편이었는데 아무 변화도 잡히지 않았습니다. 변화가 없다는 것 역시 데이터입니다 — 짧은 간격과 적은 편수로는 아무 말도 할 수 없다는 뜻이니까요.

우리가 우리를 재서 공개한 기록

측정 방법을 파는 회사가 자기 회사를 안 재봤다면 그 방법은 믿을 게 못 됩니다. 그래서 같은 사양으로 우리를 재고, 좋지 않은 결과를 그대로 공개했습니다. 회차 전체에서 이름이 한 번도 나오지 않았고, 다섯 엔진이 근거로 삼은 출처 가운데 우리 주소는 하나도 없었습니다.

숫자와 해석, 그리고 그 회차의 한계까지 AI 검색 마케팅 회사가 자기 회사를 재봤더니, 추천율 0%였습니다에 적어 두었습니다.

무엇을 보장하지 않는가

순위도 노출도 장담하지 않습니다. 답변이 확률적으로 만들어지는 이상 특정 결과를 못박는 것은 가능하지 않습니다. 측정이 하는 일은 지금 위치와 그사이 움직인 것을 숫자로 남기는 데까지입니다.

측정 자체의 한계도 함께 적습니다. 표본이 유한해 신뢰구간이 따라붙고, 엔진이 모델을 교체하면 회차 간 비교가 흔들릴 수 있습니다. 그런 일이 생기면 사양이 바뀐 시점을 기록에 남깁니다. 한계를 적지 않은 숫자는 근거로 쓸 수 없다고 봅니다.