AI 인용률을 재기 전에, 어떤 질문을 셀 것인가

AI 인용률을 측정하려면 먼저 어떤 독자의 어떤 질문을 평가할지, 무엇을 인용으로 셀지, 질문과 답변 실행 중 어느 단위로 나눌지 정해야 한다. 같은 질문을 반복한 결과와 서로 다른 질문에서 발견된 범위는 다른 수치다. 원고 수정에 쓴 질문의 성적과 별도로 남겨둔 평가 질문의 결과도 구분해야, 제한된 관측을 전체 수요나 개선 효과로 과장하지 않을 수 있다.

측정 도구에 질문을 많이 넣는 것으로 이 문제가 해결되지는 않는다. 쉬운 질문을 더 자주 실행하거나, 업체 이름과 주소를 먼저 알려준 실행을 일반 탐색과 섞으면 보고서가 답하는 질문부터 달라진다. 이 글은 현재 공식 보고서와 연구의 평가 설계를 읽어 자체 측정을 준비하는 방법을 설명한다. 실제 AI 응답을 실행해 얻은 인용률은 제시하지 않는다.

집계 문구에서 실제 질문 전문을 만들어내지 않는다

Bing AI Performance의 Grounding Queries는 자료를 찾는 데 사용한 짧은 문구를 묶어 보여준다. 공식 도움말은 이것이 개별 이용자의 질문이나 프롬프트 전문이 아니라고 설명한다. 개별 답변과 정확한 질문, 특정 페이지를 선택한 이유도 제공하지 않는다. 따라서 보고서의 문구를 그대로 “고객이 실제로 이렇게 물었다”라고 기록하면 자료의 범위를 넘는다.

Bing은 이 자료가 모든 인용 활동의 완전한 로그가 아니며 낮거나 드문 활동은 표시되지 않을 수 있다고도 안내한다. 보고서에 보이지 않은 주제는 점검할 후보가 될 수 있지만, 그 주제를 묻는 사람이 없거나 모든 답변에서 인용되지 않았다는 판정은 아니다.

Google의 생성형 AI 실적 보고서는 AI Overviews·AI Mode와 Discover의 생성형 AI 기능에서 사이트 URL이 표시된 노출 등을 별도로 보여준다. 같은 데이터는 전체 실적 보고서에도 포함된다. 이 노출 횟수를 담당자가 골라 실행한 질문의 인용률로 바꾸려면 서로 다른 모집단과 세는 대상을 합치게 된다.

질문 후보를 만드는 데 이런 신호를 참고할 수는 있다. 다만 실제 문의 문장, 공개 검색의 집계 문구, 담당자가 만든 가정 질문, 연구에서 생성한 질문을 서로 표시한다. 실제 문의를 아직 읽지 않았다면 “고객 질문” 대신 “검토할 가설”로 남긴다. 빈도를 알 수 없는 후보에 임의의 수요 비중을 붙이지 않는다.

질문 수와 실행 수는 다른 분모다

자체 측정에서는 대상도 먼저 고정한다. 특정 페이지의 인용을 볼 것인지, 정해둔 사이트 URL 집합의 인용을 볼 것인지 결정하고, 완료된 답변에서 해당 URL이 출처로 연결됐는지 확인한다. 브랜드 이름만 나온 실행은 별도 언급 기록으로 남긴다. 같은 답변에 대상 URL이 여러 번 붙었어도 아래 실행 단위 비율에서는 인용된 실행으로 한 번 센다.

이 표의 계산 기준은 편집부가 제안한 자체 평가 설계이며 서비스 전체에 공통인 공식 지표가 아니다. 유효 답변은 사전에 정한 실행 조건에서 답변과 출처 영역을 판독할 수 있는 기록으로 정의한다. 질문별 평균을 낼 때는 평가 가능한 질문 수를 함께 표시하고, 유효 답변이 없는 질문에는 비율을 만들지 않는다.

질문마다 유효 답변 실행 수가 같다면 실행을 합친 비율과 질문별 비율의 평균은 같아진다. 반대로 잘 인용되는 질문만 더 자주 실행하면 합산 비율에서 그 질문의 비중이 커진다. 반복 실행을 추가할 때도 어떤 질문에 왜 추가했는지 남기고, 전체 합산과 질문별 결과를 함께 읽어야 한다. 추가 실행으로 질문 표본의 범위가 넓어진 것은 아니다.

“한 번이라도 인용됐다”는 값은 발견 범위를 설명한다. 같은 질문에서 매번 인용됐다는 안정성을 뜻하지는 않는다. 반복 기회가 더 많은 질문은 인용을 한 번 발견할 기회도 많아지므로 반복 수가 다른 보고서의 발견 비율을 그대로 비교하지 않는다. 정해진 반복 횟수만 채웠다고 모든 실행이 독립적이거나 통계적으로 충분해지는 것도 아니다.

실행 실패와 인용 없음은 나눠 남긴다

답변이 완료됐고 출처 영역 전체를 확인했는데 대상 URL이 없다면 해당 설계에서 인용 없음으로 기록할 수 있다. 그러나 연결 오류로 답변을 못 받거나 출처 영역을 저장하지 못해 판독할 수 없다면 결과 미확인이다. 미확인을 성공이나 인용 없음에 몰아넣으면 무엇을 관측했는지 설명할 수 없다.

유효 답변만 분모로 삼더라도 원래 계획한 실행, 완료/판독 가능한 실행, 실패·미확인·제외와 재시도를 함께 보고한다. 제외 사유를 결과를 보고 난 뒤 유리하게 바꾸지 않는다. 특정 질문에서만 실패가 쌓이면 남은 답변이 전체 계획을 잘 나타낸다고 볼 수 없는 이유도 남겨야 한다.

검색 사용 여부와 직접 제공한 주소·파일·앞선 대화도 기록한다. 검색을 사용한 실행만 평가하려면 그 조건을 미리 정하고, 검색 여부를 확인할 수 없는 기록을 따로 표시한다. 이미 답변을 받은 뒤 검색을 쓰지 않은 실행을 조용히 지워 좋은 결과만 남기지 않는다. 재시도는 최초 시도와 연결하되 최초 기록을 덮어쓰지 않는다.

질문은 업체가 원하는 표현보다 독자의 일을 따라 고른다

학교 도서관의 도서 주문을 지원하는 사이트를 평가한다고 가정해보자. 업체를 모르는 담당자가 주문 조건을 비교하는 질문, 이미 업체를 아는 사람이 안내를 확인하는 질문, 주소를 제공해 문서를 읽게 하는 질문은 평가 목적이 다르다. 아래는 질문을 고르는 설계 예시이며 실제 기관·업체·문의나 AI 답변 자료가 아니다.

브랜드를 넣은 질문이 모두 잘못된 것은 아니다. 이미 업체를 아는 독자에게 정책을 정확히 설명하는지 확인하는 데 쓸 수 있다. 다만 그 결과를 업체를 모르는 독자가 검색에서 발견한 성과와 합치지 않는다. 주소를 준 뒤 그 페이지가 답변에 연결된 경우도 일반 탐색에서 스스로 발견한 것으로 세지 않는다.

비슷한 표현은 같은 독자 필요를 다시 묻는 변형인지, 새로운 조건을 추가한 질문인지 검토한다. 같은 필요의 문장만 여러 개 만들면 질문 수는 늘어도 다른 필요를 넓게 다룬 것은 아닐 수 있다. 질문별 식별자와 의도 묶음을 남기고, 묶음에 같은 비중을 줄지 실제 확인한 빈도로 가중할지 정한다. 실제 빈도가 없으면 대표성 있는 수요 조사라고 보고하지 않는다.

AgentGEO v1의 MIMIQ는 의도·독자 역할·표현이 다른 질문을 생성하고 중복과 관련성을 거른다. 대상 페이지로 논리적으로 답할 수 있는 질문을 선정하는 방식이다. 이는 문서를 평가하기 위한 연구 설계이며 실제 고객 문의를 수집한 결과는 아니다.

실무에서는 그 필터의 용도도 구분할 필요가 있다. 현재 페이지에 이미 답이 있는 질문만 고르면 문서의 인용 가능성은 살펴볼 수 있어도, 독자가 필요한데 사이트에는 빠진 내용을 찾기 어렵다. 위 예시의 목록 변경 조건처럼 아직 답을 못 찾는 필요는 조사·원고 보완 후보로 따로 남긴다. 그 질문을 불리하다는 이유로 버리거나, 답을 확보하지 않은 상태에서 측정용 설명을 만들어 채우지 않는다.

고칠 때 본 질문과 별도로 남겨둔 질문을 구분한다

MIMIQ는 수정에 사용한 질문과 보류한 평가 질문을 나누어 특정 표현에만 맞춘 개선인지 평가한다. 별도 변형에서는 개발 과정에서 보지 않은 독자 역할의 질문을 평가에 남긴다. 연구진은 상용 파이프라인이 비공개라 명시적인 인용 지시를 포함한 통제된 검색·생성 시뮬레이션을 사용했다고 설명한다.

이를 실무에 적용한다면 질문 묶음을 고정한 뒤 일부는 문제를 찾고 원고를 고치는 데 쓰고, 다른 일부는 수정에 사용하지 않고 결과를 보지 않은 채 평가용으로 보존할 수 있다. 같은 의도의 단어만 조금 바꾼 문장을 별도 질문이라고 나눴는지, 다른 독자 역할·조건에서도 답할 필요가 있는지 검토한다. 질문을 나눴다는 형식만으로 서로 다른 수요를 평가한 것은 아니다.

평가 질문의 결과를 본 뒤 그 질문에 맞춰 다시 고쳤다면 이후에는 처음의 “보지 않은 평가”라고 부를 수 없다. 최초 결과와 추가 수정·재평가를 구분하고, 다음 확인에는 별도 질문을 남긴다. 이 과정은 준비한 질문 밖에서도 내용이 쓰이는지 살펴볼 설계이며, 수정이 인용 변화의 원인이라는 증거나 전체 시장을 대표하는 표본을 자동으로 만들어주지는 않는다.

보고서를 읽은 뒤 수정할 질문과 자료를 정한다

결과는 질문 묶음·버전, 대상 URL 범위, 제품·모델 표시·언어·시점·대화 맥락, 계획/유효/미확인 실행, 실행과 질문 단위의 값, 개발과 별도 평가 여부를 따라 읽을 수 있게 남긴다. 자동 도구를 쓰더라도 답변 전문·출처 URL과 결과 판정이 맞는지 직접 대조할 기록이 필요하다. 도구를 썼다는 사실만으로 표본 선정이나 누락·귀속 문제가 해결됐다고 보고하지 않는다.

일반 탐색에서는 안 보이고 주소를 준 질문에서만 읽혔다면, 페이지 내용의 전달을 확인한 범위로 보고하고 발견 조건을 더 점검한다. 특정 표현에서만 인용됐다면 다른 역할·표현의 원문 결과와 빠진 조건을 살핀다. 완료 답변이 부족하면 먼저 실패·미확인 사유를 확인한다. 인용 링크가 붙었다면 그 문장이 실제 원자료의 조건을 맞게 설명했는지도 별도로 읽는다.

질문을 교체하거나 실행 횟수를 바꾸는 일은 필요할 수 있다. 다만 기존 질문 묶음의 결과를 보존하고 새 버전의 선정 이유·분모·조건을 표시한다. 어려운 질문을 쉬운 질문으로 바꾼 뒤 비율만 올라갔다면 더 넓게 발견되는 글이 됐는지 판단할 자료가 부족하다. 먼저 어떤 질문에 어떤 근거가 빠졌는지 설명할 수 있어야 원고 수정의 다음 일을 정할 수 있다.

공식 문서와 AgentGEO v1 자료는 2026년 10월 13일 확인했다. 논문의 관련 완전 페이지를 렌더링해 평가 조건을 읽었다. Codex 편집 지원으로 작성한 해설이며 실제 AI 관측·고객 인터뷰·도구 성능 시험·연구 재실행·독립 전문가 인적 검수는 수행하지 않았다. 학교 도서관의 질문과 자체 계산 기준은 설계 예시다.