AI 문서 탐지기로 GEO 콘텐츠를 찾을 수 있을까? 오탐을 피하는 기준

“AI가 쓴 것처럼 보인다”는 판단은 “생성형 엔진을 위해 최적화됐다”는 판단과 다르다.

전자는 작성 주체나 생성 방식을 추정한다. 후자는 검색·선택·순위·인용 가능성을 높이려는 개입이 있었는지 본다. 둘을 섞으면 평범한 AI 교정을 GEO로 오인하고, 사람이 정교하게 수행한 최적화는 놓칠 수 있다.

2026년 8월 GEO-Flag 논문은 이 차이를 체계적으로 시험했다.

작성 출처와 최적화 개입을 분리한 벤치마크

GEOFlagBench는 건강, 금융, 기술, 여행 네 영역과 여덟 종류 GEO 최적화 방법에 걸친 3,200개 콘텐츠 인스턴스로 구성된다. 핵심은 대조군이다.

• GEO를 하지 않은 사람 작성 원문
• GEO 지시 없이 문법과 표현만 AI가 다듬은 버전
• GEO 목표 없이 AI가 생성한 글
• 사람 또는 AI 원문에 명시적인 GEO 개입을 수행한 버전

일반적인 “AI 문체”에 의존하는 탐지기는 이 구성에서 약점이 드러난다.

높은 전체 F1이 집단별 실패를 가릴 수 있다

가장 강한 기존 기준선의 전체 F1은 0.880이었다. 그러나 최적화 방법과 원래 작성 출처별로 나누자 결과가 크게 달라졌다. 단어 TF-IDF 탐지기의 최저 집단 정확도는 0.375였고, AI 출처와 사람 출처의 비GEO 문서 사이 오탐률 격차는 0.558이었다.

작은 범위만 바꾼 AutoGEO와 사람이 수행한 Human GEO는 특히 어려웠다. 명시적인 최적화 방식에서는 거의 모든 사례를 찾던 일부 제로샷 모델이 Human GEO에서는 재현율 0.037 또는 0.074로 떨어졌다. 반대로 거의 모든 문서를 GEO로 분류해 집단 격차만 작아 보이는 모델도 있었다.

따라서 전체 정확도나 F1 하나만으로 실무 안정성을 평가할 수 없다.

Intervention-Paired Training이 바꾼 점

논문은 Intervention-Paired Training(IPT)을 제안한다. 완성 문서의 분위기보다 변환 전후의 차이를 학습시키는 방식이다.

• 양성 쌍에서는 GEO 버전이 원문보다 더 높은 GEO 점수를 받도록 한다.
• 제로 쌍에서는 일반 AI 교정 전후의 GEO 점수가 비슷하게 유지되도록 한다.

논문 조건에서 ModernBERT의 F1은 0.862에서 0.944로, 최저 집단 정확도는 0.725에서 0.883으로 상승했다. 작성 출처 조건부 오탐률 격차는 0.263에서 0.108로 줄었다. 이는 벤치마크 안에서 쌍 기반 학습의 가치를 보여 주지만 미래의 모든 GEO 기법을 보장하지는 않는다.

GEO 탐지 도구에 물어볼 다섯 가지

1. AI 작성 여부, 문체, 정의된 GEO 개입 중 무엇을 탐지하는가?
2. 사람 작성, AI 교정, AI 생성, 부분 최적화, Human GEO를 평가에 포함하는가?
3. 방법·영역·원래 작성 출처별 결과를 공개하는가?
4. 오탐, 누락, 불확실 사례를 하나의 위험 점수와 함께 보여 주는가?
5. 탐지 결과를 사람 검토의 출발점으로 쓰는가, 자동 비난·삭제 규칙으로 쓰는가?

논문도 GEO 자체가 악의적이지 않으며, GEO 플래그가 허위나 유해성을 증명하지 않는다고 명시한다.

작성자를 추측하기보다 브랜드 결과를 측정하자

대부분의 브랜드 팀이 알아야 할 것은 AI 답변에 등장했는지, 어떻게 설명됐는지, 어떤 출처가 쓰였는지, 플랫폼별로 어떻게 다른지다. GEO Radar는 [https://www.georadar.top](https://www.georadar.top)에서 이러한 결과와 경쟁사 차이를 관찰한다. “AI다운 문체”만으로 외부 페이지의 적절성을 판정하는 도구로 이해해서는 안 된다.

탐지는 감사 우선순위를 정할 수 있지만, 출처 검증·사실 확인·버전 이력을 대신하지 못한다.

이 글의 자료 출처

• arXiv, 2026년 8월 20일 개정본, *GEO-Flag: Detecting and Measuring GEO-Optimized Web Content*: https://arxiv.org/abs/2608.16824
• arXiv HTML 전문, GEOFlagBench·작성 출처 편향·Human GEO·IPT 실험: https://arxiv.org/html/2608.16824v2
• arXiv PDF, 전체 방법·집단 지표·부록: https://arxiv.org/pdf/2608.16824v2