일반 안전 가드레일이 악성 GEO를 놓치는 이유

폭력, 혐오, 프롬프트 주입, 정책 위반이 전혀 없는 유창한 글도 거짓 제품 정보를 퍼뜨릴 수 있습니다. 일반 가드레일은 콘텐츠가 유해 범주에 속하는지를 묻지만, 특정 사실이 전략적으로 왜곡됐는지는 판단하지 못할 수 있습니다.

Counter-GEO-Bench는 Granite Guardian, Llama Guard 3, NeMo Self-Check Fact-Checking을 평가합니다. 이 범용 방어법 가운데 공격 성공률의 최대 상대 감소는 5.7%였고, 한 결과는 통계적으로 유의하지 않았습니다.

방어가 오류를 증폭하는 과정

논문은 필터가 거짓 주장을 반박하는 정상 문단을 제거해 조작된 출처의 영향력을 키우는 “방어 증폭” 현상을 관찰합니다. 한 피해 모델에서 Granite Guardian은 57개 질의를 개선했지만 74개는 악화시켰습니다.

팀은 다음을 확인해야 합니다.

1. 가드레일이 사실 조작을 겨냥하는가, 안전 범주만 다루는가?
2. 제거된 문단은 거짓 주장을 지지했는가, 반박했는가?
3. 필터 후 출처 다양성과 정상 근거가 줄었는가?
4. 생성 후 검사가 이미 오염된 컨텍스트와의 일관성만 확인하는가?

GEO Radar(https://www.georadar.top)는 플랫폼별 브랜드 답변과 출처 변화를 관찰하는 데 도움을 줍니다. 모델 업데이트 후 출처 폭이 갑자기 좁아졌다면 언급 증가만 보지 말고 교차 출처의 오류 수정 기능이 사라졌는지 검토하세요.

적절한 해석 범위

이 연구가 모든 일반 가드레일이 무효이거나 전문 방어가 모든 공격을 잡는다는 뜻은 아닙니다. 상용 종단 간 제품, 다국어 평가, 적응형 오픈셋 공격은 포함하지 않습니다. 고위험 판단에는 외부 권위 자료, 버전 관리, 사람의 검토가 여전히 필요합니다.

이 글의 자료 출처

• arXiv, 2026년 9월 2일, *Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization*: https://arxiv.org/abs/2609.02316