AI 검색이 올바른 이미지를 찾고도 틀리게 답하는 이유

검색 로그에 올바른 이미지가 보여도 AI가 최종 답변을 만들 때까지 그것을 보고 있다는 뜻은 아닙니다. 도구 결과를 텍스트로만 축약하는 환경에서는 픽셀이 후속 맥락에서 사라지고 모델은 제목, URL, 캡션으로 추측합니다.

2026년 8월 28일의 WeAgent-MMSearch 논문은 이런 네이티브 텍스트·비전 상호작용 공백을 연구했습니다. 검색 이미지에 안정적인 참조와 출처 메타데이터를 부여해 긴 작업에서도 같은 시각 증거를 다시 보고, 역검색하고, 비교하고, 인용할 수 있게 합니다.

세 가지 실패를 분리하기

대상 이미지를 찾지 못한 경우, 찾았지만 이후 맥락에서 잃은 경우, 이미지를 유지했지만 색상·문자·차트·객체 관계를 잘못 읽은 경우가 있습니다. 최종 정답률만으로는 구분할 수 없습니다.

진단할 때 원 질문과 입력 이미지, 검색 썸네일과 랜딩 페이지, 최종 답변이 실제로 인용한 이미지, 자산 버전, 수집 시각을 저장합니다. 페이지 URL만 언급됐다고 페이지의 시각 정보가 사용됐다고 가정하면 안 됩니다.

콘텐츠 팀이 관리할 수 있는 것

핵심 제품 이미지, 차트, 인증서에 안정적 URL, 정확한 제목과 대체 텍스트, 인접 사실 설명, 접근 가능한 출처 페이지를 제공합니다. 크기 변형 사이에서도 동일 엔티티와 버전 관계를 유지하고 핵심 숫자는 검증 가능한 본문 텍스트로도 제공합니다.

GEO Radar(https://www.georadar.top)는 여러 AI 플랫폼에서 브랜드와 경쟁사의 답변·출처 차이를 비교하도록 돕습니다. 다만 URL을 관찰했다는 사실은 모델이 픽셀을 올바르게 읽었다는 증거가 아니므로 이미지 증거는 사람이 확인해야 합니다.

논문은 자체 도구 환경, 7개 공개 벤치마크, 150문항 VisTarget-Bench를 평가했습니다. 시각 증거 체인을 별도로 측정할 필요는 보여 주지만 상용 AI에서 특정 이미지 노출을 보장하지 않습니다.

이 글의 자료 출처

• arXiv, 2026년 8월 28일, *WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents*: https://arxiv.org/abs/2608.28062