Findable glossary
AI 크롤러란 무엇인가
AI 크롤러는 AI 서비스가 웹페이지를 읽어 가는 자동화 프로그램이다. 서비스마다 학습용, 검색 결과용, 사용자 요청용으로 이름을 나눠 쓰는 경우가 많고, 허용 여부는 robots.txt로 정한다.
대표적인 예
OpenAI는 모델 학습용 GPTBot, ChatGPT 검색용 OAI-SearchBot, 사용자 요청 시 방문하는 ChatGPT-User를 구분한다. Anthropic은 ClaudeBot 등, Perplexity는 PerplexityBot 등을 쓴다. 이름과 용도는 바뀔 수 있으므로 각 사의 공식 문서가 기준이다.
무엇을 정해야 하나
브랜드가 AI 검색 답변에 나오게 하려면 검색용 크롤러가 공개 페이지를 읽을 수 있어야 한다. 반면 학습용 수집을 허용할지는 정책으로 따로 정할 수 있다. 로그인 후 화면, 결제, 개인 결과 페이지는 차단한다.
접근이 되는지 확인하는 법
robots.txt에서 해당 크롤러를 막지 않았는지, 방화벽·봇 차단이 정상 크롤러를 막지 않는지, 서버 응답 코드가 200인지 확인한다. 이름만 흉내 낸 요청과 실제 서비스의 요청은 IP 범위로 구분해야 한다.
허용해도 노출이 보장되지는 않는다
접근 가능은 필요조건일 뿐이다. 읽힌 뒤 답변에 쓰일지는 페이지의 품질, 출처, 질문과의 관련성이 결정한다.
자주 묻는 질문
AI 크롤러를 막으면 검색 순위가 떨어지나요?
일반 검색의 크롤러와 AI 크롤러는 별개다. 다만 AI 검색 답변에 나오기를 원한다면 해당 서비스의 검색용 크롤러까지 막지 않도록 주의한다.
서버 로그에서 무엇을 보나요?
해당 AI 크롤러의 방문 여부, 응답 코드, 방문한 주소를 본다. 인용된 주소와 방문 기록이 맞아떨어지면 강한 증거가 된다.
관련 용어
더 많은 측정 방법과 사례는 Findable 인사이트에서 확인할 수 있다.