빠른 답변
AI 에이전트는 robots.txt를 따라야 하나요?
벤더에 따라 다릅니다. robots.txt는 자발적 표준(RFC 9309, 2022년 9월)입니다. 인덱스를 만드는 크롤러는 대체로 이를 따릅니다. 사용자가 트리거한 페치의 경우, OpenAI는 자사 규칙이 적용되지 않을 수 있다고 하며, Google과 Perplexity는 자사 페처가 대체로 이를 무시한다고 하고, Anthropic은 자사 봇이 이를 준수한다고 밝힙니다. WebReaderAPI은 모든 읽기에서 robots.txt를 따르며, KYC 없이 암호화폐로 결제합니다.
2026년 10월 robots.txt와 AI
| 표준 | RFC 9309, Robots Exclusion Protocol, 2022년 9월 |
|---|---|
| OpenAI ChatGPT-User | robots.txt 규칙은 사용자가 시작한 작업에는 "적용되지 않을 수 있음" |
| Anthropic (Claude-User 포함) | 봇이 Crawl-delay를 포함한 robots.txt 지시를 준수한다고 밝힘 |
| Google 사용자 트리거 페처 | "일반적으로 robots.txt 규칙을 무시합니다" (2026-08-19 페이지 업데이트) |
| Perplexity-User | "일반적으로 robots.txt 규칙을 무시합니다" |
| Content Signals | 2025년 9월 24일 Cloudflare 정책: search, ai-input, ai-train |
| IETF AI preferences | 워킹 그룹 초안이며, 아직 RFC가 아님 |
| WebReaderAPI | 모든 읽기에서 robots.txt와 ai-input=no을(를) 준수. 토큰 WebReaderAPI |
robots.txt는 실제로 무엇을 하나요?
자동화 클라이언트에게 사이트가 되도록 피했으면 하는 경로를 알려줍니다. 이 파일은 호스트 루트에 위치하며, user-agent 토큰별로 규칙을 묶고 Allow 및 Disallow 줄을 사용합니다. 2022년 9월에 발표된 RFC 9309는 오래된 관례를 표준으로 만들었습니다.
RFC는 이 파일이 무언가를 잠그지 않는다는 점을 분명히 합니다. "이 규칙은 접근 권한 부여의 한 형태가 아닙니다." 준수는 자발적입니다. 그래서 각 벤더가 밝힌 정책이 중요하며, 강력한 제한을 원하는 사이트가 방화벽과 봇 관리를 함께 쓰는 이유이기도 합니다.
크롤러와 사용자 트리거 페처는 왜 다른가요?
크롤러는 어떤 페이지를 방문할지 스스로 결정하고, 사용자 트리거 페처는 사람이 요청했기 때문에 한 페이지를 방문합니다. 많은 벤더는 두 번째 경우를 사용자를 대신해 동작하는 브라우저처럼 취급하며 robots.txt가 완전히 적용되지는 않는다고 말합니다.
| 페처 | 공개된 정책 (2026-10-22 확인) |
|---|---|
| OpenAI ChatGPT-User | robots.txt 규칙이 사용자 시작 작업에는 "적용되지 않을 수 있음"; 검색 옵트아웃은 OAI-SearchBot을 안내 |
| Anthropic Claude-User | Anthropic은 봇이 robots.txt 지시를 존중한다고 밝힘; Claude-User를 차단하면 사용자 쿼리에 대한 검색이 중단됨 |
| Google 사용자 트리거 페처 | 사용자가 페치를 요청했기 때문에 "일반적으로 robots.txt 규칙을 무시함" |
| Perplexity-User | 같은 이유로 "일반적으로 robots.txt 규칙을 무시함" |
| MCP reference fetch server | 모델이 시작한 페치에는 기본적으로 robots.txt를 준수하지만, 사용자가 시작한 페치에는 준수하지 않음 |
이 구분은 실제이며 문서화되어 있습니다. 에이전트를 만든다면 어느 쪽에 속하는지 정하고, user agent와 문서에 명시하세요.
Content Signals, aipref, RSL은 무엇인가요?
이들은 로봇이 콘텐츠를 가져올 수 있는지뿐 아니라 AI 시스템이 콘텐츠로 무엇을 할 수 있는지 알려주는 더 새로운 방식입니다.
- Content Signals. Cloudflare는 2025년 9월 24일 이 정책을 발표했습니다. robots.txt에
search,ai-input(AI 답변의 입력, 예컨대 grounding으로 사용),ai-train를 명시할 수 있습니다. Cloudflare의 관리형 robots.txt는 기본적으로search=yes, ai-train=no을 제공합니다. - IETF AI preferences (aipref). 워킹 그룹의 어휘 및 첨부 초안은 2026년 10월 기준 여전히 Internet-Draft였으며, Proposed Standard를 목표로 합니다.
- Web Bot Auth. 봇이 요청에 서명하는 방식입니다. IETF 워킹 그룹은 2026년 9월 1일 프로토콜 초안을 채택했습니다.
- RSL (Really Simple Licensing). 사이트에 따르면 RSL 1.0 명세를 이용할 수 있으며, 퍼블리셔가 robots.txt, 헤더 또는 RSS를 통해 크롤당 과금을 포함한 라이선스 조건을 명시할 수 있습니다.
llms.txt는 robots.txt와 같은 것인가요?
아니요. robots.txt는 가져오지 말아야 할 것을 알려주고, llms.txt는 언어 모델을 위해 사이트의 주요 페이지를 나열하는 제안된 파일입니다. 채택은 늘고 있지만 측정된 사용량은 낮습니다. Rankability는 2026년 9월 18일 상위 1,000개 사이트의 9.3%에서 llms.txt를 확인했습니다. PPC Land가 2026년 7월 2일 보도한 Ahrefs의 137,000개 도메인 연구에 따르면 llms.txt 파일의 97%는 요청을 전혀 받지 못했습니다.
그래도 원한다면, 저희 llms.txt 가이드에서 자체 사이트 크롤링으로 llms.txt를 만드는 방법을 보여드립니다.
WebReaderAPI는 robots.txt를 어떻게 처리하나요?
고객이 트리거한 읽기를 포함해 모든 읽기에서 이를 준수합니다. 우리는 robots.txt를 준수합니다. 크롤러는 WebReaderAPI로 자신을 식별하고, 자신 또는 모든 로봇을 위해 작성된 규칙을 따르며, 사이트가 허용하지 않은 페이지는 읽지 않습니다. 거부된 페이지는 과금되지 않습니다. 사이트가 robots.txt에 Content-Signal: ai-input=no를 선언하면, 해당 페이지를 대신 읽지 않습니다. 크롤링 작업의 경우 사이트가 설정한 Crawl-delay도 기다립니다.
모든 요청은 동일한 User-Agent인 WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)를 사용하므로, 사이트 소유자가 로그에서 저희를 확인하고 규칙을 작성할 수 있습니다. 자세한 내용과 문제 발생 시 연락처는 저희 크롤러 페이지에서 확인하세요.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
AI를 위한 robots.txt: 자주 묻는 질문
GPTBot을 차단하면 ChatGPT가 사용자를 위해 내 페이지를 읽는 것도 막을 수 있나요?
반드시 그렇지는 않습니다. OpenAI는 GPTBot은 학습용, OAI-SearchBot은 검색용, ChatGPT-User는 사용자 작업용으로 토큰을 구분해 문서화하며, robots.txt 규칙이 사용자 시작 작업에는 적용되지 않을 수 있다고 밝힙니다. 각 벤더의 최신 문서를 확인하세요.
robots.txt는 법적 구속력이 있나요?
그 자체로는 없습니다. RFC 9309는 이것이 접근 권한 부여가 아니라고 말합니다. EU에서는 DSM 지침에 따른 텍스트 및 데이터 마이닝에 대해 기계 판독 가능한 옵트아웃이 중요합니다. 저희 법적 개요를 참고하세요. 법률 자문은 아닙니다.
WebReaderAPI를 어떻게 차단하나요?
robots.txt에 Disallow: /를 포함한 User-agent: WebReaderAPI 그룹을 추가하세요. 저희 읽기는 모든 페이지 이전에 이를 확인하며, disallow된 페이지는 절대 읽지 않습니다.
WebReaderAPI는 ai-input=no라고 표시된 페이지를 읽나요?
아니요. 사이트가 robots.txt에 Content-Signal: ai-input=no를 선언하면, 해당 페이지를 대신 읽지 않습니다. API는 고객에게 무료로 403 blocked_by_site_policy을 반환합니다.
출처 (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- OpenAI 크롤러 개요 — OpenAI (read 2026-10-22)
- Anthropic은 웹에서 데이터를 크롤링하나요? 사이트 소유자는 크롤러를 어떻게 차단할 수 있나요? — Anthropic (2026-04-07)
- Google 사용자 트리거 페처 — Google (updated 2026-08-19)
- Perplexity 크롤러 — Perplexity (read 2026-10-22)
- MCP fetch server — Model Context Protocol (read 2026-10-22)
- Content Signals 정책 — Cloudflare (2025-09-24)
- AI Preferences 워킹 그룹 문서 — IETF (read 2026-10-22)
- Web Bot Auth 워킹 그룹 문서 — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- llms.txt 도입 데이터 — Rankability (2026-09-18)
- llms.txt 도입 8.8배 증가했지만 파일의 97%는 AI 요청 0건 — PPC Land (2026-07-02)