AI 에이전트가 웹페이지를 가져올 때 403 오류가 발생하는 이유

2025년과 2026년에 웹에서 무엇이 바뀌었나요?

대형 인프라 제공업체들이 AI 차단을 기본값으로 만들었습니다. 날짜가 있는 세 가지 변경이 새로운 403의 대부분을 설명합니다:

• 2025년 7월 1일: Cloudflare는 이제 AI 크롤러를 기본 차단하며, 신규 도메인 가입 시 허용 여부를 묻는다고 밝혔습니다. 같은 날 비공개 베타로 pay per crawl을 출시했으며, 이는 HTTP 402와 가격으로 응답합니다.
• 2026년 7월 1일: Cloudflare는 AI 트래픽을 Search, Agent, Training 세 가지 범주로 도입했습니다. "Agent"에는 ChatGPT-User와 같은 채팅 fetcher가 명시적으로 포함됩니다.
• 2026년 9월 15일: 신규 도메인의 경우 Cloudflare의 프리셋이 광고를 표시하는 페이지에서 Training 및 Agent 트래픽을 차단합니다. Search는 계속 허용됩니다.

사용자를 위해 페이지를 가져오는 에이전트는 Agent 범주에 속합니다. 2026년 9월 이후 온보딩된 광고 기반 사이트에서는 거부를 예상해야 합니다.

차단과 버그를 어떻게 구분하나요?

무엇이든 바꾸기 전에 상태 코드와 본문을 확인하세요.

여러분 쪽에서 해결할 수 있는 기술적 문제는 429와 빈 JavaScript 페이지뿐입니다. 나머지는 사이트 소유자의 결정입니다.

에이전트 개발자가 합법적으로 할 수 있는 일은 무엇인가요?

사이트를 우회하지 말고 사이트와 협력하세요. 다음 단계는 많은 실패를 해결하고 에이전트를 사이트 소유자의 편에 서게 합니다:

1. 사이트 자체 채널을 사용하세요. 많은 사이트가 필요한 콘텐츠를 담은 API, RSS나 Atom 피드 또는 sitemap을 제공합니다.
2. 접근을 요청하세요. 사이트 소유자는 robots.txt나 CDN 설정에서 특정 봇을 허용할 수 있습니다. 명확한 User-Agent와 연락처 페이지가 있으면 쉽습니다.
3. 허용되었지만 빈 페이지를 렌더링하세요. JavaScript만 있는 페이지에는 헤드리스 브라우저를 실행하는 리더를 사용하세요.
4. 속도를 줄이고 캐시하세요. 같은 페이지를 한 번만 읽고 저장하며, Crawl-delay 와 429 응답을 준수하세요.
5. 사이트가 접근을 판매하는 곳에서는 결제하세요. 402는 제안입니다. 사이트의 채널을 통해 수락하거나 그 페이지를 제외하세요.

이 모든 방법은 사이트 소유자가 통제권을 유지하게 하며, 이것이 장기적으로 에이전트를 유용하게 유지합니다.

거부를 피하기 위해 절대 해서는 안 되는 일은 무엇인가요?

절대 에이전트를 위장하거나 보호 장치를 무력화하지 마세요. 브라우저의 User-Agent를 위조하거나, 차단을 벗어나려고 IP 주소를 로테이션하거나, 챌린지 페이지를 해결하는 것은 정중한 클라이언트를 접근 제어를 무력화하도록 만들어진 도구로 바꿉니다. 2026년에 두 미국 법원은 검색 결과에 대한 자동화된 접근을 둘러싼 소송에서 이러한 기법을 우회로 취급했습니다. 사건은 아직 진행 중이며 확정된 것은 없지만, 위험은 이론적이지 않습니다.

또한 사용자가 의존하는 사이트와의 신뢰를 깨뜨립니다. 거부는 정보입니다. 기록하고, 사용자에게 해당 페이지를 사용할 수 없었다고 알리고, 다른 소스로 넘어가세요.

사이트가 거부할 때 내장 fetch 도구는 어떻게 하나요?

대부분 모델에 오류를 반환하고, 모델은 사용자에게 페이지를 읽을 수 없었다고 알립니다. OpenClaw의 문서(2026년 10월 22일 기준)에 따르면 내장 web_fetch는 Readability로 콘텐츠를 추출하고, JavaScript를 실행하지 않으며 출력을 20,000자로 제한합니다. fetch 제공자로 폴백할 수 있고, 플러그인이 새 제공자를 등록할 수 있습니다. MCP reference fetch 서버는 기본적으로 모델이 시작한 fetch에 대해 robots.txt를 준수합니다.

이 도구들이 robots는 허용하지만 JavaScript가 필요한 페이지에서 실패할 때는 페이지를 렌더링하는 리더가 도움이 됩니다. 사이트가 거부해서 실패할 때는 어떤 도구도 답을 바꿔서는 안 됩니다.

사이트가 거부할 때 WebReaderAPI는 무엇을 반환하나요?

거부를 명확히 반환하며, 과금되지 않습니다. robots.txt에서 금지된 페이지는 403 blocked_by_robots 를 반환합니다. ai-input=no 을 선언한 사이트는 403 blocked_by_site_policy 를 반환합니다. 다른 방식으로 요청을 거부한 사이트는 502 target_refused 를 반환하며, target_status 에 사이트 자체 상태 코드가 담깁니다.

사이트가 우리 요청을 거부하면 그 응답을 그대로 반환합니다. 우리는 CAPTCHA를 풀거나, 계정에 로그인하거나, 차단이나 페이월을 우회하려 시도하지 않습니다. 에이전트는 페이지가 건너뛰어진 이유를 사용자에게 정확히 보여줄 수 있습니다. errors 페이지에 모든 코드와 각각의 재시도 규칙이 나열되어 있습니다.