빠른 답변
WebReaderAPI 봇이란 무엇이며, 어떻게 차단하나요?
WebReaderAPI 봇은 저희 고객이 API에 페이지를 읽어 달라고 요청할 때 공개 페이지를 가져옵니다. 이 봇은 user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)를 보내며, WebReaderAPI 토큰에 대해 또는 모든 로봇에 대해 작성된 robots.txt 규칙을 따릅니다. 모든 곳에서 차단하려면 robots.txt에 User-agent: WebReaderAPI 뒤에 Disallow: /을 추가하세요.
한눈에 보는 봇
| User-Agent 헤더 | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| robots.txt 토큰 | WebReaderAPI |
| robots.txt | 우리는 robots.txt를 준수합니다. 크롤러는 WebReaderAPI로 자신을 식별하고, 자신 또는 모든 로봇을 위해 작성된 규칙을 따르며, 사이트가 허용하지 않은 페이지는 읽지 않습니다. 거부된 페이지는 과금되지 않습니다 |
| AI 선호 신호 | 사이트가 robots.txt에 Content-Signal: ai-input=no를 선언하면, 해당 페이지를 대신 읽지 않습니다 |
| 사이트가 거부할 때 | 사이트가 우리 요청을 거부하면 그 응답을 그대로 반환합니다. 우리는 CAPTCHA를 풀거나, 계정에 로그인하거나, 차단이나 페이월을 우회하려 시도하지 않습니다 |
| 귀하의 페이지 사본 | 고객에게 응답을 보낸 뒤에는 보관하지 않음 |
| 크롤 작업 | 작업당 웹사이트 하나를 크롤링하며, 최대 10,000페이지까지 사이트맵, robots.txt 및 Crawl-delay를 따릅니다 |
| 문의 | [email protected] |
WebReaderAPI가 왜 제 페이지를 가져갔나요?
API 고객이 요청했기 때문입니다. WebReaderAPI는 자체적인 웹 인덱스를 만들지 않으며 스스로 탐색하지 않습니다. 각 가져오기는 다음 세 가지 요청 유형 중 하나에 속합니다:
- 단일 읽기: 애플리케이션 또는 AI 에이전트가 귀하의 URL을
/read로 보냈으며, 보통 어떤 사람이 귀하의 페이지가 답하는 질문을 했기 때문입니다. - 배치 작업: 고객이 최대 100개의 URL 목록을 보냈고, 그중에 귀하의 URL이 있었습니다.
- 크롤 작업: 고객이 한 주소에서 시작해 해당 도메인에 머무르며 사이트 전체를 읽어 달라고 요청했습니다. 크롤은 귀하의 sitemap과 robots.txt를 따릅니다.
고객은 페이지의 본문 텍스트를 Markdown으로 받습니다. 저희는 그 이후 사본을 보관하지 않습니다.
사이트 전체에서 봇을 차단하려면 어떻게 하나요?
robots.txt 파일에 저희 토큰에 대한 그룹을 추가하세요. 봇은 페이지를 가져오기 전에 /robots.txt를 읽고 최대 24시간 동안 캐시하므로, 변경 사항은 늦어도 하루 안에 적용됩니다.
User-agent: WebReaderAPI
Disallow: /
사이트 일부만 차단하거나 봇 속도를 늦출 수 있나요?
네. Disallow 아래에 제외할 폴더를 나열하고, 크롤 작업에 대해 초 단위로 Crawl-delay를 설정하세요. 모든 로봇(User-agent: *)에 대해 작성된 규칙도 저희 토큰에 대한 그룹이 없을 때 저희에게 적용됩니다. 그룹이 있으면 RFC 9309에 설명된 대로 해당 그룹이 우선합니다.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
봇이 AI 선호 신호를 존중하나요?
네, 사이트가 robots.txt에 명시한 신호를 존중합니다. 귀하의 파일이 Content-Signal: ai-input=no를 선언하면, 저희는 이를 귀하의 페이지를 AI 답변의 입력으로 사용하지 말라는 거부로 간주하며, 고객을 위해 해당 페이지를 읽지 않습니다. 그러면 API는 고객에게 blocked_by_site_policy 오류를 반환하며, 고객에게는 크레딧이 청구되지 않습니다.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
사이트가 거부하면 봇은 어떻게 하나요?
멈추고 귀하의 응답을 보고합니다. 403 또는 429 상태, 챌린지 페이지, 로그인 양식 또는 페이월은 모두 요청을 종료시킵니다. 고객은 귀하의 상태 코드와 함께 target_refused 오류를 받으며, 이에 대해 크레딧이 청구되지 않습니다.
봇은 절대 챌린지를 해결하지 않고, 로그인하지 않으며, 브라우저처럼 보이기 위해 user agent를 바꾸지 않고, 위장하여 재시도하지 않습니다. 저희가 귀하의 페이지를 읽기를 원하시면 robots.txt에서 토큰을 허용하고 요청을 통과시키세요. 원하지 않으시면 귀하 쪽에서 더 할 일은 없습니다.
WebReaderAPI가 아직 약속하지 않는 것은 무엇인가요?
저희는 현재 IP 주소 목록을 공개하지 않으므로, IP가 아니라 user agent와 robots.txt 동작으로 봇을 식별해 주세요. country 옵션으로 읽는 페이지는 선택한 국가의 주소에서 나가지만, user agent는 동일합니다. 주소 범위가 확정되면 변경 날짜와 함께 이 페이지에 추가하겠습니다.
봇에 문제가 있을 때 어떻게 신고하나요?
날짜와 시간, 귀하의 도메인, 가져간 URL, 그리고 저희 user agent가 나타난 액세스 로그 한 줄을 [email protected]로 보내주세요. 담당자가 각 신고를 읽고 저희 로그와 대조해 확인합니다. 고객이 허용 사용 정책에 위반하여 API를 사용하면 해당 계정은 정지됩니다.
요청이 정말 저희에게서 온 것인지 확인하려면, user agent와 robots.txt 동작을 이 페이지와 비교하세요. 저희 이름을 사용하면서 귀하의 robots.txt 규칙을 무시하는 클라이언트는 저희 봇이 아닙니다.
사이트 소유자 질문
WebReaderAPI 봇은 검색 엔진 크롤러인가요?
아닙니다. 웹을 인덱싱하거나 페이지 순위를 매기지 않습니다. API 고객이 해당 페이지를 요청할 때만, 즉 단일 요청, 배치, 또는 한 사이트의 크롤에서만 페이지를 읽습니다.
봇을 차단하면 Google 또는 Bing 순위에 영향이 있나요?
아닙니다. WebReaderAPI에 대해 작성된 규칙은 저희 봇에만 해당합니다. 검색 엔진 크롤러는 귀하의 robots.txt에서 각자의 그룹을 따릅니다.
robots.txt 변경은 얼마나 빨리 적용되나요?
늦어도 24시간 이내입니다. 봇은 robots.txt를 다시 읽기 전에 최대 하루 동안 캐시합니다.
봇이 Crawl-delay를 준수하나요?
예, 한 사이트의 여러 페이지를 읽는 크롤링 작업의 경우입니다. 단일 읽기는 한 번의 요청이며 간격을 두지 않습니다.
제 페이지 콘텐츠를 저장하거나 판매하나요?
아니요. 페이지 텍스트는 요청한 고객에게 전달되며 저희가 보관하지 않습니다. 로그에는 호스트 이름, 시간, 상태, 사용된 크레딧이 30일간 보관됩니다.