Câu trả lời nhanh
WebReaderAPI bot là gì và làm sao để chặn nó?
Bot WebReaderAPI truy cập các trang công khai khi một khách hàng của chúng tôi yêu cầu API đọc chúng. Nó gửi user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) và tuân thủ các quy tắc robots.txt được viết cho token WebReaderAPI hoặc cho tất cả robot. Để chặn nó trên toàn bộ trang web, hãy thêm User-agent: WebReaderAPI theo sau là Disallow: / vào robots.txt của bạn.
Tổng quan về bot
| Header User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| Token robots.txt | WebReaderAPI |
| robots.txt | Chúng tôi tôn trọng robots.txt: crawler của chúng tôi tự nhận là WebReaderAPI, tuân theo các quy tắc dành cho nó hoặc cho tất cả robot, và không đọc trang mà website không cho phép. Trang bị từ chối không bị tính phí |
| Tín hiệu tùy chọn AI | Nếu một website khai báo Content-Signal: ai-input=no trong robots.txt, chúng tôi không đọc các trang của trang đó cho bạn |
| Khi trang web nói không | Nếu một website từ chối yêu cầu của chúng tôi, chúng tôi trả lại câu trả lời của trang đó: chúng tôi không bao giờ giải CAPTCHA, đăng nhập vào tài khoản, hay tìm cách vượt qua chặn hoặc paywall |
| Bản sao các trang của bạn | Không lưu bản sao nào sau khi câu trả lời được gửi cho khách hàng |
| Tác vụ crawl | Crawl một website mỗi job, tối đa 10.000 trang, theo sitemap, robots.txt và Crawl-delay của trang |
| Liên hệ | [email protected] |
Vì sao WebReaderAPI truy cập trang của tôi?
Vì một khách hàng của API đã yêu cầu. WebReaderAPI không tự xây dựng chỉ mục riêng của web và không duyệt web theo ý mình. Mỗi lần truy cập thuộc một trong ba loại yêu cầu:
- Đọc một lần: một ứng dụng hoặc một AI agent đã gửi URL của bạn đến
/read, thường là vì một người đã hỏi câu hỏi mà trang của bạn trả lời. - Tác vụ hàng loạt: một khách hàng đã gửi danh sách tối đa 100 URL, và URL của bạn nằm trong đó.
- Tác vụ crawl: một khách hàng yêu cầu chúng tôi đọc toàn bộ một trang web, bắt đầu từ một địa chỉ và chỉ ở trong tên miền đó. Tác vụ crawl tuân theo sitemap và robots.txt của bạn.
Khách hàng nhận được nội dung chính của trang dưới dạng Markdown. Sau đó chúng tôi không lưu bản sao nào.
Làm sao để chặn bot trên toàn bộ trang web của tôi?
Thêm một nhóm cho token của chúng tôi vào tệp robots.txt. Bot đọc /robots.txt trước khi truy cập một trang và lưu vào bộ nhớ đệm tối đa 24 giờ, nên thay đổi sẽ có hiệu lực trong vòng một ngày là muộn nhất.
User-agent: WebReaderAPI
Disallow: /
Tôi có thể chỉ chặn một phần trang web, hoặc làm chậm bot không?
Có. Liệt kê các thư mục bạn muốn loại trừ dưới Disallow, và đặt Crawl-delay tính bằng giây cho các tác vụ crawl. Các quy tắc được viết cho tất cả robot (User-agent: *) cũng áp dụng cho chúng tôi khi bạn không có nhóm dành cho token của chúng tôi. Khi bạn có nhóm đó, nhóm đó sẽ thắng, như RFC 9309 mô tả.
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
Bot có tuân thủ các tín hiệu tùy chọn AI không?
Có, những tín hiệu mà trang web nêu trong robots.txt. Nếu tệp của bạn khai báo Content-Signal: ai-input=no, chúng tôi coi đó là từ chối việc dùng các trang của bạn làm đầu vào cho câu trả lời AI, và chúng tôi không đọc chúng cho khách hàng. Khi đó API trả về lỗi blocked_by_site_policy cho khách hàng, và khách hàng không bị tính phí.
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
Bot làm gì khi trang web của tôi từ chối nó?
Nó dừng lại và báo lại câu trả lời của bạn. Mã trạng thái 403 hoặc 429, trang thử thách, biểu mẫu đăng nhập hoặc paywall đều kết thúc yêu cầu. Khách hàng nhận được lỗi target_refused kèm mã trạng thái của bạn, và không bị tính phí cho lần đó.
Bot không bao giờ giải thử thách, không bao giờ đăng nhập, không bao giờ đổi user agent để trông giống trình duyệt và không bao giờ thử lại dưới vỏ bọc khác. Nếu bạn muốn chúng tôi đọc các trang của bạn, hãy cho phép token trong robots.txt và để các yêu cầu đi qua; nếu không, bạn không cần làm gì thêm.
WebReaderAPI chưa cam kết điều gì?
Hiện chúng tôi chưa công bố danh sách địa chỉ IP, nên vui lòng nhận diện bot bằng user agent và hành vi với robots.txt, không dựa vào IP. Các trang được đọc với tùy chọn country xuất phát từ một địa chỉ ở quốc gia đã chọn, vẫn với cùng user agent. Chúng tôi sẽ thêm các dải địa chỉ của mình vào trang này khi chúng được cố định, kèm ngày thay đổi.
Làm sao để báo cáo sự cố với bot?
Hãy viết đến [email protected] kèm ngày giờ, tên miền của bạn, URL đã được truy cập và một dòng trong nhật ký truy cập của bạn hiển thị user agent của chúng tôi. Một người sẽ đọc từng báo cáo và đối chiếu với nhật ký của chúng tôi. Nếu một khách hàng dùng API trái với Chính sách sử dụng hợp lý của chúng tôi, tài khoản của họ sẽ bị tạm ngưng.
Để kiểm tra xem một yêu cầu có thực sự đến từ chúng tôi không, hãy so sánh user agent và hành vi với robots.txt với trang này. Một ứng dụng khách bỏ qua các quy tắc robots.txt của bạn trong khi dùng tên của chúng tôi không phải là bot của chúng tôi.
Câu hỏi của chủ trang web
WebReaderAPI bot có phải là trình thu thập của công cụ tìm kiếm không?
Không. Nó không lập chỉ mục web và không xếp hạng trang. Nó chỉ đọc một trang khi một khách hàng của API yêu cầu trang đó, trong một yêu cầu đơn lẻ, một tác vụ hàng loạt hoặc một tác vụ crawl một trang web.
Chặn bot có ảnh hưởng đến thứ hạng trên Google hay Bing của tôi không?
Không. Các quy tắc được viết cho WebReaderAPI chỉ liên quan đến bot của chúng tôi. Trình thu thập của công cụ tìm kiếm tuân theo nhóm riêng của chúng trong robots.txt của bạn.
Thay đổi robots.txt có hiệu lực trong bao lâu?
Trong vòng 24 giờ là muộn nhất. Bot lưu robots.txt vào bộ nhớ đệm tối đa một ngày trước khi đọc lại.
Bot có tuân thủ Crawl-delay không?
Có, đối với các crawl job, vốn đọc nhiều trang của một site. Một lượt đọc đơn lẻ là một request và không bị giãn cách.
Bạn có lưu trữ hoặc bán nội dung các trang của tôi không?
Không. Nội dung văn bản của trang được gửi đến khách hàng đã yêu cầu và không được chúng tôi lưu giữ. Log của chúng tôi chứa tên host, thời gian, trạng thái và số credit đã dùng, trong 30 ngày.