Câu trả lời nhanh
Vì sao AI agent của tôi nhận lỗi 403 khi fetch một trang?
Thường là do trang web, hoặc CDN của nó, từ chối lưu lượng tự động hoặc lưu lượng AI. Cloudflare đã chặn AI crawler theo mặc định cho các tên miền mới kể từ ngày 1 tháng 7 năm 2025, và từ ngày 15 tháng 9 năm 2026 chặn lưu lượng "Agent" trên các trang có quảng cáo của tên miền mới. Các nguyên nhân khác là rate limit và tường đăng nhập. Cách khắc phục là xin phép, không phải ngụy trang. WebReaderAPI trả về câu trả lời của trang web mà không tính phí; không cần KYC, thanh toán bằng crypto.
Các nguyên nhân phổ biến khiến web fetch thất bại
| 403 từ CDN | Bot management chặn AI crawler hoặc agent theo mặc định trên nhiều trang web |
|---|---|
| 403 hoặc 401 từ trang web | Tường đăng nhập, khu vực thành viên, quy tắc theo vùng hoặc chặn cứng các agent đã biết |
| 429 | Quá nhiều yêu cầu trong thời gian ngắn; trang web đang rate limit bạn |
| 402 | Trang web yêu cầu thanh toán, ví dụ qua Cloudflare pay per crawl |
| 200 nhưng văn bản rỗng | Trang xây dựng nội dung bằng JavaScript; không phải lỗi, nhưng không có gì để đọc |
| Bị từ chối trước khi fetch | Công cụ của bạn tuân theo robots.txt và bỏ qua trang |
Điều gì đã thay đổi trên web trong năm 2025 và 2026?
Các nhà cung cấp hạ tầng lớn đã biến việc chặn AI thành mặc định. Ba thay đổi có mốc thời gian giải thích phần lớn các lỗi 403 mới:
- 1 tháng 7 năm 2025: Cloudflare cho biết giờ đây chặn AI crawler theo mặc định, hỏi mọi tên miền mới khi đăng ký xem có cho phép hay không. Cùng ngày, họ ra mắt pay per crawl ở chế độ beta riêng tư, trả lời bằng HTTP 402 kèm giá.
- 1 tháng 7 năm 2026: Cloudflare giới thiệu ba loại lưu lượng AI: Search, Agent và Training. "Agent" bao gồm rõ ràng các fetcher của chat như ChatGPT-User.
- 15 tháng 9 năm 2026: với tên miền mới, các preset của Cloudflare chặn lưu lượng Training và Agent trên các trang hiển thị quảng cáo; Search vẫn được phép.
Một agent fetch trang thay cho người dùng thuộc loại Agent. Trên các trang có quảng cáo được đưa vào sau tháng 9 năm 2026, hãy dự kiến sẽ bị từ chối.
Làm sao phân biệt bị chặn với lỗi kỹ thuật?
Đọc mã trạng thái và nội dung phản hồi trước khi thay đổi bất cứ thứ gì.
| Bạn thấy gì | Ý nghĩa khả dĩ | Bước tiếp theo |
|---|---|---|
| 403 kèm trang challenge hoặc "access denied" | Trang web hoặc CDN của nó từ chối lưu lượng tự động | Tôn trọng nó; tìm API hoặc xin quyền truy cập |
| 402 kèm header giá | Trang web bán quyền truy cập theo từng yêu cầu | Quyết định xem có trả qua kênh của họ không |
| 429 | Bạn đã gửi quá nhiều yêu cầu | Giảm tốc độ và thử lại sau với backoff |
| 401, hoặc trang đăng nhập | Nội dung cần tài khoản | Ngoài phạm vi của một reader công khai |
| 200 với gần như không có văn bản | Nội dung được xây dựng bằng JavaScript | Render trang trong trình duyệt |
| Công cụ của bạn báo robots.txt không cho phép | Trang web yêu cầu robot bỏ qua nó | Tôn trọng nó |
Chỉ có lỗi 429 và trang JavaScript rỗng là vấn đề kỹ thuật bạn có thể giải quyết ở phía mình. Những trường hợp còn lại là quyết định của chủ trang web.
Người xây dựng agent có thể làm gì một cách hợp lệ?
Hợp tác với trang web, không đi vòng qua nó. Những bước này khắc phục nhiều lỗi và giữ agent của bạn đứng về phía chủ trang web:
- Dùng kênh của chính trang web. Nhiều trang cung cấp API, feed RSS hoặc Atom, hoặc sitemap chứa nội dung bạn cần.
- Xin quyền truy cập. Chủ trang web có thể cho phép một bot có tên trong robots.txt hoặc trong cài đặt CDN. Một User-Agent rõ ràng và một trang liên hệ giúp việc này dễ dàng.
- Render các trang được phép nhưng rỗng. Với trang chỉ có JavaScript, hãy dùng reader chạy trình duyệt headless.
- Giảm tốc độ và cache. Đọc cùng một trang một lần, lưu lại, và tôn trọng
Crawl-delayvà phản hồi 429. - Trả tiền ở nơi trang web bán quyền truy cập. 402 là một lời đề nghị; hãy nhận qua kênh của trang web hoặc bỏ trang đó ra.
Mỗi bước trong số này đều để chủ trang web nắm quyền kiểm soát, và đó cũng là điều giữ cho agent của bạn hữu ích lâu dài.
Tôi tuyệt đối không được làm gì để vượt qua sự từ chối?
Không bao giờ ngụy trang agent hoặc phá một lớp bảo vệ. Giả mạo User-Agent của trình duyệt, xoay IP để thoát khỏi chặn, hoặc giải các trang challenge biến một client lịch sự thành công cụ được tạo ra để phá các kiểm soát truy cập. Trong năm 2026, hai tòa án Hoa Kỳ coi các kỹ thuật như vậy là hành vi lách luật trong các vụ kiện về truy cập tự động vào kết quả tìm kiếm. Các vụ án vẫn đang mở và chưa có gì được phán quyết, nhưng rủi ro không phải là lý thuyết.
Nó cũng phá vỡ niềm tin với các trang mà người dùng của bạn phụ thuộc vào. Một sự từ chối là thông tin: ghi lại, báo cho người dùng rằng trang không khả dụng, và chuyển sang nguồn khác.
Các công cụ fetch tích hợp làm gì khi trang web từ chối?
Hầu hết trả lỗi về cho model, rồi model báo cho người dùng rằng nó không đọc được trang. Tài liệu của OpenClaw, đọc ngày 22 tháng 10 năm 2026, cho biết web_fetch tích hợp của nó trích xuất nội dung bằng Readability, không chạy JavaScript và giới hạn đầu ra ở 20.000 ký tự; nó có thể fallback sang một nhà cung cấp fetch, và các plugin có thể đăng ký nhà cung cấp mới. Server fetch tham chiếu MCP tuân theo robots.txt cho các fetch do model khởi tạo theo mặc định.
Khi các công cụ này thất bại trên các trang cho phép robot nhưng cần JavaScript, một reader render trang sẽ giúp ích. Khi chúng thất bại vì trang web từ chối, không công cụ nào nên thay đổi câu trả lời.
WebReaderAPI trả về gì khi trang web từ chối?
Nó trả về sự từ chối một cách rõ ràng, và bạn không bị tính phí. Một trang bị robots.txt không cho phép trả về 403 blocked_by_robots. Một trang công bố ai-input=no trả về 403 blocked_by_site_policy. Một trang từ chối yêu cầu theo bất kỳ cách nào khác trả về 502 target_refused, kèm mã trạng thái của chính trang web trong target_status.
Nếu một website từ chối yêu cầu của chúng tôi, chúng tôi trả lại câu trả lời của trang đó: chúng tôi không bao giờ giải CAPTCHA, đăng nhập vào tài khoản, hay tìm cách vượt qua chặn hoặc paywall. Agent của bạn có thể cho người dùng thấy chính xác vì sao một trang bị bỏ qua. Trang lỗi liệt kê mọi mã cùng quy tắc thử lại cho từng mã.
Lỗi web fetch: câu hỏi thường gặp
Vì sao một trang mở được trong trình duyệt của tôi nhưng lại thất bại trong agent?
Vì trang web đối xử với người và client tự động khác nhau. Bot management có thể cho phép trình duyệt và từ chối agent, và một số trang chặn lưu lượng AI theo mặc định. Trang công khai với người đọc, không nhất thiết công khai với robot.
Thử lại có khắc phục được lỗi 403 không?
Hiếm khi. 403 là một quyết định, không phải sự cố nhất thời. Hãy thử lại 429, timeout và lỗi mạng với exponential backoff; coi 403 là cuối cùng trừ khi chủ trang web thay đổi.
WebReaderAPI có đọc được những trang agent của tôi không đọc được không?
Chỉ những trang cho phép robot nhưng cần trình duyệt để hiển thị văn bản, vì WebReaderAPI render JavaScript khi cần. Nó không đọc được những trang bị trang web từ chối, và không cố gắng làm vậy.
Làm sao để bot của tôi được cho phép trên một trang web?
Dùng một User-Agent ổn định, mô tả rõ kèm URL liên hệ, tuân theo robots.txt, giữ tốc độ yêu cầu thấp, và hỏi chủ trang. Các cơ chế agent có chữ ký như Web Bot Auth cho phép trang web xác minh bạn là ai.
Nguồn (8)
- Thông cáo báo chí: AI crawler bị chặn theo mặc định — Cloudflare (2025-07-01)
- Ra mắt pay per crawl — Cloudflare (2025-07-01)
- Blog: các tùy chọn lưu lượng Search, Agent và Training — Cloudflare (2026-07-01)
- Blog: mặc định mới cho AI crawlers và agent — Cloudflare (2026-09-15)
- Công cụ web fetch — OpenClaw (read 2026-10-22)
- Máy chủ fetch của MCP — Model Context Protocol (read 2026-10-22)
- Reddit v. SerpApi LLC — Loeb & Loeb (2026-08)
- Đơn kiện của Google chống lại SerpApi bị bác bỏ — Search Engine Roundtable (2026-07-22)