คำตอบสั้น
ทำไม AI agent ของฉันถึงเจอ 403 เมื่อดึงหน้าเว็บ?
โดยปกติเป็นเพราะเว็บไซต์หรือ CDN ของเว็บไซต์ปฏิเสธทราฟฟิกอัตโนมัติหรือ AI Cloudflare บล็อก AI crawler โดยค่าเริ่มต้นสำหรับโดเมนใหม่ตั้งแต่ 1 กรกฎาคม 2025 และตั้งแต่ 15 กันยายน 2026 บล็อกทราฟฟิก "Agent" บนหน้าที่มีโฆษณาของโดเมนใหม่ สาเหตุอื่นคือ rate limit และหน้า login วิธีแก้คือการขออนุญาต ไม่ใช่การปลอมตัว WebReaderAPI ส่งคำตอบของเว็บไซต์กลับมาโดยไม่คิดเครดิต ไม่ต้อง KYC จ่ายด้วยคริปโต
สาเหตุทั่วไปของ web fetch ที่ล้มเหลว
| 403 จาก CDN | ระบบจัดการบอทบล็อก AI crawler หรือ agent โดยค่าเริ่มต้นบนเว็บไซต์หลายแห่ง |
|---|---|
| 403 หรือ 401 จากเว็บไซต์ | หน้า login, พื้นที่สมาชิก, กฎตามภูมิภาค หรือการบล็อกแบบถาวรต่อ agent ที่รู้จัก |
| 429 | คำขอมากเกินไปในเวลาสั้น ๆ เว็บไซต์กำลัง rate limit คุณ |
| 402 | เว็บไซต์เรียกเก็บเงิน เช่นผ่าน Cloudflare pay per crawl |
| 200 แต่ข้อความว่างเปล่า | หน้าเว็บสร้างเนื้อหาด้วย JavaScript ไม่ใช่ error แต่ไม่มีอะไรให้อ่าน |
| ถูกปฏิเสธก่อนดึง | เครื่องมือของคุณเองเคารพ robots.txt และข้ามหน้าไป |
อะไรเปลี่ยนไปบนเว็บในปี 2025 และ 2026?
ผู้ให้บริการโครงสร้างพื้นฐานรายใหญ่เปลี่ยนการบล็อก AI ให้เป็นค่าเริ่มต้น การเปลี่ยนแปลงสามอย่างที่มีวันที่ชัดเจนอธิบาย 403 ใหม่ส่วนใหญ่ได้:
- 1 กรกฎาคม 2025: Cloudflare ประกาศว่าตอนนี้บล็อก AI crawler โดยค่าเริ่มต้น โดยถามทุกโดเมนใหม่ตอนสมัครว่าจะอนุญาตหรือไม่ วันเดียวกันนั้นเปิดตัว pay per crawl ใน private beta ซึ่งตอบกลับด้วย HTTP 402 พร้อมราคา
- 1 กรกฎาคม 2026: Cloudflare เปิดตัว AI traffic สามหมวด ได้แก่ Search, Agent และ Training โดย "Agent" รวมถึงตัวดึงข้อมูลแชทเช่น ChatGPT-User อย่างชัดเจน
- 15 กันยายน 2026: สำหรับโดเมนใหม่ ค่าที่ตั้งไว้ล่วงหน้าของ Cloudflare บล็อกทราฟฟิก Training และ Agent บนหน้าที่แสดงโฆษณา ส่วน Search ยังอนุญาตอยู่
Agent ที่ดึงหน้าเว็บให้ผู้ใช้อยู่ในหมวด Agent บนเว็บไซต์ที่ขายโฆษณาซึ่งเริ่มใช้ตั้งแต่หลังกันยายน 2026 ให้คาดว่าจะถูกปฏิเสธ
ฉันจะแยกการบล็อกจากบั๊กได้อย่างไร?
อ่าน status code และ body ก่อนเปลี่ยนอะไร
| สิ่งที่เห็น | ความหมายที่เป็นไปได้ | ขั้นตอนถัดไป |
|---|---|---|
| 403 พร้อมหน้า challenge หรือ "access denied" | เว็บไซต์หรือ CDN ปฏิเสธทราฟฟิกอัตโนมัติ | เคารพมัน มองหา API หรือขออนุญาตเข้าถึง |
| 402 พร้อม header ราคา | เว็บไซต์ขายการเข้าถึงต่อคำขอ | ตัดสินใจว่าจะจ่ายผ่านช่องทางของเว็บหรือไม่ |
| 429 | คุณส่งคำขอมากเกินไป | ชะลอและลองใหม่ภายหลังด้วย backoff |
| 401 หรือหน้า login | เนื้อหาต้องใช้บัญชี | อยู่นอกขอบเขตของ reader สาธารณะ |
| 200 แต่แทบไม่มีข้อความ | เนื้อหาสร้างด้วย JavaScript | render หน้าเว็บในเบราว์เซอร์ |
| เครื่องมือของคุณบอกว่า robots.txt ไม่อนุญาต | เว็บไซต์ขอให้ robot ข้ามไป | เคารพมัน |
มีเพียง 429 และหน้า JavaScript ว่างเปล่าเท่านั้นที่เป็นปัญหาทางเทคนิคที่คุณแก้ได้เอง ส่วนที่เหลือเป็นการตัดสินใจของเจ้าของเว็บไซต์
ผู้สร้าง agent ทำอะไรได้อย่างถูกต้อง?
ทำตามกติกาของเว็บไซต์ ไม่ใช่หลบเลี่ยง ขั้นตอนเหล่านี้แก้ปัญหาหลายอย่างและทำให้ agent ของคุณอยู่ข้างเดียวกับเจ้าของเว็บไซต์:
- ใช้ช่องทางของเว็บไซต์เอง เว็บไซต์หลายแห่งมี API, feed แบบ RSS หรือ Atom หรือ sitemap ที่มีเนื้อหาที่คุณต้องการ
- ขออนุญาตเข้าถึง เจ้าของเว็บไซต์สามารถอนุญาตบอทที่ระบุชื่อใน robots.txt หรือในการตั้งค่า CDN User-Agent ที่ชัดเจนและหน้าติดต่อช่วยให้ทำได้ง่าย
- render หน้าที่อนุญาตแต่ว่างเปล่า สำหรับหน้าที่มีเฉพาะ JavaScript ให้ใช้ reader ที่รันเบราว์เซอร์แบบ headless
- ชะลอและแคช อ่านหน้าเดิมครั้งเดียว จัดเก็บไว้ และเคารพ
Crawl-delayและการตอบกลับ 429 - จ่ายเงินที่เว็บไซต์ขายการเข้าถึง 402 คือข้อเสนอ รับมันผ่านช่องทางของเว็บไซต์หรือเว้นหน้านั้นไป
แต่ละข้อทำให้เจ้าของเว็บไซต์ยังคงควบคุมได้ ซึ่งเป็นสิ่งที่ทำให้ agent ของคุณมีประโยชน์ในระยะยาวด้วย
อะไรที่ฉันไม่ควรทำเด็ดขาดเพื่อผ่านการปฏิเสธ?
อย่าปลอมตัว agent หรือเอาชนะระบบป้องกัน การปลอม User-Agent ของเบราว์เซอร์ การหมุน IP address เพื่อหลบการบล็อก หรือการไขหน้า challenge ทำให้ client ที่สุภาพกลายเป็นเครื่องมือที่สร้างมาเพื่อเอาชนะการควบคุมการเข้าถึง ในปี 2026 ศาลสหรัฐสองแห่งตัดสินว่าวิธีดังกล่าวเป็นการหลบเลี่ยง (circumvention) ในคดีเกี่ยวกับการเข้าถึงผลการค้นหาโดยอัตโนมัติ คดียังเปิดอยู่และยังไม่มีคำตัดสิน แต่ความเสี่ยงไม่ใช่เรื่องสมมติ
มันยังทำลายความไว้วางใจกับเว็บไซต์ที่ผู้ใช้ของคุณพึ่งพา การปฏิเสธคือข้อมูล: บันทึกไว้ บอกผู้ใช้ว่าหน้านั้นไม่พร้อมใช้งาน แล้วไปยังแหล่งอื่น
เครื่องมือ fetch ที่มีมาให้ทำอะไรเมื่อเว็บไซต์ปฏิเสธ?
ส่วนใหญ่ส่ง error กลับไปยังโมเดล ซึ่งจากนั้นบอกผู้ใช้ว่าอ่านหน้าไม่ได้ เอกสารของ OpenClaw ที่อ่านเมื่อ 22 ตุลาคม 2026 ระบุว่า web_fetch ที่มีมาให้ดึงเนื้อหาด้วย Readability ไม่รัน JavaScript และจำกัดผลลัพธ์ที่ 20,000 ตัวอักษร สามารถ fallback ไปยัง fetch provider ได้ และ plugin สามารถลงทะเบียนตัวใหม่ได้ MCP reference fetch server ทำตาม robots.txt สำหรับการดึงที่โมเดลเป็นผู้เริ่มโดยค่าเริ่มต้น
เมื่อเครื่องมือเหล่านี้ล้มเหลวบนหน้าที่อนุญาต robots แต่ต้องใช้ JavaScript reader ที่ render หน้าเว็บจะช่วยได้ เมื่อล้มเหลวเพราะเว็บไซต์ปฏิเสธ ไม่มีเครื่องมือใดควรเปลี่ยนคำตอบ
WebReaderAPI ส่งอะไรกลับมาเมื่อเว็บไซต์ปฏิเสธ?
ส่งการปฏิเสธกลับมาอย่างชัดเจน และคุณไม่ถูกคิดเครดิต หน้าที่ robots.txt ไม่อนุญาตให้ 403 blocked_by_robots เว็บไซต์ที่ประกาศ ai-input=no ให้ 403 blocked_by_site_policy เว็บไซต์ที่ปฏิเสธคำขอด้วยวิธีอื่นให้ 502 target_refused พร้อม status code ของเว็บไซต์เองใน target_status
หากเว็บไซต์ปฏิเสธคำขอของเรา เราจะส่งคำตอบของเว็บนั้นกลับไป: เราไม่แก้ CAPTCHA ไม่เข้าสู่ระบบบัญชี และไม่พยายามหลบเลี่ยงการบล็อกหรือ paywall agent ของคุณสามารถแสดงให้ผู้ใช้เห็นว่าทำไมหน้าถึงถูกข้ามไป หน้าข้อผิดพลาด แสดงรายการทุก code พร้อมกฎการ retry ของแต่ละอัน
Web fetch error: คำถามที่พบบ่อย
ทำไมหน้าเว็บเปิดในเบราว์เซอร์ของฉันได้แต่ล้มเหลวใน agent?
เพราะเว็บไซต์ปฏิบัติต่อคนและ client อัตโนมัติต่างกัน ระบบจัดการบอทสามารถอนุญาตเบราว์เซอร์และปฏิเสธ agent และบางเว็บไซต์บล็อกทราฟฟิก AI โดยค่าเริ่มต้น หน้านั้นเป็นสาธารณะสำหรับผู้อ่าน แต่ไม่จำเป็นต้องเป็นสาธารณะสำหรับ robot
การลองใหม่จะแก้ 403 ได้ไหม?
แทบจะไม่ 403 คือการตัดสินใจ ไม่ใช่ความผิดพลาดชั่วคราว ให้ retry 429, timeout และ network error ด้วย exponential backoff; ถือว่า 403 เป็นการสิ้นสุดเว้นแต่เจ้าของเว็บไซต์จะเปลี่ยน
WebReaderAPI อ่านหน้าที่ agent ของฉันอ่านไม่ได้ได้ไหม?
ได้เฉพาะหน้าที่อนุญาต robots แต่ต้องใช้เบราว์เซอร์เพื่อแสดงข้อความ เพราะ WebReaderAPI render JavaScript เมื่อจำเป็น อ่านหน้าที่เว็บไซต์ปฏิเสธไม่ได้และไม่พยายามทำ
บอทของฉันจะได้รับอนุญาตบนเว็บไซต์ได้อย่างไร?
ใช้ User-Agent ที่คงที่และอธิบายได้พร้อม URL สำหรับติดต่อ ทำตาม robots.txt รักษาอัตราคำขอให้ต่ำ และถามเจ้าของ เว็บไซต์สามารถยืนยันตัวตนคุณได้ด้วยรูปแบบ signed-agent เช่น Web Bot Auth
แหล่งที่มา (8)
- ข่าวประชาสัมพันธ์: AI crawler ถูกบล็อกโดยค่าเริ่มต้น — Cloudflare (2025-07-01)
- เปิดตัว pay per crawl — Cloudflare (2025-07-01)
- บล็อก: ตัวเลือกทราฟฟิก Search, Agent และ Training — Cloudflare (2026-07-01)
- บล็อก: ค่าเริ่มต้นใหม่สำหรับ AI crawlers และ agents — Cloudflare (2026-09-15)
- เครื่องมือ Web fetch — OpenClaw (read 2026-10-22)
- MCP fetch server — Model Context Protocol (read 2026-10-22)
- Reddit v. SerpApi LLC — Loeb & Loeb (2026-08)
- คดีฟ้องร้อง Google ต่อ SerpApi ถูกยกฟ้อง — Search Engine Roundtable (2026-07-22)