คำตอบสั้น
AI agents ต้องปฏิบัติตาม robots.txt หรือไม่?
ขึ้นอยู่กับผู้ให้บริการ robots.txt เป็นมาตรฐานโดยสมัครใจ (RFC 9309, กันยายน 2022) Crawlers ที่สร้างดัชนีโดยทั่วไปปฏิบัติตาม สำหรับการดึงข้อมูลที่ผู้ใช้เรียกใช้ OpenAI ระบุว่ากฎอาจไม่ใช้บังคับ Google และ Perplexity ระบุว่า fetchers ของตนโดยทั่วไปไม่สนใจกฎเหล่านี้ และ Anthropic ระบุว่าบอทของตนเคารพกฎเหล่านี้ WebReaderAPI ปฏิบัติตาม robots.txt ทุกครั้งที่อ่าน โดยไม่ต้อง KYC และจ่ายด้วยคริปโต
robots.txt และ AI ในเดือนตุลาคม 2026
| มาตรฐาน | RFC 9309, Robots Exclusion Protocol, กันยายน 2022 |
|---|---|
| OpenAI ChatGPT-User | กฎ robots.txt "อาจไม่ใช้บังคับ" กับการกระทำที่ผู้ใช้เป็นผู้เริ่ม |
| Anthropic (รวมถึง Claude-User) | ระบุว่า bot ของตนปฏิบัติตามคำสั่งใน robots.txt รวมถึง Crawl-delay |
| ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง | "โดยทั่วไปไม่สนใจกฎใน robots.txt" (อัปเดตหน้าเมื่อ 2026-08-19) |
| Perplexity-User | "โดยทั่วไปไม่สนใจกฎใน robots.txt" |
| Content Signals | นโยบายของ Cloudflare วันที่ 24 กันยายน 2025: search, ai-input, ai-train |
| การตั้งค่า AI preferences ของ IETF | ร่างเอกสารของ working group ยังไม่เป็น RFC |
| WebReaderAPI | ปฏิบัติตาม robots.txt และ ai-input=no ทุกครั้งที่อ่าน; token WebReaderAPI |
robots.txt ทำอะไรได้จริงบ้าง?
มันบอกไคลเอนต์อัตโนมัติว่าเว็บไซต์อยากให้ข้าม path ใดไป ไฟล์นี้อยู่ที่ root ของโฮสต์ จัดกลุ่มกฎตาม token ของ user-agent และใช้บรรทัด Allow และ Disallow RFC 9309 ซึ่งเผยแพร่ในเดือนกันยายน 2022 ทำให้ธรรมเนียมปฏิบัติที่มีมานานกลายเป็นมาตรฐาน
RFC ระบุชัดเจนว่าไฟล์นี้ไม่ได้ล็อกอะไรเลย: "These rules are not a form of access authorization." การปฏิบัติตามเป็นไปโดยสมัครใจ นั่นคือเหตุผลที่ทำให้แต่ละผู้ขายมีนโยบายที่ระบุไว้ และเป็นเหตุผลที่เว็บไซต์ที่ต้องการข้อจำกัดแบบเข้มงวดยังต้องใช้ไฟร์วอลล์และการจัดการ bot
ทำไม crawler กับตัวดึงข้อมูลที่ผู้ใช้เป็นผู้สั่งจึงต่างกัน?
crawler ตัดสินใจเองว่าจะเยี่ยมชมหน้าใด ส่วนตัวดึงข้อมูลที่ผู้ใช้เป็นผู้สั่งจะเยี่ยมชมหน้าเดียวเพราะมีคนขอ ผู้ขายจำนวนมากมองกรณีที่สองเหมือนเบราว์เซอร์ที่ทำหน้าที่แทนผู้ใช้ และระบุว่า robots.txt ใช้บังคับไม่เต็มที่
| ตัวดึงข้อมูล | นโยบายที่ระบุไว้ (อ่านเมื่อ 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | กฎใน robots.txt "may not apply" ต่อการกระทำที่ผู้ใช้เริ่มต้น; เว็บไซต์ถูกชี้ไปที่ OAI-SearchBot สำหรับการ opt-out จากการค้นหา |
| Anthropic Claude-User | Anthropic ระบุว่า bot ของตนเคารพคำสั่งใน robots.txt; การบล็อก Claude-User จะหยุดการดึงข้อมูลสำหรับคำถามของผู้ใช้ |
| ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง | "Generally ignore robots.txt rules" เพราะผู้ใช้เป็นผู้ขอให้ดึง |
| Perplexity-User | "Generally ignores robots.txt rules" ด้วยเหตุผลเดียวกัน |
| MCP reference fetch server | ปฏิบัติตาม robots.txt สำหรับการดึงข้อมูลที่โมเดลเริ่มต้นโดยค่าเริ่มต้น แต่ไม่ทำสำหรับการดึงข้อมูลที่ผู้ใช้เริ่มต้น |
ความแตกต่างนี้มีอยู่จริงและมีเอกสารยืนยัน หากคุณสร้าง agent ให้ตัดสินใจว่าคุณอยู่ฝั่งไหนและระบุไว้ใน user agent และเอกสารของคุณ
Content Signals, aipref และ RSL คืออะไร?
สิ่งเหล่านี้เป็นวิธีใหม่ในการระบุว่า AI จะนำเนื้อหาไปทำอะไรได้บ้าง ไม่ใช่แค่ว่า bot จะดึงเนื้อหาได้หรือไม่
- Content Signals. Cloudflare เผยแพร่นโยบายนี้เมื่อวันที่ 24 กันยายน 2025 robots.txt สามารถระบุ
search,ai-input(ใช้เป็น input สำหรับคำตอบ AI เช่น grounding) และai-trainrobots.txt แบบ managed ของ Cloudflare จะให้บริการsearch=yes, ai-train=noโดยค่าเริ่มต้น - IETF AI preferences (aipref). ร่างคำศัพท์และร่างเอกสาร attachment ของ working group ยังเป็น Internet-Drafts ในเดือนตุลาคม 2026 โดยมีจุดมุ่งหมายให้เป็น Proposed Standards
- Web Bot Auth. วิธีให้ bot ลงลายมือชื่อในคำขอ; working group ของ IETF รับร่างโปรโตคอลเมื่อวันที่ 1 กันยายน 2026
- RSL (Really Simple Licensing). เว็บไซต์ของโครงการระบุว่าข้อกำหนด RSL 1.0 พร้อมใช้งานแล้ว; ช่วยให้ผู้เผยแพร่ระบุเงื่อนไขการอนุญาตใช้งาน รวมถึง pay-per-crawl ผ่าน robots.txt, headers หรือ RSS
llms.txt เหมือนกับ robots.txt หรือไม่?
ไม่ robots.txt บอกว่าห้ามดึงอะไร ส่วน llms.txt เป็นไฟล์ที่เสนอขึ้นเพื่อระบุหน้าสำคัญของเว็บไซต์สำหรับ language model การนำไปใช้เพิ่มขึ้นแต่การใช้งานที่วัดได้ยังต่ำ Rankability นับ llms.txt พบใน 9.3% ของ 1,000 เว็บไซต์ยอดนิยมเมื่อวันที่ 18 กันยายน 2026 การศึกษาโดย Ahrefs จาก 137,000 โดเมน ซึ่งรายงานโดย PPC Land เมื่อวันที่ 2 กรกฎาคม 2026 พบว่า 97% ของไฟล์ llms.txt ไม่มีคำขอเข้ามาเลย
คู่มือ llms.txt ของเรา แสดงวิธีสร้างไฟล์ดังกล่าวจากการ crawl เว็บไซต์ของคุณเอง หากคุณยังต้องการ
WebReaderAPI จัดการ robots.txt อย่างไร?
ปฏิบัติตามทุกครั้งที่อ่าน รวมถึงการอ่านที่ลูกค้าเป็นผู้สั่ง เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต. หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ. สำหรับงาน crawl ยังรอตาม Crawl-delay ที่เว็บไซต์กำหนด
ทุกคำขอใช้ User-Agent เดียวกันคือ WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) เพื่อให้เจ้าของเว็บไซต์เห็นเราใน log และเขียนกฎสำหรับเราได้ หน้า crawler ของเรา มีรายละเอียดและช่องทางติดต่อสำหรับปัญหา
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt สำหรับ AI: คำถามที่พบบ่อย
การบล็อก GPTBot หยุด ChatGPT จากการอ่านหน้าของฉันแทนผู้ใช้ได้หรือไม่?
ไม่เสมอไป OpenAI ระบุ token แยกกัน: GPTBot สำหรับการเทรน, OAI-SearchBot สำหรับการค้นหา และ ChatGPT-User สำหรับการกระทำของผู้ใช้ และระบุว่ากฎใน robots.txt อาจไม่ใช้บังคับกับการกระทำที่ผู้ใช้เริ่มต้น ตรวจสอบเอกสารล่าสุดของแต่ละผู้ขาย
robots.txt มีผลผูกพันทางกฎหมายหรือไม่?
ตัวมันเองไม่มี; RFC 9309 ระบุว่าไม่ใช่การอนุญาตให้เข้าถึง ใน EU การ opt-out ที่เครื่องอ่านได้มีความสำคัญต่อการทำเหมืองข้อความและข้อมูลภายใต้ DSM Directive ดู ภาพรวมด้านกฎหมาย; ไม่ใช่คำแนะนำทางกฎหมาย
ฉันจะบล็อก WebReaderAPI ได้อย่างไร?
เพิ่มกลุ่ม User-agent: WebReaderAPI พร้อม Disallow: / ใน robots.txt ของคุณ การอ่านของเราตรวจสอบก่อนทุกหน้า; หน้าที่ถูกห้ามจะไม่ถูกอ่านเลย
WebReaderAPI อ่านหน้าที่ระบุ ai-input=no หรือไม่?
ไม่ หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ. API ส่งคืน 403 blocked_by_site_policy ให้ลูกค้า โดยไม่คิดค่าใช้จ่าย
แหล่งที่มา (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- ภาพรวม crawler ของ OpenAI — OpenAI (read 2026-10-22)
- Anthropic crawl ข้อมูลจากเว็บหรือไม่ และเจ้าของเว็บไซต์จะบล็อก crawler ได้อย่างไร? — Anthropic (2026-04-07)
- ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง — Google (updated 2026-08-19)
- crawler ของ Perplexity — Perplexity (read 2026-10-22)
- MCP fetch server — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- เอกสารของ AI Preferences working group — IETF (read 2026-10-22)
- เอกสารของ Web Bot Auth working group — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- ข้อมูลการนำ llms.txt ไปใช้ — Rankability (2026-09-18)
- การนำ llms.txt ไปใช้เพิ่มขึ้น 8.8 เท่า แต่ 97% ของไฟล์ไม่ได้รับคำขอ AI เลย — PPC Land (2026-07-02)