# robots.txt สำหรับ AI agents และ fetchers: อะไรใช้บังคับในปี 2026

> robots.txt สำหรับ AI agents ในปี 2026: crawlers กับ fetchers ที่ผู้ใช้เรียกใช้ สิ่งที่ OpenAI, Anthropic, Google และ Perplexity ระบุ Content Signals และ aipref

- URL: https://webreaderapi.com/th/guides/robots-txt-for-ai-agents/
- อัปเดตล่าสุด: 2026-10-22
- ผู้เผยแพร่: WebReaderAPI (https://webreaderapi.com)

robots.txt ถูกเขียนขึ้นสำหรับ crawlers จากนั้น AI agents ก็ถือกำเนิดขึ้นมาซึ่งดึงหน้าเว็บเพราะมีคนขอ ตอนนี้ผู้ให้บริการแต่ละรายลากเส้นแบ่งนั้นต่างกัน คู่มือนี้จะอธิบายมาตรฐาน นโยบายที่ผู้ให้บริการแต่ละรายระบุ สัญญาณใหม่ ๆ และวิธีที่ crawler ของเราเองทำงาน

**คำตอบสั้น — AI agents ต้องปฏิบัติตาม robots.txt หรือไม่?**

ขึ้นอยู่กับผู้ให้บริการ robots.txt เป็นมาตรฐานโดยสมัครใจ (RFC 9309, กันยายน 2022) Crawlers ที่สร้างดัชนีโดยทั่วไปปฏิบัติตาม สำหรับการดึงข้อมูลที่ผู้ใช้เรียกใช้ OpenAI ระบุว่ากฎอาจไม่ใช้บังคับ Google และ Perplexity ระบุว่า fetchers ของตนโดยทั่วไปไม่สนใจกฎเหล่านี้ และ Anthropic ระบุว่าบอทของตนเคารพกฎเหล่านี้ **WebReaderAPI** ปฏิบัติตาม robots.txt ทุกครั้งที่อ่าน โดยไม่ต้อง KYC และจ่ายด้วยคริปโต

## robots.txt และ AI ในเดือนตุลาคม 2026

| คุณสมบัติ | ค่า |
| --- | --- |
| มาตรฐาน | RFC 9309, Robots Exclusion Protocol, กันยายน 2022 |
| OpenAI ChatGPT-User | กฎ robots.txt "อาจไม่ใช้บังคับ" กับการกระทำที่ผู้ใช้เป็นผู้เริ่ม |
| Anthropic (รวมถึง Claude-User) | ระบุว่า bot ของตนปฏิบัติตามคำสั่งใน robots.txt รวมถึง Crawl-delay |
| ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง | "โดยทั่วไปไม่สนใจกฎใน robots.txt" (อัปเดตหน้าเมื่อ 2026-08-19) |
| Perplexity-User | "โดยทั่วไปไม่สนใจกฎใน robots.txt" |
| Content Signals | นโยบายของ Cloudflare วันที่ 24 กันยายน 2025: `search`, `ai-input`, `ai-train` |
| การตั้งค่า AI preferences ของ IETF | ร่างเอกสารของ working group ยังไม่เป็น RFC |
| WebReaderAPI | ปฏิบัติตาม robots.txt และ `ai-input=no` ทุกครั้งที่อ่าน; token `WebReaderAPI` |

## robots.txt ทำอะไรได้จริงบ้าง?

มันบอกไคลเอนต์อัตโนมัติว่าเว็บไซต์อยากให้ข้าม path ใดไป ไฟล์นี้อยู่ที่ root ของโฮสต์ จัดกลุ่มกฎตาม token ของ user-agent และใช้บรรทัด `Allow` และ `Disallow` RFC 9309 ซึ่งเผยแพร่ในเดือนกันยายน 2022 ทำให้ธรรมเนียมปฏิบัติที่มีมานานกลายเป็นมาตรฐาน

RFC ระบุชัดเจนว่าไฟล์นี้ไม่ได้ล็อกอะไรเลย: "These rules are not a form of access authorization." การปฏิบัติตามเป็นไปโดยสมัครใจ นั่นคือเหตุผลที่ทำให้แต่ละผู้ขายมีนโยบายที่ระบุไว้ และเป็นเหตุผลที่เว็บไซต์ที่ต้องการข้อจำกัดแบบเข้มงวดยังต้องใช้ไฟร์วอลล์และการจัดการ bot

## ทำไม crawler กับตัวดึงข้อมูลที่ผู้ใช้เป็นผู้สั่งจึงต่างกัน?

crawler ตัดสินใจเองว่าจะเยี่ยมชมหน้าใด ส่วนตัวดึงข้อมูลที่ผู้ใช้เป็นผู้สั่งจะเยี่ยมชมหน้าเดียวเพราะมีคนขอ ผู้ขายจำนวนมากมองกรณีที่สองเหมือนเบราว์เซอร์ที่ทำหน้าที่แทนผู้ใช้ และระบุว่า robots.txt ใช้บังคับไม่เต็มที่

| ตัวดึงข้อมูล | นโยบายที่ระบุไว้ (อ่านเมื่อ 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | กฎใน robots.txt "may not apply" ต่อการกระทำที่ผู้ใช้เริ่มต้น; เว็บไซต์ถูกชี้ไปที่ OAI-SearchBot สำหรับการ opt-out จากการค้นหา |
| Anthropic Claude-User | Anthropic ระบุว่า bot ของตนเคารพคำสั่งใน robots.txt; การบล็อก Claude-User จะหยุดการดึงข้อมูลสำหรับคำถามของผู้ใช้ |
| ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง | "Generally ignore robots.txt rules" เพราะผู้ใช้เป็นผู้ขอให้ดึง |
| Perplexity-User | "Generally ignores robots.txt rules" ด้วยเหตุผลเดียวกัน |
| MCP reference fetch server | ปฏิบัติตาม robots.txt สำหรับการดึงข้อมูลที่โมเดลเริ่มต้นโดยค่าเริ่มต้น แต่ไม่ทำสำหรับการดึงข้อมูลที่ผู้ใช้เริ่มต้น |

ความแตกต่างนี้มีอยู่จริงและมีเอกสารยืนยัน หากคุณสร้าง agent ให้ตัดสินใจว่าคุณอยู่ฝั่งไหนและระบุไว้ใน user agent และเอกสารของคุณ

## Content Signals, aipref และ RSL คืออะไร?

สิ่งเหล่านี้เป็นวิธีใหม่ในการระบุว่า AI จะนำเนื้อหาไปทำอะไรได้บ้าง ไม่ใช่แค่ว่า bot จะดึงเนื้อหาได้หรือไม่

- **Content Signals.** Cloudflare เผยแพร่นโยบายนี้เมื่อวันที่ 24 กันยายน 2025 robots.txt สามารถระบุ `search`, `ai-input` (ใช้เป็น input สำหรับคำตอบ AI เช่น grounding) และ `ai-train` robots.txt แบบ managed ของ Cloudflare จะให้บริการ `search=yes, ai-train=no` โดยค่าเริ่มต้น
- **IETF AI preferences (aipref).** ร่างคำศัพท์และร่างเอกสาร attachment ของ working group ยังเป็น Internet-Drafts ในเดือนตุลาคม 2026 โดยมีจุดมุ่งหมายให้เป็น Proposed Standards
- **Web Bot Auth.** วิธีให้ bot ลงลายมือชื่อในคำขอ; working group ของ IETF รับร่างโปรโตคอลเมื่อวันที่ 1 กันยายน 2026
- **RSL (Really Simple Licensing).** เว็บไซต์ของโครงการระบุว่าข้อกำหนด RSL 1.0 พร้อมใช้งานแล้ว; ช่วยให้ผู้เผยแพร่ระบุเงื่อนไขการอนุญาตใช้งาน รวมถึง pay-per-crawl ผ่าน robots.txt, headers หรือ RSS

## llms.txt เหมือนกับ robots.txt หรือไม่?

ไม่ robots.txt บอกว่าห้ามดึงอะไร ส่วน llms.txt เป็นไฟล์ที่เสนอขึ้นเพื่อระบุหน้าสำคัญของเว็บไซต์สำหรับ language model การนำไปใช้เพิ่มขึ้นแต่การใช้งานที่วัดได้ยังต่ำ Rankability นับ llms.txt พบใน 9.3% ของ 1,000 เว็บไซต์ยอดนิยมเมื่อวันที่ 18 กันยายน 2026 การศึกษาโดย Ahrefs จาก 137,000 โดเมน ซึ่งรายงานโดย PPC Land เมื่อวันที่ 2 กรกฎาคม 2026 พบว่า 97% ของไฟล์ llms.txt ไม่มีคำขอเข้ามาเลย

[คู่มือ llms.txt ของเรา](https://webreaderapi.com/th/guides/llms-txt-generator/) แสดงวิธีสร้างไฟล์ดังกล่าวจากการ crawl เว็บไซต์ของคุณเอง หากคุณยังต้องการ

## WebReaderAPI จัดการ robots.txt อย่างไร?

ปฏิบัติตามทุกครั้งที่อ่าน รวมถึงการอ่านที่ลูกค้าเป็นผู้สั่ง เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต. หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ. สำหรับงาน crawl ยังรอตาม `Crawl-delay` ที่เว็บไซต์กำหนด

ทุกคำขอใช้ User-Agent เดียวกันคือ `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` เพื่อให้เจ้าของเว็บไซต์เห็นเราใน log และเขียนกฎสำหรับเราได้ [หน้า crawler ของเรา](https://webreaderapi.com/th/bot/) มีรายละเอียดและช่องทางติดต่อสำหรับปัญหา

*ตัวอย่าง robots.txt สำหรับ WebReaderAPI*

```text
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /

# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5

# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## robots.txt สำหรับ AI: คำถามที่พบบ่อย

### การบล็อก GPTBot หยุด ChatGPT จากการอ่านหน้าของฉันแทนผู้ใช้ได้หรือไม่?

ไม่เสมอไป OpenAI ระบุ token แยกกัน: GPTBot สำหรับการเทรน, OAI-SearchBot สำหรับการค้นหา และ ChatGPT-User สำหรับการกระทำของผู้ใช้ และระบุว่ากฎใน robots.txt อาจไม่ใช้บังคับกับการกระทำที่ผู้ใช้เริ่มต้น ตรวจสอบเอกสารล่าสุดของแต่ละผู้ขาย

### robots.txt มีผลผูกพันทางกฎหมายหรือไม่?

ตัวมันเองไม่มี; RFC 9309 ระบุว่าไม่ใช่การอนุญาตให้เข้าถึง ใน EU การ opt-out ที่เครื่องอ่านได้มีความสำคัญต่อการทำเหมืองข้อความและข้อมูลภายใต้ DSM Directive ดู [ภาพรวมด้านกฎหมาย](https://webreaderapi.com/th/guides/is-reading-web-pages-for-ai-legal/); ไม่ใช่คำแนะนำทางกฎหมาย

### ฉันจะบล็อก WebReaderAPI ได้อย่างไร?

เพิ่มกลุ่ม `User-agent: WebReaderAPI` พร้อม `Disallow: /` ใน robots.txt ของคุณ การอ่านของเราตรวจสอบก่อนทุกหน้า; หน้าที่ถูกห้ามจะไม่ถูกอ่านเลย

### WebReaderAPI อ่านหน้าที่ระบุ ai-input=no หรือไม่?

ไม่ หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ. API ส่งคืน `403 blocked_by_site_policy` ให้ลูกค้า โดยไม่คิดค่าใช้จ่าย

## แหล่งที่มา

1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — RFC Editor (September 2022)
2. [ภาพรวม crawler ของ OpenAI](https://developers.openai.com/api/docs/bots) — OpenAI (read 2026-10-22)
3. [Anthropic crawl ข้อมูลจากเว็บหรือไม่ และเจ้าของเว็บไซต์จะบล็อก crawler ได้อย่างไร?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) — Anthropic (2026-04-07)
4. [ตัวดึงข้อมูลที่ผู้ใช้ Google เป็นผู้สั่ง](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) — Google (updated 2026-08-19)
5. [crawler ของ Perplexity](https://docs.perplexity.ai/guides/bots) — Perplexity (read 2026-10-22)
6. [MCP fetch server](https://github.com/modelcontextprotocol/servers/tree/main/src/fetch) — Model Context Protocol (read 2026-10-22)
7. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
8. [เอกสารของ AI Preferences working group](https://datatracker.ietf.org/wg/aipref/documents/) — IETF (read 2026-10-22)
9. [เอกสารของ Web Bot Auth working group](https://datatracker.ietf.org/wg/webbotauth/documents/) — IETF (read 2026-10-22)
10. [Really Simple Licensing](https://rslstandard.org/) — rslstandard.org (read 2026-10-22)
11. [ข้อมูลการนำ llms.txt ไปใช้](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
12. [การนำ llms.txt ไปใช้เพิ่มขึ้น 8.8 เท่า แต่ 97% ของไฟล์ไม่ได้รับคำขอ AI เลย](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI คือ API อ่านหน้าเว็บสำหรับ AI agent ที่แปลงหน้าเว็บสาธารณะใด ๆ เป็น Markdown สะอาด จ่ายด้วยคริปโตโดยไม่ต้องอัปโหลดบัตรประชาชน เครดิตแบบเติมเงินเริ่มต้นที่ US$0.07/1K หน้า ไม่มีวันหมดอายุ และเคารพ robots.txt ไม่ต้อง KYC — ไม่ต้องใช้บัตรประชาชน ไม่ต้องเซลฟี่ ไม่ต้องเอกสาร จ่ายด้วยคริปโต