Câu trả lời nhanh
AI agent có phải tuân theo robots.txt không?
Tùy thuộc vào nhà cung cấp. robots.txt là một tiêu chuẩn tự nguyện (RFC 9309, tháng 9 năm 2022). Các crawler xây dựng chỉ mục thường tuân theo nó; với những lần tải do người dùng kích hoạt, OpenAI nói rằng các quy tắc của nó có thể không áp dụng, Google và Perplexity nói các fetcher của họ thường bỏ qua chúng, còn Anthropic nói bot của họ tôn trọng chúng. WebReaderAPI tuân theo robots.txt trong mọi lần đọc, không cần KYC và thanh toán bằng crypto.
robots.txt và AI vào tháng 10 năm 2026
| Tiêu chuẩn | RFC 9309, Robots Exclusion Protocol, tháng 9 năm 2022 |
|---|---|
| OpenAI ChatGPT-User | các quy tắc robots.txt "có thể không áp dụng" cho các hành động do người dùng khởi xướng |
| Anthropic (bao gồm Claude-User) | Cho biết bot của họ tuân thủ các chỉ thị trong robots.txt, bao gồm Crawl-delay |
| Trình tải do người dùng Google kích hoạt | "Thường bỏ qua các quy tắc robots.txt" (trang cập nhật 2026-08-19) |
| Perplexity-User | "Thường bỏ qua các quy tắc robots.txt" |
| Content Signals | Chính sách Cloudflare ngày 24 tháng 9 năm 2025: search, ai-input, ai-train |
| Tùy chọn AI của IETF | Bản nháp của nhóm làm việc, chưa phải RFC |
| WebReaderAPI | Tuân theo robots.txt và ai-input=no trong mọi lần đọc; token WebReaderAPI |
robots.txt thực sự làm gì?
Nó cho các client tự động biết những đường dẫn nào mà trang web muốn chúng bỏ qua. Tệp này nằm ở thư mục gốc của một host, nhóm các quy tắc theo token user-agent, và dùng các dòng Allow và Disallow. RFC 9309, xuất bản tháng 9 năm 2022, đã biến quy ước lâu đời này thành tiêu chuẩn.
RFC nói rõ rằng tệp này không khóa bất cứ thứ gì: "These rules are not a form of access authorization." Việc tuân thủ là tự nguyện. Đó là lý do chính sách mà mỗi nhà cung cấp công bố lại quan trọng, và lý do các trang web muốn giới hạn cứng cũng dùng tường lửa và quản lý bot.
Vì sao crawler và trình tải do người dùng kích hoạt lại khác nhau?
Crawler tự quyết định những trang nào để truy cập; trình tải do người dùng kích hoạt truy cập một trang vì có người yêu cầu. Nhiều nhà cung cấp coi trường hợp thứ hai giống như trình duyệt hành động thay cho người dùng, và nói rằng robots.txt không áp dụng đầy đủ.
| Trình tải | Chính sách công bố (đọc ngày 2026-10-22) |
|---|---|
| OpenAI ChatGPT-User | Quy tắc robots.txt "có thể không áp dụng" cho các hành động do người dùng khởi xướng; trang web được chỉ tới OAI-SearchBot để từ chối tìm kiếm |
| Anthropic Claude-User | Anthropic cho biết bot của họ tôn trọng các chỉ thị trong robots.txt; chặn Claude-User sẽ dừng việc truy xuất cho truy vấn của người dùng |
| Trình tải do người dùng Google kích hoạt | "Generally ignore robots.txt rules" vì người dùng yêu cầu tải |
| Perplexity-User | "Generally ignores robots.txt rules" vì cùng lý do |
| Máy chủ fetch tham chiếu MCP | Mặc định tuân theo robots.txt cho các lần tải do model khởi xướng, không cho các lần do người dùng khởi xướng |
Sự phân biệt này là có thật và được ghi nhận. Nếu bạn xây một agent, hãy quyết định bạn đứng về phía nào và nói rõ trong user agent và tài liệu của bạn.
Content Signals, aipref và RSL là gì?
Đây là những cách mới hơn để nói các hệ thống AI được phép làm gì với nội dung, không chỉ là liệu robot có được tải nội dung hay không.
- Content Signals. Cloudflare công bố chính sách này vào ngày 24 tháng 9 năm 2025. Một tệp robots.txt có thể nêu
search,ai-input(dùng làm đầu vào cho câu trả lời AI, ví dụ grounding) vàai-train. robots.txt do Cloudflare quản lý phục vụsearch=yes, ai-train=notheo mặc định. - Tùy chọn AI của IETF (aipref). Các bản nháp về từ vựng và tệp đính kèm của nhóm làm việc vẫn là Internet-Draft vào tháng 10 năm 2026, dự kiến là Proposed Standard.
- Web Bot Auth. Một cách để bot ký các yêu cầu của mình; nhóm làm việc IETF đã thông qua bản nháp giao thức của nó vào ngày 1 tháng 9 năm 2026.
- RSL (Really Simple Licensing). Trang web của nó cho biết đặc tả RSL 1.0 đã có sẵn; nó cho phép nhà xuất bản nêu các điều khoản cấp phép, bao gồm trả tiền theo mỗi lần crawl, thông qua robots.txt, header hoặc RSS.
llms.txt có giống robots.txt không?
Không. robots.txt nói những gì không nên tải; llms.txt là một tệp được đề xuất liệt kê các trang chính của một trang web cho các mô hình ngôn ngữ. Việc áp dụng đang tăng nhưng mức sử dụng đo được còn thấp. Rankability đếm thấy llms.txt trên 9,3% trong 1.000 trang web hàng đầu vào ngày 18 tháng 9 năm 2026. Một nghiên cứu của Ahrefs trên 137.000 tên miền, được PPC Land đưa tin ngày 2 tháng 7 năm 2026, phát hiện rằng 97% tệp llms.txt không nhận được yêu cầu nào.
Hướng dẫn llms.txt của chúng tôi chỉ cách tạo một tệp như vậy từ một lần crawl chính trang web của bạn, nếu bạn vẫn muốn có một tệp.
WebReaderAPI xử lý robots.txt như thế nào?
Nó tuân theo trong mọi lần đọc, bao gồm cả các lần đọc do khách hàng kích hoạt. Chúng tôi tôn trọng robots.txt: crawler của chúng tôi tự nhận là WebReaderAPI, tuân theo các quy tắc dành cho nó hoặc cho tất cả robot, và không đọc trang mà website không cho phép. Trang bị từ chối không bị tính phí. Nếu một website khai báo Content-Signal: ai-input=no trong robots.txt, chúng tôi không đọc các trang của trang đó cho bạn. Đối với các job crawl, nó cũng chờ Crawl-delay mà trang web đặt.
Mọi yêu cầu đều mang cùng một User-Agent, WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), để chủ trang web có thể thấy chúng tôi trong log và viết quy tắc cho chúng tôi. Trang crawler của chúng tôi cung cấp chi tiết và đầu mối liên hệ khi có sự cố.
# Block WebReaderAPI from the whole site
User-agent: WebReaderAPI
Disallow: /
# Or: allow it, but keep it out of one folder and slow it down
User-agent: WebReaderAPI
Disallow: /account/
Crawl-delay: 5
# Or: allow reading for search, but not as AI input (Content Signals)
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
robots.txt cho AI: các câu hỏi thường gặp
Chặn GPTBot có ngăn được ChatGPT đọc trang của tôi cho một người dùng không?
Không nhất thiết. OpenAI ghi nhận các token riêng biệt: GPTBot cho huấn luyện, OAI-SearchBot cho tìm kiếm và ChatGPT-User cho hành động của người dùng, và cho biết quy tắc robots.txt có thể không áp dụng cho các hành động do người dùng khởi xướng. Hãy kiểm tra tài liệu hiện hành của từng nhà cung cấp.
robots.txt có ràng buộc về mặt pháp lý không?
Bản thân nó thì không; RFC 9309 nói rằng nó không phải là ủy quyền truy cập. Ở EU, việc từ chối dưới dạng máy đọc được có ý nghĩa đối với khai thác văn bản và dữ liệu theo DSM Directive. Xem tổng quan pháp lý của chúng tôi; đây không phải là tư vấn pháp lý.
Làm sao để chặn WebReaderAPI?
Thêm một nhóm User-agent: WebReaderAPI với Disallow: / vào robots.txt của bạn. Các lần đọc của chúng tôi kiểm tra nó trước mỗi trang; các trang bị không cho phép sẽ không bao giờ được đọc.
WebReaderAPI có đọc các trang nêu ai-input=no không?
Không. Nếu một website khai báo Content-Signal: ai-input=no trong robots.txt, chúng tôi không đọc các trang của trang đó cho bạn. API trả về 403 blocked_by_site_policy cho khách hàng, không tính phí.
Nguồn (12)
- RFC 9309: Robots Exclusion Protocol — RFC Editor (September 2022)
- Tổng quan về các crawler của OpenAI — OpenAI (read 2026-10-22)
- Anthropic có crawl dữ liệu từ web không, và chủ trang web có thể chặn crawler như thế nào? — Anthropic (2026-04-07)
- Trình tải do người dùng Google kích hoạt — Google (updated 2026-08-19)
- Các crawler của Perplexity — Perplexity (read 2026-10-22)
- Máy chủ fetch của MCP — Model Context Protocol (read 2026-10-22)
- Content Signals Policy — Cloudflare (2025-09-24)
- Tài liệu nhóm làm việc AI Preferences — IETF (read 2026-10-22)
- Tài liệu nhóm làm việc Web Bot Auth — IETF (read 2026-10-22)
- Really Simple Licensing — rslstandard.org (read 2026-10-22)
- Dữ liệu áp dụng llms.txt — Rankability (2026-09-18)
- Mức áp dụng llms.txt tăng 8.8 lần nhưng 97% tệp không nhận được yêu cầu AI nào — PPC Land (2026-07-02)