# บอท WebReaderAPI: user agent, robots.txt และวิธีบล็อก

> บอท WebReaderAPI: user agent ที่แน่ชัด, token ใน robots.txt, วิธีบล็อกหรือทำให้ช้าลง และสิ่งที่บอทไม่เคยทำ เขียนสำหรับเจ้าของเว็บไซต์และเครื่องมือ AI

- URL: https://webreaderapi.com/th/bot/
- อัปเดตล่าสุด: 2026-10-22
- ผู้เผยแพร่: WebReaderAPI (https://webreaderapi.com)

หากคุณเห็นชื่อของเราใน log ของเซิร์ฟเวอร์ หน้านี้อธิบายว่าเราคือใคร ทำไมเราจึงดึงหน้าเว็บของคุณ และวิธีบอกให้เราหยุด ทุกกฎในหน้านี้คือข้อผูกมัดที่บริการนี้ถูกสร้างขึ้นบนพื้นฐานนั้น

**คำตอบสั้น — บอท WebReaderAPI คืออะไร และฉันจะบล็อกมันได้อย่างไร?**

บอท **WebReaderAPI** จะดึงหน้าเว็บสาธารณะเมื่อลูกค้าของเราขอให้ API อ่านหน้าเหล่านั้น บอทส่ง user agent `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` และปฏิบัติตามกฎ robots.txt ที่เขียนไว้สำหรับ token `WebReaderAPI` หรือสำหรับ robots ทั้งหมด หากต้องการบล็อกบอททุกที่ ให้เพิ่ม `User-agent: WebReaderAPI` ตามด้วย `Disallow: /` ลงใน robots.txt ของคุณ

## บอทโดยสรุป

| คุณสมบัติ | ค่า |
| --- | --- |
| header User-Agent | `WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)` |
| token ใน robots.txt | `WebReaderAPI` |
| robots.txt | เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต |
| สัญญาณการตั้งค่า AI | หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ |
| เมื่อเว็บไซต์ปฏิเสธ | หากเว็บไซต์ปฏิเสธคำขอของเรา เราจะส่งคำตอบของเว็บนั้นกลับไป: เราไม่แก้ CAPTCHA ไม่เข้าสู่ระบบบัญชี และไม่พยายามหลบเลี่ยงการบล็อกหรือ paywall |
| สำเนาหน้าเว็บของคุณ | ไม่มีการเก็บสำเนาใด ๆ หลังส่งคำตอบให้ลูกค้าแล้ว |
| งาน crawl | crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
| ติดต่อ | abuse@webreaderapi.com |

## ทำไม WebReaderAPI จึงดึงหน้าเว็บของฉัน?

เพราะลูกค้าของ API ขอให้ดึง WebReaderAPI ไม่ได้สร้างดัชนีเว็บของตัวเองและไม่ได้เข้าชมเว็บด้วยตัวเองโดยพลการ การดึงแต่ละครั้งเป็นหนึ่งในสามประเภทคำขอ:

- **การอ่านครั้งเดียว:** แอปพลิเคชันหรือ AI agent ส่ง URL ของคุณไปยัง `/read` โดยปกติเพราะมีคนถามคำถามที่หน้าเว็บของคุณตอบ
- **งานแบบกลุ่ม (batch):** ลูกค้าส่งรายการ URL ไม่เกิน 100 URL และ URL ของคุณอยู่ในรายการนั้น
- **งาน crawl:** ลูกค้าขอให้เราอ่านทั้งเว็บไซต์ โดยเริ่มจากที่อยู่หนึ่งและอยู่ภายในโดเมนนั้น การ crawl จะเป็นไปตาม sitemap และ robots.txt ของคุณ

ลูกค้าจะได้รับเนื้อหาหลักของหน้าเว็บในรูปแบบ Markdown เราไม่เก็บสำเนาใด ๆ ไว้หลังจากนั้น

## ฉันจะบล็อกบอททั้งเว็บไซต์ได้อย่างไร?

เพิ่มกลุ่มสำหรับ token ของเราลงในไฟล์ robots.txt บอทจะอ่าน `/robots.txt` ก่อนดึงหน้าเว็บและแคชไว้ไม่เกิน 24 ชั่วโมง การเปลี่ยนแปลงจึงมีผลภายในหนึ่งวันอย่างช้าที่สุด

*robots.txt: ปฏิเสธทุกหน้าเว็บต่อ WebReaderAPI*

```text
User-agent: WebReaderAPI
Disallow: /

```

## ฉันบล็อกเพียงบางส่วนของเว็บไซต์ หรือทำให้บอทช้าลงได้ไหม?

ได้ ระบุโฟลเดอร์ที่ต้องการกันออกภายใต้ `Disallow` และตั้งค่า `Crawl-delay` เป็นวินาทีสำหรับงาน crawl กฎที่เขียนสำหรับ robots ทั้งหมด (`User-agent: *`) ก็มีผลกับเราเช่นกันเมื่อคุณไม่มีกลุ่มสำหรับ token ของเรา เมื่อคุณมีกลุ่มนั้น กลุ่มนั้นจะชนะ ตามที่ RFC 9309 ระบุ

*robots.txt: กันสองโฟลเดอร์ออกและเว้นระยะคำขอ crawl*

```text
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5

```

## บอทปฏิบัติตามสัญญาณการตั้งค่า AI หรือไม่?

ใช่ สัญญาณที่เว็บไซต์ระบุใน robots.txt หากไฟล์ของคุณประกาศ `Content-Signal: ai-input=no` เราถือเป็นการปฏิเสธไม่ให้ใช้หน้าเว็บของคุณเป็นอินพุตสำหรับคำตอบ AI และเราไม่อ่านหน้าเว็บเหล่านั้นให้ลูกค้า API จะส่งข้อผิดพลาด `blocked_by_site_policy` ให้ลูกค้า ซึ่งจะไม่ถูกเรียกเก็บเงิน

*robots.txt: อนุญาต search engine ปฏิเสธอินพุต AI*

```text
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /

```

## บอททำอะไรเมื่อเว็บไซต์ของฉันปฏิเสธ?

บอทจะหยุดและรายงานคำตอบของคุณ สถานะ 403 หรือ 429 หน้า challenge แบบฟอร์ม login หรือ paywall ล้วนยุติคำขอ ลูกค้าจะได้รับข้อผิดพลาด `target_refused` พร้อมรหัสสถานะของคุณ และไม่ถูกเรียกเก็บเงินสำหรับคำขอนั้น

บอทไม่เคยแก้ challenge ไม่เคย login ไม่เคยเปลี่ยน user agent ให้ดูเหมือนเบราว์เซอร์ และไม่เคยลองใหม่ในคราบอื่น หากคุณต้องการให้เราอ่านหน้าเว็บของคุณ ให้อนุญาต token ใน robots.txt และปล่อยให้คำขอผ่าน หากไม่ต้องการ ก็ไม่ต้องทำอะไรเพิ่มฝั่งคุณ

## WebReaderAPI ยังไม่รับประกันอะไรบ้าง?

วันนี้เรายังไม่เผยแพร่รายการ IP address ดังนั้นโปรดระบุบอทด้วย user agent และพฤติกรรมต่อ robots.txt ไม่ใช่ด้วย IP หน้าเว็บที่อ่านด้วยตัวเลือก `country` จะออกจากที่อยู่ในประเทศที่เลือก โดยยังใช้ user agent เดิม เราจะเพิ่มช่วง IP address ของเราลงในหน้านี้เมื่อกำหนดแน่นอนแล้ว พร้อมวันที่เปลี่ยนแปลง

## ฉันจะรายงานปัญหาเกี่ยวกับบอทได้อย่างไร?

เขียนถึง abuse@webreaderapi.com พร้อมวันที่และเวลา โดเมนของคุณ URL ที่ถูกดึง และบรรทัดใน access log ของคุณที่แสดง user agent ของเรา มีคนอ่านทุกรายงานและตรวจสอบกับ log ของเรา หากลูกค้าใช้ API ฝ่าฝืน [นโยบายการใช้งานที่ยอมรับได้](https://webreaderapi.com/th/acceptable-use/) บัญชีของลูกค้าจะถูกระงับ

หากต้องการตรวจสอบว่าคำขอมาจากเราจริงหรือไม่ ให้เทียบ user agent และพฤติกรรมต่อ robots.txt กับหน้านี้ ไคลเอนต์ที่เพิกเฉยต่อกฎ robots.txt ของคุณแต่ใช้ชื่อของเราไม่ใช่บอทของเรา

## คำถามของเจ้าของเว็บไซต์

### บอท WebReaderAPI เป็น crawler ของ search engine หรือไม่?

ไม่ใช่ บอทไม่ได้จัดทำดัชนีเว็บหรือจัดอันดับหน้าเว็บ บอทอ่านหน้าเว็บเฉพาะเมื่อลูกค้าของ API ขอหน้านั้น ไม่ว่าจะเป็นคำขอเดี่ยว งานแบบกลุ่ม หรือการ crawl เว็บไซต์หนึ่งแห่ง

### การบล็อกบอทจะส่งผลต่ออันดับใน Google หรือ Bing ของฉันหรือไม่?

ไม่ กฎที่เขียนสำหรับ `WebReaderAPI` เกี่ยวข้องเฉพาะบอทของเรา crawler ของ search engine ปฏิบัติตามกลุ่มของตัวเองใน robots.txt ของคุณ

### การเปลี่ยนแปลงใน robots.txt มีผลเร็วแค่ไหน?

ภายใน 24 ชั่วโมงอย่างช้าที่สุด บอทแคช robots.txt ไว้ไม่เกินหนึ่งวันก่อนอ่านใหม่

### บอทเคารพ Crawl-delay ไหม?

เคารพ สำหรับงาน crawl ซึ่งอ่านหลายหน้าของเว็บไซต์หนึ่ง การอ่านครั้งเดียวคือหนึ่งคำขอและไม่มีการเว้นระยะ

### คุณเก็บหรือขายเนื้อหาหน้าของฉันไหม?

ไม่ ข้อความจากหน้าเว็บจะส่งไปยังลูกค้าที่ขอและเราไม่เก็บไว้ บันทึกของเราเก็บเฉพาะชื่อโฮสต์ เวลา สถานะ และเครดิตที่ใช้ เป็นเวลา 30 วัน

---

WebReaderAPI: WebReaderAPI คือ API อ่านหน้าเว็บสำหรับ AI agent ที่แปลงหน้าเว็บสาธารณะใด ๆ เป็น Markdown สะอาด จ่ายด้วยคริปโตโดยไม่ต้องอัปโหลดบัตรประชาชน เครดิตแบบเติมเงินเริ่มต้นที่ US$0.07/1K หน้า ไม่มีวันหมดอายุ และเคารพ robots.txt ไม่ต้อง KYC — ไม่ต้องใช้บัตรประชาชน ไม่ต้องเซลฟี่ ไม่ต้องเอกสาร จ่ายด้วยคริปโต