คำตอบสั้น
บอท WebReaderAPI คืออะไร และฉันจะบล็อกมันได้อย่างไร?
บอท WebReaderAPI จะดึงหน้าเว็บสาธารณะเมื่อลูกค้าของเราขอให้ API อ่านหน้าเหล่านั้น บอทส่ง user agent WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) และปฏิบัติตามกฎ robots.txt ที่เขียนไว้สำหรับ token WebReaderAPI หรือสำหรับ robots ทั้งหมด หากต้องการบล็อกบอททุกที่ ให้เพิ่ม User-agent: WebReaderAPI ตามด้วย Disallow: / ลงใน robots.txt ของคุณ
บอทโดยสรุป
| header User-Agent | WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) |
|---|---|
| token ใน robots.txt | WebReaderAPI |
| robots.txt | เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต |
| สัญญาณการตั้งค่า AI | หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ |
| เมื่อเว็บไซต์ปฏิเสธ | หากเว็บไซต์ปฏิเสธคำขอของเรา เราจะส่งคำตอบของเว็บนั้นกลับไป: เราไม่แก้ CAPTCHA ไม่เข้าสู่ระบบบัญชี และไม่พยายามหลบเลี่ยงการบล็อกหรือ paywall |
| สำเนาหน้าเว็บของคุณ | ไม่มีการเก็บสำเนาใด ๆ หลังส่งคำตอบให้ลูกค้าแล้ว |
| งาน crawl | crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
| ติดต่อ | [email protected] |
ทำไม WebReaderAPI จึงดึงหน้าเว็บของฉัน?
เพราะลูกค้าของ API ขอให้ดึง WebReaderAPI ไม่ได้สร้างดัชนีเว็บของตัวเองและไม่ได้เข้าชมเว็บด้วยตัวเองโดยพลการ การดึงแต่ละครั้งเป็นหนึ่งในสามประเภทคำขอ:
- การอ่านครั้งเดียว: แอปพลิเคชันหรือ AI agent ส่ง URL ของคุณไปยัง
/readโดยปกติเพราะมีคนถามคำถามที่หน้าเว็บของคุณตอบ - งานแบบกลุ่ม (batch): ลูกค้าส่งรายการ URL ไม่เกิน 100 URL และ URL ของคุณอยู่ในรายการนั้น
- งาน crawl: ลูกค้าขอให้เราอ่านทั้งเว็บไซต์ โดยเริ่มจากที่อยู่หนึ่งและอยู่ภายในโดเมนนั้น การ crawl จะเป็นไปตาม sitemap และ robots.txt ของคุณ
ลูกค้าจะได้รับเนื้อหาหลักของหน้าเว็บในรูปแบบ Markdown เราไม่เก็บสำเนาใด ๆ ไว้หลังจากนั้น
ฉันจะบล็อกบอททั้งเว็บไซต์ได้อย่างไร?
เพิ่มกลุ่มสำหรับ token ของเราลงในไฟล์ robots.txt บอทจะอ่าน /robots.txt ก่อนดึงหน้าเว็บและแคชไว้ไม่เกิน 24 ชั่วโมง การเปลี่ยนแปลงจึงมีผลภายในหนึ่งวันอย่างช้าที่สุด
User-agent: WebReaderAPI
Disallow: /
ฉันบล็อกเพียงบางส่วนของเว็บไซต์ หรือทำให้บอทช้าลงได้ไหม?
ได้ ระบุโฟลเดอร์ที่ต้องการกันออกภายใต้ Disallow และตั้งค่า Crawl-delay เป็นวินาทีสำหรับงาน crawl กฎที่เขียนสำหรับ robots ทั้งหมด (User-agent: *) ก็มีผลกับเราเช่นกันเมื่อคุณไม่มีกลุ่มสำหรับ token ของเรา เมื่อคุณมีกลุ่มนั้น กลุ่มนั้นจะชนะ ตามที่ RFC 9309 ระบุ
User-agent: WebReaderAPI
Disallow: /account/
Disallow: /drafts/
Crawl-delay: 5
บอทปฏิบัติตามสัญญาณการตั้งค่า AI หรือไม่?
ใช่ สัญญาณที่เว็บไซต์ระบุใน robots.txt หากไฟล์ของคุณประกาศ Content-Signal: ai-input=no เราถือเป็นการปฏิเสธไม่ให้ใช้หน้าเว็บของคุณเป็นอินพุตสำหรับคำตอบ AI และเราไม่อ่านหน้าเว็บเหล่านั้นให้ลูกค้า API จะส่งข้อผิดพลาด blocked_by_site_policy ให้ลูกค้า ซึ่งจะไม่ถูกเรียกเก็บเงิน
User-agent: *
Content-Signal: search=yes, ai-input=no
Allow: /
บอททำอะไรเมื่อเว็บไซต์ของฉันปฏิเสธ?
บอทจะหยุดและรายงานคำตอบของคุณ สถานะ 403 หรือ 429 หน้า challenge แบบฟอร์ม login หรือ paywall ล้วนยุติคำขอ ลูกค้าจะได้รับข้อผิดพลาด target_refused พร้อมรหัสสถานะของคุณ และไม่ถูกเรียกเก็บเงินสำหรับคำขอนั้น
บอทไม่เคยแก้ challenge ไม่เคย login ไม่เคยเปลี่ยน user agent ให้ดูเหมือนเบราว์เซอร์ และไม่เคยลองใหม่ในคราบอื่น หากคุณต้องการให้เราอ่านหน้าเว็บของคุณ ให้อนุญาต token ใน robots.txt และปล่อยให้คำขอผ่าน หากไม่ต้องการ ก็ไม่ต้องทำอะไรเพิ่มฝั่งคุณ
WebReaderAPI ยังไม่รับประกันอะไรบ้าง?
วันนี้เรายังไม่เผยแพร่รายการ IP address ดังนั้นโปรดระบุบอทด้วย user agent และพฤติกรรมต่อ robots.txt ไม่ใช่ด้วย IP หน้าเว็บที่อ่านด้วยตัวเลือก country จะออกจากที่อยู่ในประเทศที่เลือก โดยยังใช้ user agent เดิม เราจะเพิ่มช่วง IP address ของเราลงในหน้านี้เมื่อกำหนดแน่นอนแล้ว พร้อมวันที่เปลี่ยนแปลง
ฉันจะรายงานปัญหาเกี่ยวกับบอทได้อย่างไร?
เขียนถึง [email protected] พร้อมวันที่และเวลา โดเมนของคุณ URL ที่ถูกดึง และบรรทัดใน access log ของคุณที่แสดง user agent ของเรา มีคนอ่านทุกรายงานและตรวจสอบกับ log ของเรา หากลูกค้าใช้ API ฝ่าฝืน นโยบายการใช้งานที่ยอมรับได้ บัญชีของลูกค้าจะถูกระงับ
หากต้องการตรวจสอบว่าคำขอมาจากเราจริงหรือไม่ ให้เทียบ user agent และพฤติกรรมต่อ robots.txt กับหน้านี้ ไคลเอนต์ที่เพิกเฉยต่อกฎ robots.txt ของคุณแต่ใช้ชื่อของเราไม่ใช่บอทของเรา
คำถามของเจ้าของเว็บไซต์
บอท WebReaderAPI เป็น crawler ของ search engine หรือไม่?
ไม่ใช่ บอทไม่ได้จัดทำดัชนีเว็บหรือจัดอันดับหน้าเว็บ บอทอ่านหน้าเว็บเฉพาะเมื่อลูกค้าของ API ขอหน้านั้น ไม่ว่าจะเป็นคำขอเดี่ยว งานแบบกลุ่ม หรือการ crawl เว็บไซต์หนึ่งแห่ง
การบล็อกบอทจะส่งผลต่ออันดับใน Google หรือ Bing ของฉันหรือไม่?
ไม่ กฎที่เขียนสำหรับ WebReaderAPI เกี่ยวข้องเฉพาะบอทของเรา crawler ของ search engine ปฏิบัติตามกลุ่มของตัวเองใน robots.txt ของคุณ
การเปลี่ยนแปลงใน robots.txt มีผลเร็วแค่ไหน?
ภายใน 24 ชั่วโมงอย่างช้าที่สุด บอทแคช robots.txt ไว้ไม่เกินหนึ่งวันก่อนอ่านใหม่
บอทเคารพ Crawl-delay ไหม?
เคารพ สำหรับงาน crawl ซึ่งอ่านหลายหน้าของเว็บไซต์หนึ่ง การอ่านครั้งเดียวคือหนึ่งคำขอและไม่มีการเว้นระยะ
คุณเก็บหรือขายเนื้อหาหน้าของฉันไหม?
ไม่ ข้อความจากหน้าเว็บจะส่งไปยังลูกค้าที่ขอและเราไม่เก็บไว้ บันทึกของเราเก็บเฉพาะชื่อโฮสต์ เวลา สถานะ และเครดิตที่ใช้ เป็นเวลา 30 วัน