อภิธานศัพท์ web reader API

ภาษา markup ของหน้าเว็บ HTML ดิบปนข้อความที่ต้องการเข้ากับ tag, script และสไตล์ ซึ่งเป็นเหตุผลที่ทำให้โมเดลภาษาเข้าใจได้ยาก

Document Object Model: โครงสร้างต้นไม้ของ element ที่เบราว์เซอร์สร้างจาก HTML แล้วเปลี่ยนด้วย JavaScript หน้าเว็บที่ render แล้วจะอ่านจาก DOM ไม่ใช่จาก HTML ดิบ

การรัน script ของหน้าเว็บในเบราว์เซอร์ เพื่อให้เนื้อหาที่โหลดหลังการตอบสนองครั้งแรกปรากฏขึ้น WebReaderAPI ทำเมื่อจำเป็น (render=auto) โดยใช้สองเครดิตแทนหนึ่งเครดิต

เบราว์เซอร์ engine จริงที่ทำงานโดยไม่มีหน้าจอ ขับเคลื่อนด้วยซอฟต์แวร์ เป็นวิธีที่หน้าเว็บที่ใช้ JavaScript หนัก ๆ ถูก render บนเซิร์ฟเวอร์

การหาส่วนของหน้าที่ผู้อ่านต้องการ เช่น บทความหรือเอกสาร และตัดส่วนอื่นรอบ ๆ ออก ใน API ของเราคือ main_content=true ซึ่งเป็นค่าเริ่มต้น

ทั้งคุณสมบัติของข้อความและชื่อของกลุ่มอัลกอริทึมที่รู้จักกันดีซึ่งให้คะแนนบล็อกของหน้าเพื่อหาเนื้อหาหลัก เช่นเดียวกับโหมดการอ่านในเบราว์เซอร์

ข้อความที่ซ้ำในทุกหน้าของเว็บไซต์: เมนู ประกาศคุกกี้ แถบด้านข้าง ส่วนท้าย ปุ่มแชร์ การลบออกคือส่วนใหญ่ของงานของ web reader

รูปแบบข้อความล้วนที่ # หมายถึงหัวข้อ - รายการ และ [text](url) ลิงก์ โมเดลอ่านได้ดีและใช้ token น้อยกว่า HTML มาก

ข้อมูลเกี่ยวกับหน้าเว็บไม่ใช่ตัวข้อความ: ชื่อ คำอธิบาย ผู้เขียน วันที่เผยแพร่ ภาษา WebReaderAPI คืนค่าเหล่านี้ข้าง ๆ Markdown เมื่อหน้าเว็บระบุไว้

การแปลงข้อความของไฟล์ PDF เป็น Markdown ไฟล์ PDF ขนาดไม่เกิน 20 MB และไม่เกิน 100 หน้า จะถูกแปลงเป็น Markdown ในอัตรา 1 เครดิตต่อทุก 10 หน้าที่เริ่มต้น

ไฟล์ XML ที่เว็บไซต์ระบุหน้าเว็บของตน งาน crawl จะเริ่มจากไฟล์นี้เมื่อมีอยู่ ซึ่งหาเจอหน้าเว็บได้เร็วขึ้นและใช้คำขอน้อยลง

กำแพงที่แสดงเนื้อหาเฉพาะผู้สมัครสมาชิก WebReaderAPI ไม่อ่านเนื้อหาหลังกำแพงนี้เลย

โปรแกรมที่ดึงหน้าเว็บเพื่อวัตถุประสงค์หนึ่ง ของเราดึงเฉพาะหน้าที่ลูกค้าขอ และ หน้า bot อธิบายไว้

ชื่อที่ client ส่งไปกับทุกคำขอ ของเราคือ WebReaderAPI/1.0 (+https://webreaderapi.com/bot/) เจ้าของเว็บจึงรู้เสมอว่าใครเป็นผู้ขอ

ไฟล์ที่รากของเว็บไซต์ซึ่งบอก crawler ว่าเส้นทางใดดึงได้ มาตรฐานตาม RFC 9309 เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต

บรรทัดใน robots.txt ที่ขอให้ crawler รอตามจำนวนวินาทีระหว่างคำขอ งาน crawl ของเราเคารพข้อนี้

นโยบายสำหรับบรรทัดใน robots.txt เช่น Content-Signal: search=yes, ai-input=no ซึ่งระบุว่าเนื้อหาของเว็บไซต์ใช้ได้อย่างไร รวมถึงโดย AI

การตั้งค่า Content Signals ที่ครอบคลุมการใช้หน้าเว็บเป็น input สำหรับคำตอบ AI หากเว็บไซต์ประกาศ Content-Signal: ai-input=no ใน robots.txt ของมัน เราจะไม่อ่านหน้าของเว็บนั้นให้คุณ

ไฟล์ Markdown ที่บางเว็บไซต์เผยแพร่ที่ /llms.txt เพื่อให้คำแนะนำสั้น ๆ แก่โมเดลภาษาเกี่ยวกับเนื้อหาและหน้าสำคัญของตน

การอ่านหลายหน้าของเว็บไซต์เดียวโดยตามลิงก์และ sitemap crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น

รายการ URL ที่ส่งในคำขอเดียวและประมวลผลเบื้องหลัง สูงสุด 100 URL ต่อ batch job

สถานะที่เซิร์ฟเวอร์ส่งเพื่อปฏิเสธคำขอ เมื่อเว็บไซต์ตอบ 403 ต่อ crawler ของเรา API จะคืน target_refused และไม่คิดค่าบริการ

สถานะสำหรับคำขอที่มากเกินไป หากมาจากเว็บไซต์ หมายถึงให้ชะลอความเร็วลง หากมาจาก API ของเรา (concurrency_limit) หมายถึงบัญชีของคุณถึงขีดจำกัดการอ่านพร้อมกันแล้ว

การรอนานขึ้นในแต่ละครั้งที่ล้มเหลว (เช่น 1, 2 แล้ว 4 วินาที) ก่อนลองใหม่ เพื่อไม่ให้เซิร์ฟเวอร์ที่ทำงานหนักอยู่แล้วถูกกระหน่ำ

หน่วยที่โมเดลภาษาใช้อ่านและคิดค่าบริการ โดยประมาณคือคำสั้น ๆ หนึ่งคำหรือบางส่วนของคำ Markdown ที่สะอาดใช้ token น้อยกว่าหน้าเดียวกันในรูปแบบ HTML มาก

ปริมาณข้อความที่โมเดลรับเข้าได้ในครั้งเดียว พารามิเตอร์ max_chars ทำให้แต่ละหน้าอยู่ภายในงบประมาณที่คุณตั้งไว้

Retrieval-augmented generation: การที่โมเดลตอบจากเอกสารที่ดึงมาเพื่อตอบคำถาม เว็บรีดเดอร์จัดหาเอกสารเหล่านั้นจากหน้าเว็บสด

การแบ่งเอกสารยาวออกเป็นท่อน ๆ ก่อนจัดทำดัชนี หัวข้อ Markdown ให้จุดแบ่งตามธรรมชาติ

รายการตัวเลขที่แทนความหมายของท่อนข้อความ ใช้เพื่อค้นหาท่อนที่คล้ายกับคำถาม

ฐานข้อมูลที่เก็บ embedding และคืนท่อนที่ใกล้เคียงที่สุดกับคำค้นหา ซึ่งเป็นที่เก็บตามปกติของหน้าเว็บที่แบ่งเป็นท่อนในระบบ RAG

ความสามารถของโมเดลในการขอให้แอปพลิเคชันเรียกใช้ฟังก์ชัน เช่น การอ่าน URL และนำผลลัพธ์ไปใช้ ดู OpenAI function calling

Model Context Protocol มาตรฐานวิธีเชื่อมต่อเครื่องมือเข้ากับ AI client เช่น Claude Desktop หรือ Cursor หน้า MCP ของเรา แสดง fetch tool ที่สร้างบน API

หน่วยการใช้งานของ API 1 เครดิต = อ่าน 1 หน้าโดยไม่ใช้เบราว์เซอร์; 2 เครดิตเมื่อหน้านั้นต้องใช้เบราว์เซอร์เพื่อเรนเดอร์ JavaScript คำขอที่ล้มเหลว หรือที่ robots.txt ของเว็บไซต์ปฏิเสธ จะไม่ถูกคิดเครดิต

จำนวนการอ่านที่บัญชีของคุณเรียกทำงานได้ในเวลาเดียวกัน ทุกบัญชีมีขีดจำกัดจำนวนหน้าที่อ่านพร้อมกัน แดชบอร์ดแสดงให้เห็น และฝ่ายสนับสนุนสามารถเพิ่มให้ได้

Know your customer: การตรวจสอบตัวตนที่บางบริการกำหนด เช่น เอกสารระบุตัวตนหรือเซลฟี่ WebReaderAPI ไม่ขอสิ่งใดเลย

คริปโตเคอร์เรนซีที่ผูกมูลค่ากับสกุลเงิน เช่น ดอลลาร์สหรัฐ USDT และ USDC เป็นสองเหรียญที่รับสำหรับการเติมเงิน รายการเหรียญทั้งหมดอยู่ที่ BTC, USDT, USDC, ETH, SOL, LTC