ทดสอบ
10,000 หน้า
US$3.75
US$0.38/1K หน้า
- ลองใช้กับ URL จริงของคุณ
- API เดียวกับแพ็กที่ใหญ่ที่สุด
- เครดิตไม่มีวันหมดอายุ
คำตอบสั้น
จะนำหน้าเว็บเข้า RAG pipeline ได้อย่างไร?
อ่านแต่ละหน้าเป็น Markdown ของเนื้อหาหลัก แยกตามหัวข้อ แนบ source URL และชื่อเรื่องให้ทุก chunk แล้ว embed และจัดเก็บ WebReaderAPI จัดการการอ่านให้: หนึ่งคำขอต่อหน้า หรือ crawl job หนึ่งครั้งสำหรับทั้งเว็บไซต์สูงสุด 10,000 หน้า ในราคาหนึ่งเครดิตต่อหน้า เริ่มที่ US$0.07/1K หน้า ณ เดือนตุลาคม 2026 เคารพ robots.txt ไม่ต้อง KYC จ่ายด้วยคริปโต
การนำเข้าข้อมูลสำหรับ RAG ด้วย WebReaderAPI
| ทั้งเว็บไซต์ | POST https://webreaderapi.com/api/v1/crawl: crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
|---|---|
| รายการ URL | POST https://webreaderapi.com/api/v1/batch: สูงสุด 100 URL ต่อ batch job |
| ต่อหน้า | Markdown ของเนื้อหาหลัก ชื่อเรื่อง ผู้เขียน วันที่ ภาษา จำนวนคำ |
| ไฟล์ PDF ขนาดไม่เกิน 20 MB และไม่เกิน 100 หน้า จะถูกแปลงเป็น Markdown ในอัตรา 1 เครดิตต่อทุก 10 หน้าที่เริ่มต้น | |
| การเรียกเก็บเงิน | 1 เครดิต = อ่าน 1 หน้าโดยไม่ใช้เบราว์เซอร์; 2 เครดิตเมื่อหน้านั้นต้องใช้เบราว์เซอร์เพื่อเรนเดอร์ JavaScript คำขอที่ล้มเหลว หรือที่ robots.txt ของเว็บไซต์ปฏิเสธ จะไม่ถูกคิดเครดิต |
| ราคา | US$14.25 สำหรับ 50,000 หน้า เครดิตไม่มีวันหมดอายุ |
ทำไม Markdown ที่สะอาดจึงให้ผล retrieval ที่ดีกว่า?
Chunk ที่ทำจาก boilerplate ให้ผล retrieval ที่แย่ เมื่อแยกหน้าโดยที่ยังมีเมนู ข้อความคุกกี้ และ footer อยู่ข้างใน หลาย chunk มีคำนำทางเหมือนกัน และ vector search ก็คืนมันมาสำหรับคำถามที่ไม่เกี่ยวข้อง การดึงเนื้อหาหลักลบสัญญาณรบกวนนั้นก่อนที่คุณจะ embed
หัวข้อสำคัญพอ ๆ กัน chunk ที่เริ่มด้วย ## Refund policy พาหัวข้อของมันไปด้วย ทั้ง embedding และโมเดลที่อ่านทีหลังจึงรู้ว่ามันเกี่ยวกับอะไร ข้อความล้วนสูญเสียสัญญาณนั้น HTML ดิบซ่อนมันไว้ใต้ markup
pipeline การนำเข้าข้อมูลหน้าตาเป็นอย่างไร?
ห้าขั้นตอน ไม่ว่าคุณจะใช้ vector store แบบไหน:
- รวบรวม URL crawl ไซต์ หรือส่งรายการที่มีอยู่แล้วเป็น batch
- อ่านเป็น Markdown เก็บ
main_content=trueไว้สำหรับบทความและ docs; ใช้falseสำหรับหน้า listing - แบ่งตาม heading แยกที่
#,##และ###จากนั้นตัดส่วนที่ยาวเกินขีดจำกัดของคุณโดยให้ overlap เล็กน้อย - แนบ metadata เก็บ
url,title,published_atและ heading path ไว้กับแต่ละ chunk เพื่อให้คำตอบอ้างอิงแหล่งที่มาได้ - รีเฟรช อ่านหน้าใหม่ที่ sitemap
lastmodเปลี่ยน และลบ chunk ของหน้าที่ตอนนี้คืนค่า error
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
"https://docs.example.com/getting-started",
"https://docs.example.com/billing",
]
def chunks_for(url, max_len=2000):
page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
if "markdown" not in page:
return []
out = []
for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
section = section.strip()
heading = section.splitlines()[0] if section else ""
for start in range(0, len(section), max_len):
out.append({
"text": section[start:start + max_len],
"url": page.get("final_url", url),
"title": page.get("title"),
"heading": heading,
})
return out
all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")
การสร้างและรีเฟรช index ราคาเท่าไร?
การสร้างใช้หนึ่งเครดิตต่อหน้า สองเครดิตสำหรับหน้าที่ต้องใช้เบราว์เซอร์ การรีเฟรชคิดเฉพาะหน้าที่คุณอ่านใหม่ สามตัวอย่าง ที่ราคาเดือนตุลาคม 2026:
- ศูนย์ช่วยเหลือของผลิตภัณฑ์ 800 หน้า รีเฟรชทุกเดือนเฉพาะหน้าที่เปลี่ยน (ประมาณ 10%): 800 เครดิตครั้งเดียว จากนั้นประมาณ 80 ต่อเดือน 10,000 หน้า (US$3.75) ใช้ได้หลายปี
- สิบไซต์เอกสาร ไซต์ละ 2,000 หน้า รีเฟรชทุกสัปดาห์ที่ 5%: 20,000 เครดิต จากนั้นประมาณ 4,000 ต่อเดือน 50,000 หน้า (US$14.25) ครอบคลุมการสร้างและการรีเฟรชเจ็ดเดือน
- คลังข่าว 300,000 บทความที่ไม่เคยเปลี่ยน: 300,000 เครดิตครั้งเดียว ซึ่งพอดีใน 500,000 หน้า (US$50)
Embedding และ storage คิดค่าบริการโดยผู้ให้บริการของคุณเองและไม่รวมอยู่ด้วย
ฉัน index ไซต์ที่ไม่ต้องการให้ index ได้ไหม?
ไม่ได้ผ่าน WebReaderAPI หน้าที่ robots.txt ห้ามไว้สำหรับ crawler ของเรา หรือห้ามสำหรับ robot ทั้งหมด จะถูกข้ามและไม่คิดเครดิต ไซต์ที่ประกาศ Content-Signal: ai-input=no จะไม่ถูกอ่านให้คุณ สำหรับไซต์ของคุณเองหรือไซต์พาร์ตเนอร์ที่บล็อก robot ให้ขอเจ้าของอนุญาต WebReaderAPI ใน robots.txt; หน้าค Crawler ของเรา แสดงบรรทัดที่ต้องเพิ่ม
เรื่องนี้สำคัญต่อผู้ใช้ของคุณเช่นกัน ผู้ช่วย RAG ที่อ้างอิงแหล่งที่มาจะมีประโยชน์กว่าเมื่อแหล่งเหล่านั้นยินยอมให้อ่าน
แพ็กไหนเหมาะกับโปรเจกต์ RAG?
นับจำนวนหน้าสำหรับสร้าง index บวกการรีเฟรชรายเดือน แล้วเลือกแพ็กที่ครอบคลุมหลายเดือน เครดิตไม่มีวันหมดอายุ
Starter
50,000 หน้า
US$14.25
US$0.28/1K หน้า
- AI agent หรือ RAG prototype
- Crawl ไซต์เอกสาร
- เครดิตไม่มีวันหมดอายุ
Build
100,000 หน้า
US$21.75
US$0.22/1K หน้า
- Production agent และ RAG pipeline
- งาน Batch และ crawl
- เครดิตไม่มีวันหมดอายุ
Scale
500,000 หน้า
US$50
US$0.10/1K หน้า
- ฐานความรู้ขนาดใหญ่
- Concurrency สูงขึ้นเมื่อร้องขอ
- เครดิตไม่มีวันหมดอายุ
ในทุกแพ็กเกจ: การดึงเนื้อหาหลัก · แสดงผล JavaScript เมื่อจำเป็น · หน้าที่ล้มเหลวหรือถูกปฏิเสธไม่คิดเครดิต · เครดิตไม่มีวันหมดอายุ
RAG ingestion: คำถามที่พบบ่อย
ฉันควรใช้ chunk size เท่าไร?
แยกที่ heading ก่อน จากนั้นตัดส่วนที่ยาวเกินประมาณ 500 ถึง 1,000 token โดยให้ overlap เล็กน้อย chunk ตาม heading เก็บหนึ่งหัวข้อต่อ chunk ซึ่งโดยปกติ retrieve ได้ดีกว่า window ขนาดคงที่ที่ครอบทั้งหน้า
WebReaderAPI สร้าง embedding หรือเก็บ vector หรือไม่?
ไม่ WebReaderAPI อ่านหน้าและคืน Markdown พร้อม metadata คุณ embed ด้วยโมเดลที่คุณเลือกและเก็บใน vector database ของคุณเอง หน้า LangChain และ LlamaIndex แสดงทั้งสองแบบ
ฉันจะทำให้ index อัปเดตอยู่เสมอได้อย่างไร?
อ่านใหม่เฉพาะหน้าที่เปลี่ยน sitemap ส่วนใหญ่มีวันที่ lastmod ต่อ URL เปรียบเทียบกับครั้งที่อ่านล่าสุดแล้วส่ง URL ที่เปลี่ยนเป็น batch หน้าที่ตอนนี้ล้มเหลวควรลบออกจาก index
ฉันรวม PDF จากไซต์เดียวกันได้ไหม?
ได้ การ crawl อ่านลิงก์ PDF ในโดเมนเดียวกันด้วยการตรวจสอบ robots.txt แบบเดียวกัน ไฟล์ PDF ขนาดไม่เกิน 20 MB และไม่เกิน 100 หน้า จะถูกแปลงเป็น Markdown ในอัตรา 1 เครดิตต่อทุก 10 หน้าที่เริ่มต้น