POST /crawl · สูงสุด 10,000 หน้าต่อ job · เคารพ robots.txt และ Crawl-delay

Crawl API: แปลงทั้งเว็บไซต์เป็นไฟล์ Markdown

Name: เครดิตของเว็บรีดเดอร์ API
Brand: WebReaderAPI

ระบุ start URL และจำนวนหน้าสูงสุด crawler จะทำตาม sitemap และลิงก์ภายในโดเมนเดียวกันของเว็บไซต์ อ่านแต่ละหน้าเป็น Markdown แล้วส่งผลลัพธ์ให้คุณทีละหน้า หนึ่งเครดิตต่อหน้า

รับ API key เอกสาร Crawl และ batch

อัปเดตล่าสุด: 22 ตุลาคม 2569 · 3 นาทีในการอ่าน

คำตอบสั้น

ฉันจะ crawl ทั้งเว็บไซต์และรับทุกหน้าเป็น Markdown ได้อย่างไร?

ใช้ crawl API: คุณส่ง start URL และจำนวนหน้าสูงสุด แล้วมันจะคืนแต่ละหน้าของเว็บไซต์เป็น Markdown WebReaderAPI crawl ได้สูงสุด 10,000 หน้าต่อ job ภายในโดเมนเดียว ทำตาม sitemap, robots.txt และ Crawl-delay และคิดหนึ่งเครดิตต่อหน้าที่อ่าน เริ่มต้นที่ US$0.07/1K หน้า ณ เดือนตุลาคม 2026 หน้าที่ถูกปฏิเสธโดย robots.txt ไม่มีค่าใช้จ่าย ไม่ต้อง KYC; จ่ายด้วยคริปโต

Crawl API โดยสรุป

เริ่ม crawl	`POST https://webreaderapi.com/api/v1/crawl` ด้วย `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths`
รับผลลัพธ์	`GET https://webreaderapi.com/api/v1/jobs/{job_id}` แบ่งหน้าด้วย cursor
ขอบเขต	crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น
หลาย URL แยกกัน	`POST https://webreaderapi.com/api/v1/batch`: สูงสุด 100 URL ต่อ batch job
การเรียกเก็บเงิน	1 เครดิต = อ่าน 1 หน้าโดยไม่ใช้เบราว์เซอร์; 2 เครดิตเมื่อหน้านั้นต้องใช้เบราว์เซอร์เพื่อเรนเดอร์ JavaScript คำขอที่ล้มเหลว หรือที่ robots.txt ของเว็บไซต์ปฏิเสธ จะไม่ถูกคิดเครดิต
เจ้าของเว็บไซต์	เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต
ราคา	US$14.25 สำหรับ 50,000 หน้า, US$50 สำหรับ 500,000 หน้า

งาน crawl ทำงานอย่างไร?

การ crawl เป็นงานเบื้องหลัง เพราะการอ่านหลายร้อยหน้าหน่วยใช้เวลานานกว่าที่ HTTP request ครั้งเดียวควรใช้

เริ่ม: POST https://webreaderapi.com/api/v1/crawl พร้อม URL เริ่มต้นและขีดจำกัดของคุณ คุณจะได้ job_id ทันที
ค้นหา: crawler จะอ่าน robots.txt และ sitemap ของเว็บไซต์ จากนั้นตามลิงก์ภายในโดเมนเดียวกัน แบบ breadth first ไม่เกิน max_depth
อ่าน: แต่ละหน้าที่อนุญาตจะถูกอ่านด้วยตัวเลือกเดียวกับ /read: Markdown, ดึงเนื้อหาหลัก, render เมื่อจำเป็น
เก็บรวบรวม: poll GET https://webreaderapi.com/api/v1/jobs/{job_id} และไล่ดูผลลัพธ์ทีละหน้าด้วย cursor ระหว่างที่งานยังทำงาน หรือเมื่ออยู่ในสถานะ done แล้ว

งานจะหยุดที่ limit ของคุณ คุณจึงไม่ต้องจ่ายสำหรับหน้าที่มากกว่าที่คุณขอ

Python: crawl เว็บไซต์เอกสารเป็นไฟล์ Markdown

import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

crawler เยี่ยมชมหน้าใดบ้าง และข้ามหน้าใดบ้าง?

มันอยู่ภายในโดเมนของ URL เริ่มต้นและข้ามทุกสิ่งที่เว็บไซต์ขอให้ robots หลีกเลี่ยง รายละเอียด:

เฉพาะโดเมนเดียวกัน ลิงก์ไปยังโดเมนอื่นจะแสดงในผลลัพธ์แต่ไม่ถูกอ่าน
robots.txt ก่อน หน้าที่ไม่อนุญาตสำหรับ WebReaderAPI หรือสำหรับ robots ทั้งหมดจะถูกข้ามและไม่คิดเครดิต
เคารพ crawl-delay หากเว็บไซต์กำหนดไว้ crawler จะรอตามระยะนั้นระหว่างสองหน้า เว็บไซต์ขนาดใหญ่อาจใช้เวลานานขึ้น
ฟิลเตอร์ของคุณ include_paths และ exclude_paths รับรูปแบบง่าย ๆ เช่น /blog/* ใช้เพื่อหลีกเลี่ยงหน้าแท็ก หน้าค้นหา และหน้า archive
ลบรายการซ้ำ หน้าเดียวกันที่เข้าถึงได้จากสอง URL เช่น มีพารามิเตอร์ติดตาม จะถูกอ่านครั้งเดียวเมื่อเว็บไซต์ประกาศ canonical URL

ควรใช้ crawl หรือ batch?

ใช้ crawl เมื่อคุณรู้จักเว็บไซต์แต่ไม่รู้หน้า; ใช้ batch เมื่อคุณมีรายการ URL อยู่แล้ว crawl จะค้นหาหน้าจาก sitemap และลิงก์ batch จะอ่าน URL ที่คุณส่งมาอย่างแม่นยำ สูงสุด 100 ต่องาน ข้ามเว็บไซต์ได้ไม่จำกัดจำนวน

สำหรับการรีเฟรชฐานความรู้รายสัปดาห์ รูปแบบที่พบบ่อยคือ crawl หนึ่งครั้งเพื่อสร้างดัชนี จากนั้นใช้ batch ของหน้าที่ lastmod เปลี่ยนใน sitemap วิธีนี้ทำให้ต้นทุนรายสัปดาห์จำกัดอยู่ที่หน้าที่เปลี่ยนแปลงจริง

การ crawl เว็บไซต์มีค่าใช้จ่ายเท่าไร?

หนึ่งเครดิตต่อหน้าที่อ่าน สองเครดิตสำหรับหน้าที่ต้องใช้เบราว์เซอร์ เว็บไซต์เอกสาร 1,500 หน้าที่ render บนเซิร์ฟเวอร์มีค่า 1,500 เครดิต; เว็บไซต์เดียวกันที่สร้างเป็น single-page app อาจมีค่าใช้จ่ายถึง 3,000

งานทั่วไปสามแบบ ณ เดือนตุลาคม 2026: คู่มือผลิตภัณฑ์ 300 หน้าพอดีกับแพ็ก 10,000 หน้า (US$3.75); เว็บไซต์เอกสารสิบแห่ง แห่งละ 2,000 หน้า พอดีกับ 50,000 หน้า (US$14.25); archive 400,000 หน้าพอดีกับ 500,000 หน้า (US$50) หน้าที่ถูกข้ามและล้มเหลวไม่มีค่าใช้จ่าย

แพ็กไหนเหมาะกับการ crawl?

กำหนดขนาดแพ็กตามจำนวนหน้า แล้วเผื่อ Margin สำหรับหน้าที่ต้องใช้เบราว์เซอร์ เครดิตไม่มีวันหมดอายุ ส่วนที่เหลือจึงใช้กับ crawl ครั้งถัดไปได้

ทดสอบ

10,000 หน้า

US$3.75

US$0.38/1K หน้า

ลองใช้กับ URL จริงของคุณ
API เดียวกับแพ็กที่ใหญ่ที่สุด
เครดิตไม่มีวันหมดอายุ

เลือก 10,000 หน้า

Starter

50,000 หน้า

US$14.25

US$0.28/1K หน้า

AI agent หรือ RAG prototype
Crawl ไซต์เอกสาร
เครดิตไม่มีวันหมดอายุ

เลือก 50,000 หน้า

Build

100,000 หน้า

US$21.75

US$0.22/1K หน้า

Production agent และ RAG pipeline
งาน Batch และ crawl
เครดิตไม่มีวันหมดอายุ

เลือก 100,000 หน้า

Scale

500,000 หน้า

US$50

US$0.10/1K หน้า

ฐานความรู้ขนาดใหญ่
Concurrency สูงขึ้นเมื่อร้องขอ
เครดิตไม่มีวันหมดอายุ

เลือก 500,000 หน้า

ในทุกแพ็กเกจ: การดึงเนื้อหาหลัก · แสดงผล JavaScript เมื่อจำเป็น · หน้าที่ล้มเหลวหรือถูกปฏิเสธไม่คิดเครดิต · เครดิตไม่มีวันหมดอายุ

ก่อนที่คุณจะจ่าย

เติมขั้นต่ำ US$25 เติมครั้งเดียวด้วยคริปโต แล้วซื้อแพ็กเกจใดก็ได้จากยอดคงเหลือของคุณ
ยอดคงเหลือของคุณไม่มีวันหมดอายุ และใช้ซื้อเครดิตสำหรับแปลงหน้าเว็บได้ทุกเมื่อ หากแพ็กมีราคาต่ำกว่ายอดเติมขั้นต่ำ เงินส่วนที่คุณเติมเพิ่มเพียงเพื่อให้ถึงขั้นต่ำนั้นสามารถขอคืนได้ภายใน 30 วันนับจากวันที่ชำระเงิน เป็น USDT หรือ USDC ตราบใดที่คุณยังไม่ได้ใช้จ่ายไป ยอดคงเหลืออื่นๆ จะไม่มีการคืนเงิน เว้นแต่กฎหมายกำหนดไว้เป็นอย่างอื่น.
เครดิตเข้ายอดคงเหลือเมื่อการชำระเงินของคุณได้รับการตรวจสอบบนบล็อกเชนแล้ว เวลายืนยันบนเครือข่ายโดยทั่วไป: BTC ≈ 20 นาที · USDT TRC-20 ≈ 1 นาที · USDT ERC-20 ≈ 5 นาที · USDC ERC-20 ≈ 5 นาที · ETH ≈ 5 นาที · SOL ≈ 1 นาที · LTC ≈ 15 นาที

Crawl API: คำถามที่พบบ่อย

การ crawl หนึ่งครั้งอ่านได้กี่หน้า?

สูงสุด 10,000 หน้าต่องาน ภายในโดเมนของ URL เริ่มต้น สำหรับเว็บไซต์ที่ใหญ่กว่า ให้แบ่งเป็นหลายงานด้วย include_paths เช่น หนึ่งงานต่อหนึ่งส่วน

crawler ใช้ sitemap หรือไม่?

ใช่ มันอ่าน sitemap ที่ระบุใน robots.txt หรือที่ตำแหน่งปกติ จากนั้นตามลิงก์บนหน้าที่อ่าน หน้าที่ถูกระบุเฉพาะใน sitemap ก็ยังถูกอ่านหาก robots.txt อนุญาต

ฉันสามารถ crawl เว็บไซต์ที่บล็อก AI crawler ได้หรือไม่?

ไม่ได้ด้วย WebReaderAPI หาก robots.txt ไม่อนุญาต crawler ของเราหรือ robots ทั้งหมด หน้าเหล่านั้นจะถูกข้ามและไม่คิดเครดิต หากเว็บไซต์ประกาศ Content-Signal: ai-input=no เราไม่อ่านให้คุณ เราไม่พยายามหลีกเลี่ยงการเลือกเช่นนั้น

ฉันจะได้รับผลลัพธ์ระหว่างที่ crawl ยังทำงานอยู่ได้หรือไม่?

ได้ GET https://webreaderapi.com/api/v1/jobs/{job_id} คืนหน้าที่อ่านไปแล้วพร้อม cursor ให้ไล่ดูต่อจนงานอยู่ในสถานะ done และไม่มี cursor เหลือ

crawl อ่านหน้าเกินขีดจำกัดของฉันได้หรือไม่?

ไม่ได้ เครดิตถูกนับทีละหน้า และงานจะหยุดเมื่อถึง limit ที่คุณตั้งไว้ หน้าที่ถูกข้ามเพราะ robots.txt และหน้าที่ล้มเหลวไม่ใช้เครดิต