# Crawl API: แปลงทั้งเว็บไซต์เป็นไฟล์ Markdown

> Crawl API ที่แปลงทั้งเว็บไซต์เป็น Markdown สำหรับ RAG: สูงสุด 10,000 หน้าต่อ job ทำตาม sitemap และ robots.txt เริ่มต้นที่ US$0.07/1K หน้า จ่ายด้วยคริปโต

- URL: https://webreaderapi.com/th/crawl-api/
- อัปเดตล่าสุด: 2026-10-22
- ผู้เผยแพร่: WebReaderAPI (https://webreaderapi.com)

ระบุ start URL และจำนวนหน้าสูงสุด crawler จะทำตาม sitemap และลิงก์ภายในโดเมนเดียวกันของเว็บไซต์ อ่านแต่ละหน้าเป็น Markdown แล้วส่งผลลัพธ์ให้คุณทีละหน้า หนึ่งเครดิตต่อหน้า

**คำตอบสั้น — ฉันจะ crawl ทั้งเว็บไซต์และรับทุกหน้าเป็น Markdown ได้อย่างไร?**

ใช้ crawl API: คุณส่ง start URL และจำนวนหน้าสูงสุด แล้วมันจะคืนแต่ละหน้าของเว็บไซต์เป็น Markdown **WebReaderAPI** crawl ได้สูงสุด 10,000 หน้าต่อ job ภายในโดเมนเดียว ทำตาม sitemap, robots.txt และ Crawl-delay และคิดหนึ่งเครดิตต่อหน้าที่อ่าน เริ่มต้นที่ US$0.07/1K หน้า ณ เดือนตุลาคม 2026 หน้าที่ถูกปฏิเสธโดย robots.txt ไม่มีค่าใช้จ่าย ไม่ต้อง KYC; จ่ายด้วยคริปโต

## Crawl API โดยสรุป

| คุณสมบัติ | ค่า |
| --- | --- |
| เริ่ม crawl | `POST https://webreaderapi.com/api/v1/crawl` ด้วย `url`, `limit`, `max_depth`, `include_paths`, `exclude_paths` |
| รับผลลัพธ์ | `GET https://webreaderapi.com/api/v1/jobs/{job_id}` แบ่งหน้าด้วย cursor |
| ขอบเขต | crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
| หลาย URL แยกกัน | `POST https://webreaderapi.com/api/v1/batch`: สูงสุด 100 URL ต่อ batch job |
| การเรียกเก็บเงิน | 1 เครดิต = อ่าน 1 หน้าโดยไม่ใช้เบราว์เซอร์; 2 เครดิตเมื่อหน้านั้นต้องใช้เบราว์เซอร์เพื่อเรนเดอร์ JavaScript คำขอที่ล้มเหลว หรือที่ robots.txt ของเว็บไซต์ปฏิเสธ จะไม่ถูกคิดเครดิต |
| เจ้าของเว็บไซต์ | เราเคารพ robots.txt: crawler ของเราระบุตัวเองว่า WebReaderAPI ทำตามกฎที่เขียนไว้สำหรับมันหรือสำหรับ robot ทั้งหมด และจะไม่อ่านหน้าที่เว็บไซต์ไม่อนุญาต หน้าที่ถูกปฏิเสธจะไม่ถูกคิดเครดิต |
| ราคา | US$14.25 สำหรับ 50,000 หน้า, US$50 สำหรับ 500,000 หน้า |

## งาน crawl ทำงานอย่างไร?

การ crawl เป็นงานเบื้องหลัง เพราะการอ่านหลายร้อยหน้าหน่วยใช้เวลานานกว่าที่ HTTP request ครั้งเดียวควรใช้

1. **เริ่ม:** `POST https://webreaderapi.com/api/v1/crawl` พร้อม URL เริ่มต้นและขีดจำกัดของคุณ คุณจะได้ `job_id` ทันที
2. **ค้นหา:** crawler จะอ่าน robots.txt และ sitemap ของเว็บไซต์ จากนั้นตามลิงก์ภายในโดเมนเดียวกัน แบบ breadth first ไม่เกิน `max_depth`
3. **อ่าน:** แต่ละหน้าที่อนุญาตจะถูกอ่านด้วยตัวเลือกเดียวกับ `/read`: Markdown, ดึงเนื้อหาหลัก, render เมื่อจำเป็น
4. **เก็บรวบรวม:** poll `GET https://webreaderapi.com/api/v1/jobs/{job_id}` และไล่ดูผลลัพธ์ทีละหน้าด้วย cursor ระหว่างที่งานยังทำงาน หรือเมื่ออยู่ในสถานะ `done` แล้ว

งานจะหยุดที่ `limit` ของคุณ คุณจึงไม่ต้องจ่ายสำหรับหน้าที่มากกว่าที่คุณขอ

*Python: crawl เว็บไซต์เอกสารเป็นไฟล์ Markdown*

```python
import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

```

## crawler เยี่ยมชมหน้าใดบ้าง และข้ามหน้าใดบ้าง?

มันอยู่ภายในโดเมนของ URL เริ่มต้นและข้ามทุกสิ่งที่เว็บไซต์ขอให้ robots หลีกเลี่ยง รายละเอียด:

- **เฉพาะโดเมนเดียวกัน** ลิงก์ไปยังโดเมนอื่นจะแสดงในผลลัพธ์แต่ไม่ถูกอ่าน
- **robots.txt ก่อน** หน้าที่ไม่อนุญาตสำหรับ `WebReaderAPI` หรือสำหรับ robots ทั้งหมดจะถูกข้ามและไม่คิดเครดิต
- **เคารพ crawl-delay** หากเว็บไซต์กำหนดไว้ crawler จะรอตามระยะนั้นระหว่างสองหน้า เว็บไซต์ขนาดใหญ่อาจใช้เวลานานขึ้น
- **ฟิลเตอร์ของคุณ** `include_paths` และ `exclude_paths` รับรูปแบบง่าย ๆ เช่น `/blog/*` ใช้เพื่อหลีกเลี่ยงหน้าแท็ก หน้าค้นหา และหน้า archive
- **ลบรายการซ้ำ** หน้าเดียวกันที่เข้าถึงได้จากสอง URL เช่น มีพารามิเตอร์ติดตาม จะถูกอ่านครั้งเดียวเมื่อเว็บไซต์ประกาศ canonical URL

## ควรใช้ crawl หรือ batch?

ใช้ crawl เมื่อคุณรู้จักเว็บไซต์แต่ไม่รู้หน้า; ใช้ batch เมื่อคุณมีรายการ URL อยู่แล้ว crawl จะค้นหาหน้าจาก sitemap และลิงก์ batch จะอ่าน URL ที่คุณส่งมาอย่างแม่นยำ สูงสุด 100 ต่องาน ข้ามเว็บไซต์ได้ไม่จำกัดจำนวน

สำหรับการรีเฟรชฐานความรู้รายสัปดาห์ รูปแบบที่พบบ่อยคือ crawl หนึ่งครั้งเพื่อสร้างดัชนี จากนั้นใช้ batch ของหน้าที่ `lastmod` เปลี่ยนใน sitemap วิธีนี้ทำให้ต้นทุนรายสัปดาห์จำกัดอยู่ที่หน้าที่เปลี่ยนแปลงจริง

## การ crawl เว็บไซต์มีค่าใช้จ่ายเท่าไร?

หนึ่งเครดิตต่อหน้าที่อ่าน สองเครดิตสำหรับหน้าที่ต้องใช้เบราว์เซอร์ เว็บไซต์เอกสาร 1,500 หน้าที่ render บนเซิร์ฟเวอร์มีค่า 1,500 เครดิต; เว็บไซต์เดียวกันที่สร้างเป็น single-page app อาจมีค่าใช้จ่ายถึง 3,000

งานทั่วไปสามแบบ ณ เดือนตุลาคม 2026: คู่มือผลิตภัณฑ์ 300 หน้าพอดีกับแพ็ก 10,000 หน้า (US$3.75); เว็บไซต์เอกสารสิบแห่ง แห่งละ 2,000 หน้า พอดีกับ 50,000 หน้า (US$14.25); archive 400,000 หน้าพอดีกับ 500,000 หน้า (US$50) หน้าที่ถูกข้ามและล้มเหลวไม่มีค่าใช้จ่าย

## แพ็กไหนเหมาะกับการ crawl?

กำหนดขนาดแพ็กตามจำนวนหน้า แล้วเผื่อ Margin สำหรับหน้าที่ต้องใช้เบราว์เซอร์ เครดิตไม่มีวันหมดอายุ ส่วนที่เหลือจึงใช้กับ crawl ครั้งถัดไปได้

| แพ็กเกจ | จำนวน | ราคา | ราคาต่อหน่วย |
| --- | --- | --- | --- |
| ทดสอบ | 10,000 หน้า | US$3.75 | US$0.38/1K หน้า |
| Starter | 50,000 หน้า | US$14.25 | US$0.28/1K หน้า |
| Build | 100,000 หน้า | US$21.75 | US$0.22/1K หน้า |
| Scale | 500,000 หน้า | US$50 | US$0.10/1K หน้า |

ในทุกแพ็กเกจ: การดึงเนื้อหาหลัก · แสดงผล JavaScript เมื่อจำเป็น · หน้าที่ล้มเหลวหรือถูกปฏิเสธไม่คิดเครดิต · เครดิตไม่มีวันหมดอายุ

**ก่อนที่คุณจะจ่าย**

- เติมขั้นต่ำ US$25 เติมครั้งเดียวด้วยคริปโต แล้วซื้อแพ็กเกจใดก็ได้จากยอดคงเหลือของคุณ
- ยอดคงเหลือของคุณไม่มีวันหมดอายุ และใช้ซื้อเครดิตสำหรับแปลงหน้าเว็บได้ทุกเมื่อ หากแพ็กมีราคาต่ำกว่ายอดเติมขั้นต่ำ เงินส่วนที่คุณเติมเพิ่มเพียงเพื่อให้ถึงขั้นต่ำนั้นสามารถขอคืนได้ภายใน 30 วันนับจากวันที่ชำระเงิน เป็น USDT หรือ USDC ตราบใดที่คุณยังไม่ได้ใช้จ่ายไป ยอดคงเหลืออื่นๆ จะไม่มีการคืนเงิน เว้นแต่กฎหมายกำหนดไว้เป็นอย่างอื่น.
- เครดิตเข้ายอดคงเหลือเมื่อการชำระเงินของคุณได้รับการตรวจสอบบนบล็อกเชนแล้ว เวลายืนยันบนเครือข่ายโดยทั่วไป: BTC ≈ 20 นาที · USDT TRC-20 ≈ 1 นาที · USDT ERC-20 ≈ 5 นาที · USDC ERC-20 ≈ 5 นาที · ETH ≈ 5 นาที · SOL ≈ 1 นาที · LTC ≈ 15 นาที

## Crawl API: คำถามที่พบบ่อย

### การ crawl หนึ่งครั้งอ่านได้กี่หน้า?

สูงสุด 10,000 หน้าต่องาน ภายในโดเมนของ URL เริ่มต้น สำหรับเว็บไซต์ที่ใหญ่กว่า ให้แบ่งเป็นหลายงานด้วย `include_paths` เช่น หนึ่งงานต่อหนึ่งส่วน

### crawler ใช้ sitemap หรือไม่?

ใช่ มันอ่าน sitemap ที่ระบุใน robots.txt หรือที่ตำแหน่งปกติ จากนั้นตามลิงก์บนหน้าที่อ่าน หน้าที่ถูกระบุเฉพาะใน sitemap ก็ยังถูกอ่านหาก robots.txt อนุญาต

### ฉันสามารถ crawl เว็บไซต์ที่บล็อก AI crawler ได้หรือไม่?

ไม่ได้ด้วย WebReaderAPI หาก robots.txt ไม่อนุญาต crawler ของเราหรือ robots ทั้งหมด หน้าเหล่านั้นจะถูกข้ามและไม่คิดเครดิต หากเว็บไซต์ประกาศ `Content-Signal: ai-input=no` เราไม่อ่านให้คุณ เราไม่พยายามหลีกเลี่ยงการเลือกเช่นนั้น

### ฉันจะได้รับผลลัพธ์ระหว่างที่ crawl ยังทำงานอยู่ได้หรือไม่?

ได้ `GET https://webreaderapi.com/api/v1/jobs/{job_id}` คืนหน้าที่อ่านไปแล้วพร้อม cursor ให้ไล่ดูต่อจนงานอยู่ในสถานะ `done` และไม่มี cursor เหลือ

### crawl อ่านหน้าเกินขีดจำกัดของฉันได้หรือไม่?

ไม่ได้ เครดิตถูกนับทีละหน้า และงานจะหยุดเมื่อถึง `limit` ที่คุณตั้งไว้ หน้าที่ถูกข้ามเพราะ robots.txt และหน้าที่ล้มเหลวไม่ใช้เครดิต

---

WebReaderAPI: WebReaderAPI คือ API อ่านหน้าเว็บสำหรับ AI agent ที่แปลงหน้าเว็บสาธารณะใด ๆ เป็น Markdown สะอาด จ่ายด้วยคริปโตโดยไม่ต้องอัปโหลดบัตรประชาชน เครดิตแบบเติมเงินเริ่มต้นที่ US$0.07/1K หน้า ไม่มีวันหมดอายุ และเคารพ robots.txt ไม่ต้อง KYC — ไม่ต้องใช้บัตรประชาชน ไม่ต้องเซลฟี่ ไม่ต้องเอกสาร จ่ายด้วยคริปโต