# หน้าเว็บสำหรับ RAG: เปลี่ยนเว็บไซต์เป็น Markdown ที่สะอาดและแบ่ง chunk ได้

> ป้อนข้อมูลให้ RAG ด้วยหน้าเว็บ: crawl เอกสารและบล็อกเป็น Markdown แบ่ง chunk ตามหัวข้อ เก็บ source URL เริ่มที่ US$0.07/1K หน้า จ่ายด้วยคริปโต

- URL: https://webreaderapi.com/th/use-cases/rag/
- อัปเดตล่าสุด: 2026-10-22
- ผู้เผยแพร่: WebReaderAPI (https://webreaderapi.com)

Retrieval ทำงานบนสิ่งที่คุณใส่ลงใน index Markdown ที่สะอาดพร้อมหัวข้อ metadata และ source URL ให้ chunk ที่ดีกว่า ใช้ token น้อยลง และคำตอบที่อ้างอิงหน้าได้

**คำตอบสั้น — จะนำหน้าเว็บเข้า RAG pipeline ได้อย่างไร?**

อ่านแต่ละหน้าเป็น Markdown ของเนื้อหาหลัก แยกตามหัวข้อ แนบ source URL และชื่อเรื่องให้ทุก chunk แล้ว embed และจัดเก็บ **WebReaderAPI** จัดการการอ่านให้: หนึ่งคำขอต่อหน้า หรือ crawl job หนึ่งครั้งสำหรับทั้งเว็บไซต์สูงสุด 10,000 หน้า ในราคาหนึ่งเครดิตต่อหน้า เริ่มที่ US$0.07/1K หน้า ณ เดือนตุลาคม 2026 เคารพ robots.txt ไม่ต้อง KYC จ่ายด้วยคริปโต

## การนำเข้าข้อมูลสำหรับ RAG ด้วย WebReaderAPI

| คุณสมบัติ | ค่า |
| --- | --- |
| ทั้งเว็บไซต์ | `POST https://webreaderapi.com/api/v1/crawl`: crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
| รายการ URL | `POST https://webreaderapi.com/api/v1/batch`: สูงสุด 100 URL ต่อ batch job |
| ต่อหน้า | Markdown ของเนื้อหาหลัก ชื่อเรื่อง ผู้เขียน วันที่ ภาษา จำนวนคำ |
| PDF | ไฟล์ PDF ขนาดไม่เกิน 20 MB และไม่เกิน 100 หน้า จะถูกแปลงเป็น Markdown ในอัตรา 1 เครดิตต่อทุก 10 หน้าที่เริ่มต้น |
| การเรียกเก็บเงิน | 1 เครดิต = อ่าน 1 หน้าโดยไม่ใช้เบราว์เซอร์; 2 เครดิตเมื่อหน้านั้นต้องใช้เบราว์เซอร์เพื่อเรนเดอร์ JavaScript คำขอที่ล้มเหลว หรือที่ robots.txt ของเว็บไซต์ปฏิเสธ จะไม่ถูกคิดเครดิต |
| ราคา | US$14.25 สำหรับ 50,000 หน้า เครดิตไม่มีวันหมดอายุ |

## ทำไม Markdown ที่สะอาดจึงให้ผล retrieval ที่ดีกว่า?

Chunk ที่ทำจาก boilerplate ให้ผล retrieval ที่แย่ เมื่อแยกหน้าโดยที่ยังมีเมนู ข้อความคุกกี้ และ footer อยู่ข้างใน หลาย chunk มีคำนำทางเหมือนกัน และ vector search ก็คืนมันมาสำหรับคำถามที่ไม่เกี่ยวข้อง การดึงเนื้อหาหลักลบสัญญาณรบกวนนั้นก่อนที่คุณจะ embed

หัวข้อสำคัญพอ ๆ กัน chunk ที่เริ่มด้วย `## Refund policy` พาหัวข้อของมันไปด้วย ทั้ง embedding และโมเดลที่อ่านทีหลังจึงรู้ว่ามันเกี่ยวกับอะไร ข้อความล้วนสูญเสียสัญญาณนั้น HTML ดิบซ่อนมันไว้ใต้ markup

## pipeline การนำเข้าข้อมูลหน้าตาเป็นอย่างไร?

ห้าขั้นตอน ไม่ว่าคุณจะใช้ vector store แบบไหน:

1. **รวบรวม URL** crawl ไซต์ หรือส่งรายการที่มีอยู่แล้วเป็น batch
2. **อ่านเป็น Markdown** เก็บ `main_content=true` ไว้สำหรับบทความและ docs; ใช้ `false` สำหรับหน้า listing
3. **แบ่งตาม heading** แยกที่ `#`, `##` และ `###` จากนั้นตัดส่วนที่ยาวเกินขีดจำกัดของคุณโดยให้ overlap เล็กน้อย
4. **แนบ metadata** เก็บ `url`, `title`, `published_at` และ heading path ไว้กับแต่ละ chunk เพื่อให้คำตอบอ้างอิงแหล่งที่มาได้
5. **รีเฟรช** อ่านหน้าใหม่ที่ sitemap `lastmod` เปลี่ยน และลบ chunk ของหน้าที่ตอนนี้คืนค่า error

*Python: อ่านหน้าและแบ่งเป็น chunk พร้อมแหล่งที่มา*

```python
import os
import re

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
URLS = [
    "https://docs.example.com/getting-started",
    "https://docs.example.com/billing",
]


def chunks_for(url, max_len=2000):
    page = requests.get(API, headers=HEADERS, params={"url": url}, timeout=90).json()
    if "markdown" not in page:
        return []
    out = []
    for section in re.split(r"\n(?=#{1,3} )", page["markdown"]):
        section = section.strip()
        heading = section.splitlines()[0] if section else ""
        for start in range(0, len(section), max_len):
            out.append({
                "text": section[start:start + max_len],
                "url": page.get("final_url", url),
                "title": page.get("title"),
                "heading": heading,
            })
    return out


all_chunks = [c for u in URLS for c in chunks_for(u)]
print(len(all_chunks), "chunks ready to embed")

```

## การสร้างและรีเฟรช index ราคาเท่าไร?

การสร้างใช้หนึ่งเครดิตต่อหน้า สองเครดิตสำหรับหน้าที่ต้องใช้เบราว์เซอร์ การรีเฟรชคิดเฉพาะหน้าที่คุณอ่านใหม่ สามตัวอย่าง ที่ราคาเดือนตุลาคม 2026:

- **ศูนย์ช่วยเหลือของผลิตภัณฑ์** 800 หน้า รีเฟรชทุกเดือนเฉพาะหน้าที่เปลี่ยน (ประมาณ 10%): 800 เครดิตครั้งเดียว จากนั้นประมาณ 80 ต่อเดือน 10,000 หน้า (US$3.75) ใช้ได้หลายปี
- **สิบไซต์เอกสาร** ไซต์ละ 2,000 หน้า รีเฟรชทุกสัปดาห์ที่ 5%: 20,000 เครดิต จากนั้นประมาณ 4,000 ต่อเดือน 50,000 หน้า (US$14.25) ครอบคลุมการสร้างและการรีเฟรชเจ็ดเดือน
- **คลังข่าว** 300,000 บทความที่ไม่เคยเปลี่ยน: 300,000 เครดิตครั้งเดียว ซึ่งพอดีใน 500,000 หน้า (US$50)

Embedding และ storage คิดค่าบริการโดยผู้ให้บริการของคุณเองและไม่รวมอยู่ด้วย

## ฉัน index ไซต์ที่ไม่ต้องการให้ index ได้ไหม?

ไม่ได้ผ่าน WebReaderAPI หน้าที่ robots.txt ห้ามไว้สำหรับ crawler ของเรา หรือห้ามสำหรับ robot ทั้งหมด จะถูกข้ามและไม่คิดเครดิต ไซต์ที่ประกาศ `Content-Signal: ai-input=no` จะไม่ถูกอ่านให้คุณ สำหรับไซต์ของคุณเองหรือไซต์พาร์ตเนอร์ที่บล็อก robot ให้ขอเจ้าของอนุญาต `WebReaderAPI` ใน robots.txt; [หน้าค Crawler ของเรา](https://webreaderapi.com/th/bot/) แสดงบรรทัดที่ต้องเพิ่ม

เรื่องนี้สำคัญต่อผู้ใช้ของคุณเช่นกัน ผู้ช่วย RAG ที่อ้างอิงแหล่งที่มาจะมีประโยชน์กว่าเมื่อแหล่งเหล่านั้นยินยอมให้อ่าน

## แพ็กไหนเหมาะกับโปรเจกต์ RAG?

นับจำนวนหน้าสำหรับสร้าง index บวกการรีเฟรชรายเดือน แล้วเลือกแพ็กที่ครอบคลุมหลายเดือน เครดิตไม่มีวันหมดอายุ

| แพ็กเกจ | จำนวน | ราคา | ราคาต่อหน่วย |
| --- | --- | --- | --- |
| ทดสอบ | 10,000 หน้า | US$3.75 | US$0.38/1K หน้า |
| Starter | 50,000 หน้า | US$14.25 | US$0.28/1K หน้า |
| Build | 100,000 หน้า | US$21.75 | US$0.22/1K หน้า |
| Scale | 500,000 หน้า | US$50 | US$0.10/1K หน้า |

ในทุกแพ็กเกจ: การดึงเนื้อหาหลัก · แสดงผล JavaScript เมื่อจำเป็น · หน้าที่ล้มเหลวหรือถูกปฏิเสธไม่คิดเครดิต · เครดิตไม่มีวันหมดอายุ

**ก่อนที่คุณจะจ่าย**

- เติมขั้นต่ำ US$25 เติมครั้งเดียวด้วยคริปโต แล้วซื้อแพ็กเกจใดก็ได้จากยอดคงเหลือของคุณ
- ยอดคงเหลือของคุณไม่มีวันหมดอายุ และใช้ซื้อเครดิตสำหรับแปลงหน้าเว็บได้ทุกเมื่อ หากแพ็กมีราคาต่ำกว่ายอดเติมขั้นต่ำ เงินส่วนที่คุณเติมเพิ่มเพียงเพื่อให้ถึงขั้นต่ำนั้นสามารถขอคืนได้ภายใน 30 วันนับจากวันที่ชำระเงิน เป็น USDT หรือ USDC ตราบใดที่คุณยังไม่ได้ใช้จ่ายไป ยอดคงเหลืออื่นๆ จะไม่มีการคืนเงิน เว้นแต่กฎหมายกำหนดไว้เป็นอย่างอื่น.
- เครดิตเข้ายอดคงเหลือเมื่อการชำระเงินของคุณได้รับการตรวจสอบบนบล็อกเชนแล้ว เวลายืนยันบนเครือข่ายโดยทั่วไป: BTC ≈ 20 นาที · USDT TRC-20 ≈ 1 นาที · USDT ERC-20 ≈ 5 นาที · USDC ERC-20 ≈ 5 นาที · ETH ≈ 5 นาที · SOL ≈ 1 นาที · LTC ≈ 15 นาที

## RAG ingestion: คำถามที่พบบ่อย

### ฉันควรใช้ chunk size เท่าไร?

แยกที่ heading ก่อน จากนั้นตัดส่วนที่ยาวเกินประมาณ 500 ถึง 1,000 token โดยให้ overlap เล็กน้อย chunk ตาม heading เก็บหนึ่งหัวข้อต่อ chunk ซึ่งโดยปกติ retrieve ได้ดีกว่า window ขนาดคงที่ที่ครอบทั้งหน้า

### WebReaderAPI สร้าง embedding หรือเก็บ vector หรือไม่?

ไม่ WebReaderAPI อ่านหน้าและคืน Markdown พร้อม metadata คุณ embed ด้วยโมเดลที่คุณเลือกและเก็บใน vector database ของคุณเอง [หน้า LangChain และ LlamaIndex](https://webreaderapi.com/th/docs/langchain/) แสดงทั้งสองแบบ

### ฉันจะทำให้ index อัปเดตอยู่เสมอได้อย่างไร?

อ่านใหม่เฉพาะหน้าที่เปลี่ยน sitemap ส่วนใหญ่มีวันที่ `lastmod` ต่อ URL เปรียบเทียบกับครั้งที่อ่านล่าสุดแล้วส่ง URL ที่เปลี่ยนเป็น batch หน้าที่ตอนนี้ล้มเหลวควรลบออกจาก index

### ฉันรวม PDF จากไซต์เดียวกันได้ไหม?

ได้ การ crawl อ่านลิงก์ PDF ในโดเมนเดียวกันด้วยการตรวจสอบ robots.txt แบบเดียวกัน ไฟล์ PDF ขนาดไม่เกิน 20 MB และไม่เกิน 100 หน้า จะถูกแปลงเป็น Markdown ในอัตรา 1 เครดิตต่อทุก 10 หน้าที่เริ่มต้น

---

WebReaderAPI: WebReaderAPI คือ API อ่านหน้าเว็บสำหรับ AI agent ที่แปลงหน้าเว็บสาธารณะใด ๆ เป็น Markdown สะอาด จ่ายด้วยคริปโตโดยไม่ต้องอัปโหลดบัตรประชาชน เครดิตแบบเติมเงินเริ่มต้นที่ US$0.07/1K หน้า ไม่มีวันหมดอายุ และเคารพ robots.txt ไม่ต้อง KYC — ไม่ต้องใช้บัตรประชาชน ไม่ต้องเซลฟี่ ไม่ต้องเอกสาร จ่ายด้วยคริปโต