ทดสอบ
10,000 หน้า
US$3.75
US$0.38/1K หน้า
- ลองใช้กับ URL จริงของคุณ
- API เดียวกับแพ็กที่ใหญ่ที่สุด
- เครดิตไม่มีวันหมดอายุ
คำตอบสั้น
ฉันจะแปลงทั้งเว็บไซต์เป็น Markdown ได้อย่างไร?
Crawl ไซต์ของคุณ อ่านเนื้อหาหลักของแต่ละหน้าเป็น Markdown และเขียนหนึ่งไฟล์ .md ต่อหน้า พร้อมชื่อเรื่อง URL และวันที่ใน front matter WebReaderAPI crawl ได้ถึง 10,000 หน้าต่องาน ทำตาม sitemap และ robots.txt ของคุณ และคิดหนึ่งเครดิตต่อหน้าจาก US$0.07/1K หน้า ณ เดือนตุลาคม 2026 สคริปต์ Python ด้านล่างเขียนไฟล์ให้ ไม่ต้อง KYC; จ่ายด้วยคริปโต
Export เว็บไซต์ด้วย WebReaderAPI
| Endpoint | POST https://webreaderapi.com/api/v1/crawl ผลลัพธ์จาก GET https://webreaderapi.com/api/v1/jobs/{job_id} |
|---|---|
| ขอบเขต | crawl หนึ่งเว็บไซต์ต่อหนึ่งงาน สูงสุด 10,000 หน้า โดยทำตาม sitemap, robots.txt และ Crawl-delay ของเว็บนั้น |
| ต่อหน้า | Markdown ของเนื้อหาหลัก พร้อมชื่อเรื่อง คำอธิบาย ผู้เขียน วันที่ และภาษา |
| ทั้งหน้า | main_content=false เก็บ navigation และ footer ไว้เมื่อคุณต้องการ |
| robots.txt ของคุณ | ต้องอนุญาต WebReaderAPI สำหรับหน้าที่คุณ export |
| ราคา | US$3.75 สำหรับ 10,000 หน้า; เครดิตไม่มีวันหมดอายุ |
การ export เป็น Markdown มีประโยชน์เมื่อไร?
เมื่อใดก็ตามที่เนื้อหาต้องออกจากระบบที่ render มัน กรณีที่พบบ่อย:
- การย้ายระบบ ย้ายจาก CMS ไปยัง static site generator หรือแพลตฟอร์มเอกสารที่เก็บหน้าเป็น Markdown
- การสำรองข้อมูล คลังเก็บที่อ่านได้ของหน้าที่เผยแพร่แล้ว ซึ่งไม่ขึ้นกับ database หรือ theme ใดๆ
- ผู้ช่วยของคุณเอง ป้อนข้อความจากไซต์ของคุณเข้าสู่ help bot หรือ search ภายใน โดยแต่ละ chunk ลิงก์ไปยังหน้าของมัน
- การตรวจสอบ อ่านทุกหน้าเป็นข้อความธรรมดาเพื่อหาข้อความที่ล้าสมัย ถ้อยคำที่ผิด หรือเนื้อหาซ้ำ
ในทุกกรณีคุณต้องการถ้อยคำและโครงสร้าง ไม่ใช่ theme ที่ห่อหุ้มอยู่
import os
import pathlib
import time
from urllib.parse import urlparse
import requests
API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://www.example.com/"
OUT = pathlib.Path("export")
def target_path(url):
path = urlparse(url).path.strip("/") or "index"
return OUT / (path + ".md")
def front_matter(page):
fields = {"title": page.get("title", ""), "source": page["final_url"], "date": page.get("published_at") or ""}
lines = ["---"] + [key + ": " + repr(value) for key, value in fields.items()] + ["---", ""]
return "\n".join(lines)
job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 2000, "max_depth": 5}, timeout=60).json()
cursor, delay, written = None, 5, 0
while True:
params = {"cursor": cursor} if cursor else {}
batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
for page in batch.get("results", []):
if "markdown" not in page:
continue
dest = target_path(page["final_url"])
dest.parent.mkdir(parents=True, exist_ok=True)
dest.write_text(front_matter(page) + page["markdown"] + "\n", encoding="utf-8")
written += 1
cursor = batch.get("next_cursor")
if batch["status"] == "done" and not cursor:
break
if not cursor:
time.sleep(delay)
delay = min(delay * 2, 60)
print(written, "files in", OUT)
ฉันจะรักษาโครงสร้างโฟลเดอร์และ URL ได้อย่างไร?
ทำ path ของไฟล์ให้ตรงกับ path ของ URL ตามที่สคริปต์ทำ: /guides/setup/ กลายเป็น export/guides/setup.md เก็บ URL เดิมไว้ใน front matter เป็น source เพื่อให้ตั้ง redirect ได้หลังการย้ายระบบและตรวจสอบว่าไม่มีอะไรหายไป
ลิงก์ภายใน Markdown ยังชี้ไปยัง URL ปัจจุบันของคุณ หลังการย้าย ให้แทนที่โดเมนหรือ path prefix ในครั้งเดียว แล้วทดสอบหน้าตัวอย่าง ตารางและ code block ยังคงเป็น Markdown ดังนั้น static generator ส่วนใหญ่ render ได้โดยไม่ต้องแก้ไข
ถ้า robots.txt ของฉันเองบล็อก crawler ล่ะ?
อนุญาต token ของเราไว้ระหว่างการ export WebReaderAPI อ่านเฉพาะสิ่งที่ robots.txt อนุญาตสำหรับ WebReaderAPI หรือสำหรับ robot ทั้งหมด รวมถึงบนไซต์ของคุณเอง เพิ่มกลุ่มเช่น User-agent: WebReaderAPI พร้อม Allow: / รัน crawl แล้วลบออกหากต้องการ
หน้าค Crawler ของเรา แสดงบรรทัดที่แน่นอนและ User-Agent ที่ log ของเซิร์ฟเวอร์คุณจะแสดง หน้าที่ถูกห้ามไว้จะถูกข้ามและไม่คิดเครดิต
การ export ราคาเท่าไร?
หนึ่งเครดิตต่อหน้า สองเครดิตสำหรับหน้าที่ต้องใช้เบราว์เซอร์เพื่อแสดงข้อความ ไซต์ 2,000 หน้าที่ render บนเซิร์ฟเวอร์ใช้ 2,000 เครดิตครั้งเดียว ไซต์เดียวกันที่เป็นแอป JavaScript อาจใช้ถึง 4,000 ทั้งสองแบบพอดีใน 10,000 หน้า สำหรับ US$3.75 ณ เดือนตุลาคม 2026
ไซต์ 50,000 หน้าต้องใช้หลายงาน แบ่งตามส่วนด้วย include_paths และพอดีใน 100,000 หน้า (US$21.75) เครดิตที่เหลือหลังการ export ยังคงอยู่ในบัญชีของคุณสำหรับการรีเฟรชในภายหลัง
แพ็กไหนครอบคลุมการส่งออกของฉัน?
นับจำนวนหน้าของคุณ เพิ่มเป็นสองเท่าหากเว็บไซต์ต้องใช้ JavaScript ในการแสดงผล แล้วเลือกแพ็กที่สูงกว่านั้น เครดิตไม่มีวันหมดอายุ
Starter
50,000 หน้า
US$14.25
US$0.28/1K หน้า
- AI agent หรือ RAG prototype
- Crawl ไซต์เอกสาร
- เครดิตไม่มีวันหมดอายุ
Build
100,000 หน้า
US$21.75
US$0.22/1K หน้า
- Production agent และ RAG pipeline
- งาน Batch และ crawl
- เครดิตไม่มีวันหมดอายุ
ในทุกแพ็กเกจ: การดึงเนื้อหาหลัก · แสดงผล JavaScript เมื่อจำเป็น · หน้าที่ล้มเหลวหรือถูกปฏิเสธไม่คิดเครดิต · เครดิตไม่มีวันหมดอายุ
แปลงเว็บไซต์เป็น Markdown: คำถามที่พบบ่อย
ส่งออกทั้งหน้าได้ไหม รวมถึงเมนูและ footer?
ได้ ตั้งค่า main_content=false ในตัวเลือก crawl แล้วแต่ละไฟล์จะเก็บทั้งหน้าที่แปลงเป็น Markdown การย้ายเว็บส่วนใหญ่เลือกเฉพาะเนื้อหาหลัก เพราะธีมใหม่มี navigation ของตัวเอง
รูปภาพถูกดาวน์โหลดด้วยไหม?
ไม่ เมื่อใช้ include_images=true ลิงก์รูปภาพจะยังอยู่ใน Markdown พร้อม alt text ดาวน์โหลดไฟล์เองด้วยสคริปต์ของคุณหากการย้ายเว็บต้องการ
ส่งออกเว็บไซต์ที่ฉันไม่ได้เป็นเจ้าของได้ไหม?
ได้เฉพาะหน้าที่เป็นสาธารณะที่ robots.txt อนุญาต และเฉพาะการใช้งานที่ข้อกำหนดและกฎหมายอนุญาต สำหรับการย้ายเว็บหรือสำรองข้อมูล ให้ส่งออกเว็บไซต์ของคุณเองหรือเว็บไซต์ที่เจ้าของยินยอม
หนึ่งงานรองรับเว็บไซต์ใหญ่ได้แค่ไหน?
สูงสุด 10,000 หน้าต่อ crawl job ภายในโดเมนเดียว แบ่งเว็บไซต์ที่ใหญ่กว่าตามส่วนด้วย include_paths แล้วรันหลาย job