Câu trả lời nhanh
Làm sao để chuyển một trang web sang Markdown cho LLM?
Lấy trang, chỉ giữ nội dung chính của nó, rồi chuyển các tiêu đề, danh sách, bảng và liên kết thành Markdown và giới hạn độ dài theo giới hạn của mô hình bạn. Bạn có thể làm thủ công, bằng các thư viện mã nguồn mở, hoặc bằng một lệnh gọi API: WebReaderAPI trả về Markdown và metadata với một credit mỗi trang, từ 0,07 US$/1K trang tính đến tháng 10 năm 2026. Không cần KYC; thanh toán bằng crypto.
Ba cách để lấy Markdown từ một trang web
| Thủ công | Sao chép văn bản từ trình duyệt hoặc chế độ reader của nó; ổn với vài trang |
|---|---|
| Thư viện mã nguồn mở | Readability, Trafilatura, MarkItDown hoặc Crawl4AI bên trong fetcher của riêng bạn |
| Một SERP API | GET https://webreaderapi.com/api/v1/read?url=… trả về Markdown, tiêu đề, tác giả và ngày tháng |
| Kiểm soát độ dài | max_chars trên WebReaderAPI, hoặc tự cắt văn bản sau khi chuyển đổi |
| Trang có JavaScript | Cần trình duyệt headless; WebReaderAPI render chúng khi cần, tốn 2 credit |
Nên dùng phương pháp nào?
Chọn theo khối lượng và theo lượng hạ tầng bạn muốn tự vận hành.
| Phương pháp | Phù hợp với | Bạn tự xử lý |
|---|---|---|
| Sao chép và dán | Vài trang, một prompt dùng một lần | Dọn dẹp thủ công |
| Thư viện trong code của bạn | Khối lượng ổn định, toàn quyền kiểm soát | Fetch, trình duyệt, robots.txt, PDF, thử lại |
| Web reader API | Agent và pipeline đọc nhiều trang web | Chỉ cần request và kết quả |
Thư viện cho bạn quyền kiểm soát và không mất phí theo từng trang. Cái giá là vận hành: một trình duyệt headless cho các trang có JavaScript, kiểm tra robots.txt, xử lý character-set và chuyển hướng, và một đường riêng cho PDF. API gói tất cả những việc đó vào một lần gọi HTTP.
Markdown tốt phải giữ gì và nên bỏ gì?
Markdown tốt giữ mọi phần tử mang ý nghĩa và bỏ mọi thứ chỉ tồn tại để trình bày bố cục hoặc marketing.
- Giữ heading dưới dạng
#,##và###: chúng cho model, và chunker của bạn, biết mỗi chủ đề bắt đầu từ đâu. - Giữ danh sách và bảng dưới dạng danh sách Markdown và bảng pipe, để các bước và con số vẫn dễ đọc.
- Giữ liên kết dưới dạng
[text](url): chúng cho phép trợ lý trích dẫn và theo dõi nguồn. - Giữ code block có rào, kèm ngôn ngữ khi trang hiển thị.
- Bỏ menu, thông báo cookie, quảng cáo, widget bài viết liên quan và footer: chúng lặp lại trên mọi trang và làm nhiễu việc truy xuất.
Kiểm tra kết quả trên vài trang thật của bạn. Các công cụ trích xuất bất đồng nhiều nhất trên diễn đàn, bảng dài và các trang có nhiều bài viết.
Markdown nhỏ hơn HTML bao nhiêu?
Thường nhỏ hơn nhiều, vì phần khung trang và markup biến mất. Khi Cloudflare ra mắt tính năng Markdown for Agents vào ngày 12 tháng 2 năm 2026, trang ví dụ của họ giảm từ 16.180 token dạng HTML xuống 3.150 token dạng Markdown, ít hơn khoảng 80%.
Tỷ lệ của bạn phụ thuộc vào trang web. Bài viết dài giảm ít hơn theo phần trăm so với các trang ngắn được bọc trong template nặng. Hãy đo trên nguồn của bạn trước khi tính ngân sách.
Làm sao giữ một trang trong ngân sách token của model?
Giới hạn văn bản trước khi nó đến model, rồi chia phần còn lại theo heading. Với WebReaderAPI, tham số max_chars cắt Markdown ở độ dài đặt trước, trong khoảng 1.000 đến 500.000 ký tự. Trường word_count cho biết bài viết đầy đủ dài bao nhiêu, để agent có thể quyết định đọc phần còn lại có đáng không.
Để truy xuất, hãy chia theo heading trước, rồi mới cắt các phần dài. Một chunk bắt đầu bằng heading của chính nó giữ được chủ đề; một chunk bị cắt giữa câu từ một trang dài thì không.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def page_to_chunks(url, max_chars=60000, chunk_len=1500):
params = {"url": url, "format": "markdown", "max_chars": max_chars}
resp = requests.get(API, headers=HEADERS, params=params, timeout=90)
data = resp.json()
if resp.status_code != 200:
print("not read:", data["error"]["code"])
return []
chunks = []
for section in re.split(r"\n(?=#{1,3} )", data["markdown"]):
section = section.strip()
while section:
chunks.append(section[:chunk_len])
section = section[chunk_len:]
return [{"text": c, "source": data["final_url"], "title": data["title"]} for c in chunks]
if __name__ == "__main__":
for chunk in page_to_chunks("https://example.com/guides/compost")[:3]:
print(chunk["title"], "|", chunk["text"][:80])
Thường có gì sai, và làm sao nhận ra?
Bốn vấn đề gây ra phần lớn các lần chuyển đổi lỗi:
- Đầu ra rỗng. Trang dựng nội dung bằng JavaScript. Tìm
word_countthấp; render trang trong trình duyệt, hoặc đặtrender=true. - Văn bản cookie hoặc đồng ý trong kết quả. Công cụ trích xuất giữ lại banner. Ưu tiên trích xuất nội dung chính và kiểm tra những dòng đầu của mỗi kết quả.
- Thiếu bảng. Một số trang vẽ bảng dưới dạng ảnh hoặc canvas; không công cụ trích xuất văn bản nào đọc được chúng.
- Bị từ chối thay vì nhận được trang. Trang web cấm robots trong robots.txt hoặc từ chối request. Hãy tôn trọng điều đó: xin chủ sở hữu cấp quyền, hoặc dùng API chính thức hay feed nếu trang có cung cấp.
Không vấn đề nào trong số này được khắc phục bằng cách thử lại nhanh hơn. Hãy đọc lỗi, rồi đổi phương pháp hoặc đổi nguồn.
Chuyển trang web sang Markdown: các câu hỏi thường gặp
Markdown có tốt hơn văn bản thuần cho LLM không?
Với hầu hết các trang, có. Markdown giữ heading, danh sách, bảng và liên kết với chi phí token nhỏ, nên model thấy được cấu trúc và trích dẫn được nguồn. Văn bản thuần ngắn hơn một chút nhưng mất cấu trúc đó.
Tôi có thể chuyển đổi cả một trang web, không chỉ một trang không?
Có. Hãy crawl nó và chuyển đổi từng trang. API crawl của WebReaderAPI làm cả hai trong một job: Crawl một website mỗi job, tối đa 10.000 trang, theo sitemap, robots.txt và Crawl-delay của trang.
Tôi có thể chuyển đổi PDF theo cùng cách không?
Có, bằng cách gửi URL của PDF đến cùng endpoint. Tệp PDF tối đa 20 MB và 100 trang được chuyển sang Markdown, với 1 credit cho mỗi khối 10 trang bắt đầu.
Còn các trang sau đăng nhập thì sao?
Đừng chuyển đổi chúng qua dịch vụ bên thứ ba trừ khi chúng là của bạn và bạn tự xuất chúng ra. WebReaderAPI chỉ đọc các trang công khai và không bao giờ đăng nhập vào tài khoản.
Có cách miễn phí để làm việc này không?
Các thư viện mã nguồn mở dùng miễn phí và chạy trên máy của bạn. WebReaderAPI không có gói miễn phí; pack nhỏ nhất của nó là 10.000 trang với giá 3,75 US$, thanh toán bằng crypto, không cần KYC.
Nguồn (1)
- Giới thiệu Markdown for Agents — Cloudflare (2026-02-12)