# 将你的网站转换为 Markdown：抓取并导出每个页面

> 将你的网站转换为 Markdown 文件：抓取你自己的站点，导出每个页面并附带 front matter，用于迁移、备份或你自己的助手。无需 KYC。

- URL: https://webreaderapi.com/zh/use-cases/website-to-markdown/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

迁移到静态站点生成器、文档平台或知识库，往往从一个问题开始：如何把我的页面导出为干净的 Markdown？整站抓取一个任务就能做到，标题、日期和 URL 都保留在 front matter 中。

**快速回答 — 如何把整个网站转换为 Markdown？**

抓取你的站点，把每个页面的正文读作 Markdown，并为每个页面写一个 `.md` 文件，在 front matter 中记录标题、URL 和日期。**WebReaderAPI** 每个任务可抓取多达 10,000 页，遵循你的 sitemap 和 robots.txt，截至 2026 年 10 月，从 US$0.07/千页 起每页收取一个积分。下面的 Python 脚本会写出这些文件。无需 KYC；用加密货币支付。

## 用 WebReaderAPI 导出网站

| 属性 | 值 |
| --- | --- |
| Endpoint | `POST https://webreaderapi.com/api/v1/crawl`，结果来自 `GET https://webreaderapi.com/api/v1/jobs/{job_id}` |
| 范围 | 每个任务抓取一个网站，最多 10,000 页，遵循其 sitemap、robots.txt 和 Crawl-delay |
| 按页 | 正文的 Markdown，加上标题、描述、作者、日期和语言 |
| 整页 | 需要时 `main_content=false` 会保留导航和页脚 |
| 你的 robots.txt | 必须允许 `WebReaderAPI` 才能导出这些页面 |
| 价格 | US$3.75 仅需 10,000 个网页；积分永不过期 |

## 什么时候 Markdown 导出有用？

只要内容需要离开渲染它的系统时就适用。常见情况：

- **迁移。** 从 CMS 迁移到以 Markdown 存储页面的静态站点生成器或文档平台。
- **备份。** 一个可读的已发布页面存档，不依赖任何数据库或主题。
- **你自己的助手。** 把站点的文本输入帮助机器人或内部搜索，每个块都链接到其页面。
- **审计。** 以纯文本读取所有页面，找出过时的说法、有问题的措辞或重复内容。

无论哪种情况，你需要的都是文字和结构，而不是它们周围的主题。

*Python：将你的站点抓取为带 front matter 的 Markdown 文件*

```python
import os
import pathlib
import time
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://www.example.com/"
OUT = pathlib.Path("export")


def target_path(url):
    path = urlparse(url).path.strip("/") or "index"
    return OUT / (path + ".md")


def front_matter(page):
    fields = {"title": page.get("title", ""), "source": page["final_url"], "date": page.get("published_at") or ""}
    lines = ["---"] + [key + ": " + repr(value) for key, value in fields.items()] + ["---", ""]
    return "\n".join(lines)


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 2000, "max_depth": 5}, timeout=60).json()
cursor, delay, written = None, 5, 0
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for page in batch.get("results", []):
        if "markdown" not in page:
            continue
        dest = target_path(page["final_url"])
        dest.parent.mkdir(parents=True, exist_ok=True)
        dest.write_text(front_matter(page) + page["markdown"] + "\n", encoding="utf-8")
        written += 1
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print(written, "files in", OUT)

```

## 如何保留文件夹结构和 URL？

像脚本那样在文件路径中镜像 URL 路径：`/guides/setup/` 变成 `export/guides/setup.md`。把原始 URL 保留在 front matter 的 `source` 中，这样迁移后可以设置重定向，并检查没有丢失内容。

Markdown 中的链接仍指向你当前的 URL。移动之后，一次性替换域名或路径前缀，然后测试部分页面。表格和代码块保持为 Markdown，因此大多数静态生成器无需改动即可渲染。

## 如果我自己的 robots.txt 阻止了爬虫怎么办？

在导出期间允许我们的 token。WebReaderAPI 只读取 robots.txt 允许 `WebReaderAPI` 或所有机器人读取的内容，包括你自己的站点。添加一个类似 `User-agent: WebReaderAPI` 的组并包含 `Allow: /`，运行抓取，然后可以再移除它。

我们的[爬虫页面](https://webreaderapi.com/zh/bot/)显示了确切的配置行，以及你的服务器日志会显示的 User-Agent。仍被禁止的页面会被跳过，且不计费。

## 一次导出要花多少钱？

每页一个积分，需要浏览器显示文本的页面两个。一个 2,000 页、在服务端渲染的站点一次性花费 2,000 积分；同样的站点如果是 JavaScript 应用，最多可能花费 4,000。截至 2026 年 10 月，两者都能放在 10,000 个网页（US$3.75）中。

一个 50,000 页的站点需要多个任务，用 `include_paths` 按栏目拆分，可放在 100,000 个网页（US$21.75）中。导出后剩余的积分会留在你的账户中，供以后刷新使用。

## 哪个积分包够我的导出用？

数一下你的页面数，如果网站需要 JavaScript 渲染就把数量翻倍，然后选它上面那一档的积分包。积分永不过期。

| 套餐 | 数量 | 价格 | 单价 |
| --- | --- | --- | --- |
| 测试 | 10,000 个网页 | US$3.75 | US$0.38/千页 |
| 入门版 | 50,000 个网页 | US$14.25 | US$0.28/千页 |
| 构建 | 100,000 个网页 | US$21.75 | US$0.22/千页 |

所有套餐均包含: 正文提取 · 需要时渲染 JavaScript · 失败和被拒绝的页面不收费 · 积分永不过期

**付款前须知**

- 最低充值 US$25。 用加密货币充值一次，即可从余额购买任意套餐。
- 您的余额没有到期日，可随时购买网页积分。如果某个积分包的价格低于最低充值金额，您仅为达到该最低金额而额外充入的部分，可在付款后 30 天内按需退回，以 USDT 或 USDC 形式返还，前提是这部分金额尚未使用。其他余额不予退款，除非法律另有规定.
- 付款在区块链上核实后即到账。 网络确认的通常时间： BTC 约 20 分钟 · USDT TRC-20 约 1 分钟 · USDT ERC-20 约 5 分钟 · USDC ERC-20 约 5 分钟 · ETH 约 5 分钟 · SOL 约 1 分钟 · LTC 约 15 分钟

## 网页转 Markdown：常见问题

### 我能导出整个页面，包括菜单和页脚吗？

可以。在整站抓取 (crawl) 选项里设置 `main_content=false`，每个文件都会保存转换为 Markdown 的完整页面。大多数迁移更偏好只保留正文，因为新主题会自带导航。

### 图片会下载吗？

不会。使用 `include_images=true` 时，图片链接会连同 alt 文本保留在 Markdown 中；如果迁移需要图片文件本身，请用你自己的脚本下载。

### 我能导出不属于我的网站吗？

只能导出其 robots.txt 允许的公开页面，且仅限于其条款和法律允许的用途。对于迁移或备份，请导出你自己的网站或所有者同意的网站。

### 一个任务能处理多大的网站？

每个整站抓取 (crawl) 任务最多 10,000 页，且限于一个域名内。更大的网站请用 `include_paths` 按栏目拆分，并运行多个任务。

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。