# llms.txt 生成器：通过抓取你自己的网站来生成文件

> 通过抓取为你自己的网站生成 llms.txt 文件：一个 Python 脚本，将每个页面读取为 Markdown，并用一行摘要列出。2026年数据。

- URL: https://webreaderapi.com/zh/guides/llms-txt-generator/
- 最后更新: 2026-10-22
- 发布者: WebReaderAPI (https://webreaderapi.com)

llms.txt 文件以模型易于读取的 Markdown 列出网站的关键页面，每页一行说明。本指南给出真实的采用数据，然后提供一个抓取你的网站并为你写出该文件的脚本。

**快速回答 — 如何为我的网站生成 llms.txt 文件？**

抓取你自己的网站，取每个页面的标题和第一段，在 `/llms.txt` 的文件中以你网站的名称作为标题，将它们写成 Markdown 列表。**WebReaderAPI** 负责抓取：每个作业最多10,000个页面，输出带元数据的 Markdown，截至2026年10月，从 US$0.07/千页 起每页一积分。下面的 Python 脚本会写出该文件。无需 KYC；加密货币支付。

## llms.txt 简要说明

| 属性 | 值 |
| --- | --- |
| 它是什么 | 一个提议放在网站根目录的 Markdown 文件，为语言模型列出其关键页面 |
| 采用情况，前1,000个网站 | 2026年9月18日为9.3%（93个网站），数据来自 Rankability |
| 包含该文件的网站 | 据 Originality.ai 统计，从 2025 年 6 月到 2026 年 5 月，数量从 4,088 增至 36,120 |
| 实测使用情况 | 在 Ahrefs 针对 137,000 个域名的研究中，97% 的 llms.txt 文件收到的请求数为零 |
| 使用 WebReaderAPI 构建的成本 | 每抓取一页消耗 1 个积分；10,000 个网页 成本 US$3.75 |

## llms.txt 值得做吗？

做起来成本不高，但迄今为止实测效果很小。采用率在上升：Rankability 在 2026 年 9 月 18 日于排名前 1,000 的网站中有 9.3% 发现了该文件，而 2025 年 6 月为 0.3%，不过两次统计之间其方法有所变化。Originality.ai 统计了包含该文件的网站，从 2025 年 6 月到 2026 年 5 月，数量从 4,088 增至 36,120。

使用情况则是另一回事。据 PPC Land 于 2026 年 7 月 2 日报道，Ahrefs 针对 137,000 个域名的研究发现，97% 的 llms.txt 文件完全没有收到任何请求，而在这些文件收到的请求中，AI 检索机器人仅占 1.1%。如果你的文档规模很大，并且想要一个清晰的索引，那就做一个；但不要指望它本身就能改变助手如何引用你的网站。

## llms.txt 文件里包含什么？

一个标题、一段摘要，然后是分组的链接列表，每条链接附有简短描述。一个最小化的文件如下所示：

- 第一行为 `# Example Docs`，即网站或项目的名称。
- `> One sentence on what the site covers.` 作为带引号的摘要。
- `## Guides`、`## API reference` 及其他分段，每个分段对应网站的一部分。
- 每个页面使用 `- [Page title](https://example.com/page): one line on what the page answers.`。

描述要保持事实性且简短。不要在文件中写入给 AI 系统的指令；助手们越来越将此类文本视为操纵。

*Python：抓取你自己的网站并生成 llms.txt*

```python
import os
import time
from collections import defaultdict
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://docs.example.com/"


def first_paragraph(markdown):
    for block in markdown.split("\n\n"):
        block = block.strip()
        if block and not block.startswith(("#", "-", "|", "!", ">")):
            return " ".join(block.split())[:160]
    return ""


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 300}, timeout=60).json()
pages, cursor, delay = [], None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    pages += [p for p in batch.get("results", []) if "markdown" in p]
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)

sections = defaultdict(list)
for p in pages:
    path = urlparse(p["final_url"]).path.strip("/")
    section = path.split("/")[0].replace("-", " ").title() if path else "Home"
    summary = p.get("description") or first_paragraph(p["markdown"])
    sections[section].append("- [" + p["title"] + "](" + p["final_url"] + "): " + summary)

lines = ["# Example Docs", "", "> Documentation for the Example product.", ""]
for name in sorted(sections):
    lines += ["## " + name, ""] + sorted(sections[name]) + [""]
with open("llms.txt", "w", encoding="utf-8") as fh:
    fh.write("\n".join(lines))
print(len(pages), "pages written to llms.txt")

```

## 这个脚本是如何工作的？

它会启动一个整站抓取 (crawl) 任务，逐页收集结果，然后按页面路径的第一级文件夹对页面进行分组。对于每个页面，如果网站提供了 meta description，就使用它；否则使用 Markdown 的第一段，截取到 160 个字符。

修改 `SITE`、标题行和摘要行以匹配你的项目，对于更大的网站，可以调高 `limit`，每个任务最多 10,000 页。在发布之前审核输出内容：分段名称来自你的 URL 结构，可能需要人工调整。

## 我的 robots.txt 需要允许这次抓取吗？

需要。WebReaderAPI 只读取 robots.txt 允许 `WebReaderAPI` 或所有机器人访问的内容，并且会等待你设置的任何 `Crawl-delay`。如果你自己的网站屏蔽了机器人，请添加一个分组，在抓取期间允许我们的 token；我们的 [爬虫页面](https://webreaderapi.com/zh/bot/) 展示了确切的代码行。

robots.txt 不允许的页面会被跳过且不计费，因此严格的 robots.txt 不会让你多花任何费用；它只是让这些页面不出现在 llms.txt 中。

## 费用是多少？

每读取一页消耗 1 个积分，需要无头浏览器的页面消耗 2 个积分。一个 300 页的文档网站消耗 300 个积分，如果是 JavaScript 应用则最多消耗 600 个积分。截至 2026 年 10 月，这可以轻松容纳在 US$3.75 的 10,000 个网页 中，剩余的积分会留在你的账户中：它们永不过期。

当你的文档变更时，重新生成该文件。如果你保留了抓取输出，可以使用批处理任务仅重新读取变更的页面，而不必再次抓取所有内容。

## llms.txt：常见问题

### 我应该把 llms.txt 文件放在哪里？

放在网站根目录，使其通过 `/llms.txt` 以纯文本或 Markdown 形式提供。有些网站还会发布包含所列页面全文的 `llms-full.txt`。

### llms.txt 会取代 robots.txt 吗？

不会。robots.txt 说明机器人应跳过哪些路径；llms.txt 列出你希望模型找到的页面。两者都要保留。我们的 [robots.txt 指南](https://webreaderapi.com/zh/guides/robots-txt-for-ai-agents/) 解释了二者的区别。

### llms.txt 会让 ChatGPT 或 Claude 引用我的网站吗？

没有证据表明它本身就能做到这一点。据 2026 年 7 月报道的 Ahrefs 研究发现，97% 的文件没有收到任何请求。带有直接答案和标注日期事实的清晰页面更为重要。

### 我可以为别人的网站生成 llms.txt 吗？

仅限你自己的网站，或在所有者同意的情况下。该文件代表网站发声，因此应由网站所有者发布。

## 来源

1. [llms.txt 采用数据](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
2. [llms.txt 采用率增长 8.8 倍，但 97% 的文件零 AI 请求](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI 是一款面向 AI agents 的网页读取 API，可将任何公开网页转换为干净的 Markdown，用加密货币支付，无需上传身份证件。预付费积分低至 US$0.07/千页，永不过期，且遵守 robots.txt。无需 KYC — 无身份证、无自拍、无证件。加密货币支付。