# llms.txt 생성기: 자체 사이트 크롤링으로 파일 만들기

> 크롤링으로 자체 웹사이트용 llms.txt 파일 생성: 모든 페이지를 Markdown으로 읽고 한 줄 요약과 함께 나열하는 Python 스크립트. 2026년 데이터.

- URL: https://webreaderapi.com/ko/guides/llms-txt-generator/
- 마지막 업데이트: 2026-10-22
- 발행자: WebReaderAPI (https://webreaderapi.com)

llms.txt 파일은 사이트의 주요 페이지를 각각 한 줄 설명과 함께 모델이 쉽게 읽는 Markdown으로 나열합니다. 이 가이드는 정직한 채택 수치를 제시한 후, 사이트를 크롤링하여 파일을 작성하는 스크립트를 제공합니다.

**빠른 답변 — 내 웹사이트용 llms.txt 파일은 어떻게 생성하나요?**

자체 사이트를 크롤링하고 각 페이지의 제목과 첫 단락을 가져와 `/llms.txt`에 있는 파일에서 사이트 이름 아래 Markdown 목록으로 작성하십시오. **WebReaderAPI**가 크롤링을 수행합니다: 작업당 최대 10,000페이지, 메타데이터가 포함된 Markdown으로, 2026년 10월 기준 US$0.07/1K 페이지에서 페이지당 1크레딧. 아래 Python 스크립트가 파일을 작성합니다. KYC 없이, 암호화폐 결제.

## llms.txt 요약

| 속성 | 값 |
| --- | --- |
| 무엇인가요 | 사이트 루트에 위치하여 언어 모델용 주요 페이지를 나열하는 제안된 Markdown 파일 |
| 채택률, 상위 1,000개 사이트 | 2026년 9월 18일 기준 9.3% (93개 사이트), Rankability 기준 |
| 파일이 있는 사이트 | Originality.ai 기준, 2025년 6월부터 2026년 5월 사이 4,088개에서 36,120개로 증가 |
| 측정된 사용량 | Ahrefs가 137,000개 도메인을 조사한 결과 llms.txt 파일의 97%가 요청을 한 건도 받지 못했습니다 |
| WebReaderAPI로 구축하는 비용 | 크롤링한 페이지당 1크레딧, 10,000페이지 비용은 US$3.75 |

## llms.txt를 만드는 것이 가치가 있나요?

만드는 비용은 적고, 지금까지 측정된 효과는 작습니다. 도입은 늘고 있습니다. Rankability는 2026년 9월 18일 기준 상위 1,000개 사이트의 9.3%에서 이 파일을 발견했다고 밝혔으며, 이는 2025년 6월의 0.3%에 비하면 높은 수치입니다. 다만 두 집계 사이에 방법이 바뀌었습니다. Originality.ai는 파일이 있는 사이트가 2025년 6월부터 2026년 5월 사이 4,088개에서 36,120개로 늘었다고 집계했습니다.

사용은 다른 문제입니다. PPC Land가 2026년 7월 2일 보도한 Ahrefs의 137,000개 도메인 조사에 따르면 llms.txt 파일의 97%는 요청을 전혀 받지 못했고, 파일이 받은 요청 중 AI 검색 봇이 보낸 것은 1.1%였습니다. 문서가 방대하고 깔끔한 인덱스를 원한다면 만들어 두세요. 하지만 그것만으로 어시스턴트가 여러분을 인용하는 방식이 바뀌리라고 기대하지는 마세요.

## llms.txt 파일에는 무엇이 들어가나요?

제목, 한 문단 요약, 그리고 짧은 설명이 붙은 링크 목록을 그룹으로 나눠 넣습니다. 최소한의 파일은 다음과 같습니다.

- 첫 줄에 `# Example Docs`, 사이트나 프로젝트 이름.
- 인용 형식의 요약으로 `> One sentence on what the site covers.`.
- `## Guides`, `## API reference` 및 기타 섹션을 사이트의 각 부분마다 하나씩.
- 각 페이지마다 `- [Page title](https://example.com/page): one line on what the page answers.`.

설명은 사실에 근거해 짧게 유지하세요. 파일에 AI 시스템을 향한 지시를 쓰지 마세요. 어시스턴트는 이런 텍스트를 점점 더 조작으로 간주합니다.

*Python: 자체 사이트를 크롤링하고 llms.txt 작성하기*

```python
import os
import time
from collections import defaultdict
from urllib.parse import urlparse

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
SITE = "https://docs.example.com/"


def first_paragraph(markdown):
    for block in markdown.split("\n\n"):
        block = block.strip()
        if block and not block.startswith(("#", "-", "|", "!", ">")):
            return " ".join(block.split())[:160]
    return ""


job = requests.post(API + "/crawl", headers=HEADERS, json={"url": SITE, "limit": 300}, timeout=60).json()
pages, cursor, delay = [], None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    batch = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    pages += [p for p in batch.get("results", []) if "markdown" in p]
    cursor = batch.get("next_cursor")
    if batch["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)

sections = defaultdict(list)
for p in pages:
    path = urlparse(p["final_url"]).path.strip("/")
    section = path.split("/")[0].replace("-", " ").title() if path else "Home"
    summary = p.get("description") or first_paragraph(p["markdown"])
    sections[section].append("- [" + p["title"] + "](" + p["final_url"] + "): " + summary)

lines = ["# Example Docs", "", "> Documentation for the Example product.", ""]
for name in sorted(sections):
    lines += ["## " + name, ""] + sorted(sections[name]) + [""]
with open("llms.txt", "w", encoding="utf-8") as fh:
    fh.write("\n".join(lines))
print(len(pages), "pages written to llms.txt")

```

## 스크립트는 어떻게 작동하나요?

크롤링 작업을 하나 시작하고 결과를 페이지 단위로 수집한 뒤, 경로의 첫 번째 폴더를 기준으로 페이지를 그룹화합니다. 각 페이지에는 사이트가 제공하는 경우 meta description을 사용하고, 없으면 Markdown의 첫 문단을 160자로 잘라 사용합니다.

`SITE`, 제목 줄, 요약 줄을 프로젝트에 맞게 바꾸고, 더 큰 사이트라면 `limit`을 높이세요. 작업당 최대 10,000페이지까지 가능합니다. 게시하기 전에 결과를 검토하세요. 섹션 이름은 URL 구조에서 나오므로 사람의 손길이 필요할 수 있습니다.

## 크롤링을 허용하려면 robots.txt가 필요한가요?

네. WebReaderAPI은 `WebReaderAPI` 또는 모든 로봇에 대해 robots.txt가 허용한 것만 읽으며, 설정한 `Crawl-delay`만큼 대기합니다. 자체 사이트가 로봇을 차단하고 있다면, 크롤링하는 동안 저희 토큰을 허용하는 그룹을 추가하세요. [크롤러 페이지](https://webreaderapi.com/ko/bot/)에 정확한 줄이 나와 있습니다.

robots.txt가 허용하지 않는 페이지는 건너뛰며 비용이 청구되지 않으므로, 엄격한 파일이라도 추가 비용이 들지 않습니다. 다만 해당 페이지가 llms.txt에서 빠질 뿐입니다.

## 비용은 얼마인가요?

읽은 페이지당 1크레딧, 브라우저가 필요한 페이지는 2크레딧입니다. 300페이지짜리 문서 사이트는 300크레딧, JavaScript 애플리케이션이라면 최대 600크레딧입니다. 2026년 10월 기준 US$3.75에 해당하는 10,000페이지에 충분히 들어가며, 남은 크레딧은 계정에 그대로 남습니다. 만료되지 않습니다.

문서가 바뀌면 파일을 다시 만드세요. 크롤링 출력을 보관해 두면 전체를 다시 크롤링하는 대신 배치 작업으로 변경된 페이지만 다시 읽을 수 있습니다.

## llms.txt: 자주 묻는 질문

### llms.txt 파일은 어디에 두나요?

사이트 루트에 두어 `/llms.txt`에서 일반 텍스트 또는 Markdown으로 제공되게 하세요. 일부 사이트는 나열된 페이지의 전체 텍스트를 담은 `llms-full.txt`도 함께 게시합니다.

### llms.txt가 robots.txt를 대체하나요?

아니요. robots.txt는 로봇이 건너뛰어야 할 경로를 알려주고, llms.txt는 모델이 찾기를 원하는 페이지를 나열합니다. 둘 다 유지하세요. [robots.txt 가이드](https://webreaderapi.com/ko/guides/robots-txt-for-ai-agents/)에서 차이를 설명합니다.

### llms.txt가 있으면 ChatGPT나 Claude가 제 사이트를 인용하나요?

그것만으로 그렇게 된다는 증거는 없습니다. 2026년 7월에 보도된 Ahrefs 조사에서는 파일의 97%가 요청을 받지 못했습니다. 명확한 답변과 날짜가 있는 사실을 담은 깔끔한 페이지가 더 중요합니다.

### 다른 사람의 사이트에 대해 llms.txt를 생성할 수 있나요?

자체 사이트이거나 소유자의 동의가 있는 경우에만 가능합니다. 이 파일은 사이트를 대표하므로 게시는 사이트 소유자의 몫입니다.

## 출처

1. [llms.txt 도입 데이터](https://www.rankability.com/data/llms-txt-adoption/) — Rankability (2026-09-18)
2. [llms.txt 도입 8.8배 증가했지만 파일의 97%는 AI 요청 0건](https://ppc.land/llms-txt-adoption-rises-8-8x-but-97-of-files-get-zero-ai-requests/) — PPC Land (2026-07-02)

---

WebReaderAPI: WebReaderAPI는 AI 에이전트를 위한 웹 리더 API로, 모든 공개 웹페이지를 깔끔한 Markdown으로 변환하며 신분증 업로드 없이 암호화폐로 결제합니다. US$0.07/1K 페이지부터 시작하는 선불 크레딧은 만료되지 않으며, robots.txt를 준수합니다. KYC 없음 — 신분증도, 셀피도, 서류도 없습니다. 암호화폐로 결제하세요.