KYC 없음 — 신분증도, 셀피도, 서류도 없습니다. 암호화폐로 결제하세요: BTC, USDT, USDC, ETH, SOL, LTC
언어: 한국어
API 키 발급받기

POST /crawl · 작업당 최대 10,000페이지 · robots.txt와 Crawl-delay 준수

Crawl API: 웹사이트 전체를 Markdown 파일로 변환

시작 URL과 페이지 제한을 지정하세요. 크롤러가 사이트의 sitemap과 동일 도메인 내 링크를 따라가며 각 페이지를 Markdown으로 읽고, 페이지별로 결과를 넘겨줍니다. 페이지당 1크레딧.

API 키 발급받기크롤링 및 배치 문서

마지막 업데이트: · 4 분 읽기

빠른 답변

웹사이트 전체를 크롤링하여 모든 페이지를 Markdown으로 받으려면 어떻게 하나요?

crawl API를 사용하세요: 시작 URL과 제한을 보내면 사이트의 각 페이지를 Markdown으로 반환합니다. WebReaderAPI는 작업당 최대 10,000페이지를 하나의 도메인 내에서 크롤링하며, sitemap, robots.txt, Crawl-delay를 준수하고 읽은 페이지당 1크레딧을 청구합니다. 2026년 10월 기준 US$0.07/1K 페이지부터입니다. robots.txt에서 거부된 페이지는 무료입니다. KYC 없이 암호화폐로 결제하세요.

Crawl API 한눈에 보기

크롤링 시작url, limit, max_depth, include_paths, exclude_paths으로 POST https://webreaderapi.com/api/v1/crawl
결과 가져오기GET https://webreaderapi.com/api/v1/jobs/{job_id}, 커서로 페이지네이션
범위작업당 웹사이트 하나를 크롤링하며, 최대 10,000페이지까지 사이트맵, robots.txt 및 Crawl-delay를 따릅니다
여러 개의 개별 URLPOST https://webreaderapi.com/api/v1/batch: 배치 작업당 최대 100개의 URL
과금1 크레딧 = 브라우저 없이 페이지 1회 읽기, 페이지가 JavaScript를 렌더링하는 데 브라우저가 필요하면 2 크레딧. 실패한 요청이나 사이트의 robots.txt가 거부한 요청은 과금되지 않습니다
사이트 소유자우리는 robots.txt를 준수합니다. 크롤러는 WebReaderAPI로 자신을 식별하고, 자신 또는 모든 로봇을 위해 작성된 규칙을 따르며, 사이트가 허용하지 않은 페이지는 읽지 않습니다. 거부된 페이지는 과금되지 않습니다
가격US$14.25 50,000페이지, US$50 500,000페이지

크롤링 작업은 어떻게 진행되나요?

크롤링은 백그라운드 작업입니다. 수백 개의 페이지를 읽는 데는 하나의 HTTP 요청에 적당한 시간보다 오래 걸리기 때문입니다.

  1. 시작: 시작 URL과 제한을 지정해 POST https://webreaderapi.com/api/v1/crawl를 호출합니다. 그러면 job_id를 즉시 받습니다.
  2. 탐색: 크롤러가 사이트의 robots.txt와 sitemap을 읽은 뒤, 같은 도메인 내의 링크를 너비 우선 방식으로 최대 max_depth까지 따라갑니다.
  3. 읽기: 허용된 각 페이지는 /read와 동일한 옵션으로 읽습니다. Markdown, 본문 추출, 필요 시 렌더링이 적용됩니다.
  4. 수집: 작업이 실행되는 동안 GET https://webreaderapi.com/api/v1/jobs/{job_id}를 폴링하고 커서로 결과를 페이지 단위로 넘겨받거나, 작업이 done된 뒤에 받습니다.

작업은 설정한 limit에서 중지되므로, 요청한 것보다 많은 페이지에 비용을 지불하지 않습니다.

Python: 문서 사이트를 Markdown 파일로 크롤링하기
import os
import pathlib
import re
import time

import requests

API = "https://webreaderapi.com/api/v1"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}

job = requests.post(
    API + "/crawl",
    headers=HEADERS,
    json={"url": "https://docs.example.com/", "limit": 500, "max_depth": 4, "include_paths": ["/guide/*"]},
    timeout=60,
).json()

out = pathlib.Path("docs_md")
out.mkdir(exist_ok=True)
cursor, delay = None, 5
while True:
    params = {"cursor": cursor} if cursor else {}
    page = requests.get(API + "/jobs/" + job["job_id"], headers=HEADERS, params=params, timeout=60).json()
    for item in page.get("results", []):
        if "markdown" in item:
            name = re.sub(r"[^a-z0-9]+", "-", item["url"].lower()).strip("-")[:120]
            (out / (name + ".md")).write_text(item["markdown"], encoding="utf-8")
    cursor = page.get("next_cursor")
    if page["status"] == "done" and not cursor:
        break
    if not cursor:
        time.sleep(delay)
        delay = min(delay * 2, 60)
print("credits used:", page.get("credits_used"))

크롤러는 어떤 페이지를 방문하고 어떤 페이지를 건너뛰나요?

시작 URL의 도메인 안에 머무르며, 사이트가 robots에게 남겨두라고 요청한 것은 모두 건너뜁니다. 자세히 설명하면:

  • 같은 도메인만. 다른 도메인으로의 링크는 결과에 나열되지만 읽지는 않습니다.
  • robots.txt 우선. WebReaderAPI에 대해 또는 모든 로봇에 대해 금지된 페이지는 건너뛰며 비용이 청구되지 않습니다.
  • Crawl-delay 준수. 사이트가 설정한 경우 크롤러는 두 페이지 사이에 그만큼 기다리므로, 큰 사이트는 시간이 더 걸릴 수 있습니다.
  • 필터 설정. include_paths와 exclude_paths는 /blog/* 같은 단순 패턴을 지원하니, 태그 페이지, 검색 페이지, 아카이브를 피하는 데 사용하세요.
  • 중복 제거. 사이트가 canonical URL을 선언한 경우, 추적 파라미터 등으로 두 개의 URL에서 도달한 같은 페이지는 한 번만 읽습니다.

크롤링과 배치 중 무엇을 써야 하나요?

사이트는 알지만 페이지를 모른다면 크롤링을, 이미 URL 목록이 있다면 배치를 사용하세요. 크롤링은 sitemap과 링크에서 페이지를 발견합니다. 배치는 보낸 URL을 정확히 읽으며, 사이트 수에 관계없이 작업당 최대 100개까지 가능합니다.

지식 베이스를 매주 갱신할 때 흔한 패턴은 크롤링 한 번으로 인덱스를 만든 뒤, sitemap에서 lastmod가 바뀐 페이지들을 배치로 읽는 것입니다. 이렇게 하면 주간 비용은 실제로 변경된 페이지에만 발생합니다.

사이트 크롤링 비용은 얼마인가요?

읽은 페이지당 1크레딧, 브라우저가 필요했던 페이지는 2크레딧입니다. 서버에서 렌더링되는 1,500페이지 문서 사이트는 1,500크레딧이고, 같은 사이트를 싱글 페이지 앱으로 만든 경우 최대 3,000크레딧이 들 수 있습니다.

2026년 10월 기준 세 가지 일반적인 작업은 다음과 같습니다. 300페이지 제품 매뉴얼은 10,000페이지 팩(US$3.75)에 들어갑니다. 각 2,000페이지인 문서 사이트 10개는 50,000페이지(US$14.25)에 들어갑니다. 400,000페이지 아카이브는 500,000페이지(US$50)에 들어갑니다. 건너뛴 페이지와 실패한 페이지는 무료입니다.

크롤링에는 어떤 팩이 맞나요?

페이지 수를 기준으로 팩 크기를 정한 뒤, 브라우저가 필요한 페이지를 위한 여유를 더하세요. 크레딧은 만료되지 않으므로 남은 크레딧은 다음 크롤링에 사용할 수 있습니다.

테스트

10,000페이지

US$3.75

US$0.38/1K 페이지

  • 실제 URL로 사용해 보기
  • 가장 큰 팩과 동일한 API
  • 크레딧은 만료되지 않음
10,000페이지 선택

스타터

50,000페이지

US$14.25

US$0.28/1K 페이지

  • AI 에이전트 또는 RAG 프로토타입
  • 문서 사이트 크롤링
  • 크레딧은 만료되지 않음
50,000페이지 선택

구축

100,000페이지

US$21.75

US$0.22/1K 페이지

  • 프로덕션 에이전트 및 RAG 파이프라인
  • 배치 및 크롤링 작업
  • 크레딧은 만료되지 않음
100,000페이지 선택

확장

500,000페이지

US$50

US$0.10/1K 페이지

  • 대규모 지식 기반
  • 요청 시 더 높은 동시성
  • 크레딧은 만료되지 않음
500,000페이지 선택

모든 플랜에 포함: 본문 추출 · 필요 시 JavaScript 렌더링 · 실패 및 거부된 페이지는 과금되지 않음 · 크레딧은 만료되지 않음

크롤링 API: 자주 묻는 질문

크롤링 하나로 몇 페이지를 읽을 수 있나요?

시작 URL의 도메인 내에서 작업당 최대 10,000페이지입니다. 더 큰 사이트는 include_paths로 여러 작업으로 나누세요. 예를 들어 섹션별로 하나씩 나누면 됩니다.

크롤러는 sitemap을 사용하나요?

네. robots.txt에 나열된 또는 일반적인 위치의 sitemap을 읽은 뒤, 읽은 페이지의 링크를 따라갑니다. sitemap에만 나열된 페이지도 robots.txt가 허용하면 읽습니다.

AI 크롤러를 차단하는 사이트도 크롤링할 수 있나요?

WebReaderAPI로는 할 수 없습니다. robots.txt가 우리 크롤러나 모든 로봇을 금지하면 해당 페이지는 건너뛰며 비용이 청구되지 않습니다. 사이트가 Content-Signal: ai-input=no를 선언한 경우, 저희는 그것을 대신 읽지 않습니다. 저희는 그러한 선택을 우회하려고 시도하지 않습니다.

크롤링이 아직 실행 중일 때 결과를 받을 수 있나요?

네. GET https://webreaderapi.com/api/v1/jobs/{job_id}는 지금까지 읽은 페이지를 커서와 함께 반환합니다. 작업이 done되고 커서가 남지 않을 때까지 계속 페이지를 넘기세요.

크롤링이 제한보다 많은 페이지를 읽을 수 있나요?

아니요. 크레딧은 페이지별로 계산되며, 작업은 설정한 limit에 도달하면 중지됩니다. robots.txt 때문에 건너뛴 페이지와 실패한 페이지는 크레딧을 사용하지 않습니다.

US$0.07/1K 페이지부터 · KYC 없이

API 키 발급받기