테스트
10,000페이지
US$3.75
US$0.38/1K 페이지
- 실제 URL로 사용해 보기
- 가장 큰 팩과 동일한 API
- 크레딧은 만료되지 않음
빠른 답변
Crawl4AI를 셀프 호스팅할까요, 호스팅 웹 리더 API를 쓸까요?
꾸준한 처리량과 브라우저와 서버를 운영할 인력이 있다면 Crawl4AI(Apache-2.0, 저작자 표시 요구 사항 포함)를 셀프 호스팅하세요. 단, robots.txt 확인은 기본적으로 꺼져 있습니다. 처리량이 일정하지 않거나 운영 작업을 원하지 않는다면 호스팅 API를 사용하세요. Crawl4AI Cloud는 10,000 크레딧에 $10부터 시작하며, WebReaderAPI은 10,000페이지에 US$3.75부터, KYC 없이 암호화폐로 결제합니다 (2026년 10월 22일).
웹페이지를 Markdown으로 변환하는 오픈소스 도구는 무엇인가요?
2026년 10월 기준 주요 옵션이며, 각자의 저장소와 문서에 명시된 라이선스와 기본값입니다.
| 도구 | 라이선스 | JavaScript 렌더링 | 기본 robots.txt | MCP 서버 |
|---|---|---|---|---|
| Crawl4AI | Apache-2.0, 추가로 README 저작자 표시 요구 사항 | 예 (Playwright) | 꺼짐: check_robots_txt은 기본값이 False | 예, 자체 서버에서 |
| Firecrawl (셀프 호스팅) | AGPL-3.0 코어; SDK와 일부 UI 부분은 MIT | 예 (Playwright 서비스) | 켜짐 | 예 (firecrawl-mcp-server, MIT) |
| Microsoft MarkItDown | MIT | 아니요 | 문서화되지 않음 | 예 (markitdown-mcp) |
| Trafilatura | Apache-2.0 (v1.8.0 이전에는 GPLv3+) | 아니요 | 스파이더가 Robots Exclusion Standard를 따릅니다 | 언급된 것 없음 |
| Mozilla Readability | Apache-2.0 | 아니요; DOM이 필요하며 가져오지 않습니다 | 해당 없음 | 찾지 못함 |
| Jina Reader (오픈소스 브랜치) | Apache-2.0 | 예 (Puppeteer) | 언급되지 않음 | 저장소에 없음 |
가격 확인 날짜:
아래 나열된 GitHub 저장소와 문서에서 2026-10-22에 읽은 내용입니다.
웹 리더를 직접 호스팅하면 실제로 비용이 얼마나 들까요?
소프트웨어는 무료지만, 운영은 무료가 아닙니다. 호스팅 가격과 0을 비교하기 전에 다음을 따져 보세요:
- 서버와 브라우저. 정적 페이지는 CPU가 거의 필요 없지만, JavaScript 페이지는 요청마다 헤드리스 브라우저가 필요하고 그에 맞는 메모리도 필요합니다. 트래픽 피크에는 나머지 시간에는 놀고 있는 여유 용량이 필요합니다.
- 유지보수. 브라우저 버전, 본문 추출 규칙, 의존성이 바뀝니다. Crawl4AI는 2026년 10월 14일에 v0.9.5를, MarkItDown은 2026년 10월 21일에 0.1.9를 출시했습니다. 각 업데이트를 테스트하고 배포할 사람이 필요합니다.
- 네트워크. 아웃바운드 대역폭, DNS, 타임아웃, 재시도는 직접 조정해야 합니다. 사이트가 서버 주소에서 오는 트래픽을 거부할 수 있으며, 그때 올바른 대응은 그 거부를 존중하는 것입니다.
- 정책. Crawl4AI는 직접 켜지 않으면
check_robots_txt을 꺼 둔 채로 두며, User-Agent를 설정하거나 무작위화할 수 있습니다. 자체 robots.txt와 식별 규칙을 정하고 강제하는 것도 일의 일부입니다. - 보안. MarkItDown의 README는 현재 프로세스의 권한으로 I/O를 수행하며, 신뢰할 수 없는 환경에서는 입력을 정제해야 한다고 경고합니다. 임의의 URL을 가져오는 서비스는 사설 및 로컬 주소도 거부해야 합니다.
그렇다면 호스팅 리더는 얼마를 받을까요?
호스팅 API는 이런 비용을 페이지당 가격으로 바꿉니다. 2026년 10월 22일 기준 두 가지 예시입니다:
| Crawl4AI Cloud | WebReaderAPI (저희) | |
|---|---|---|
| 시작 | Starter 월 $10, 10,000 크레딧 | US$3.75에 10,000페이지 |
| 정적 페이지 | 0.5 크레딧 | 1 크레딧 |
| 브라우저가 필요한 페이지 | 1 크레딧 ("실제 브라우저") | 2 크레딧 |
| 더 큰 요금제 | Builder $99에 125,000 크레딧; Scale $499에 750,000 | US$74.25에 1,000,000페이지; US$350에 5,000,000페이지 |
| 미사용 크레딧 | 월 크레딧은 이월되지 않음; 추가 크레딧은 만료되지 않음 | 만료되지 않음 |
| 결제 | Stripe를 통한 카드 | BTC, USDT, USDC, ETH, SOL, LTC |
| robots.txt | 고객이 사이트의 robots 지시를 준수해야 함 (약관) | 서비스가 읽을 때마다 확인 |
Crawl4AI Cloud는 Crawl4AI 유지관리자들이 운영하며, 가격이 바뀔 수 있는 "소프트 런치"라고 표시합니다. 크레딧은 $0.001 가치이므로 Starter에서 정적 페이지는 1,000페이지당 $0.50입니다.
언제 직접 호스팅해야 하나요?
다음 세 가지가 모두 사실일 때 직접 호스팅이 이득입니다: 볼륨이 높고 꾸준하며, 이미 서버와 브라우저를 운영하고 있고, API가 줄 수 없는 통제가 필요할 때입니다.
- 맞춤 본문 추출. Crawl4AI의 CSS, XPath, LLM 스키마, 또는 Readability나 Trafilatura 위에 얹은 자체 규칙.
- 데이터 레지던시. 페이지가 인프라를 벗어나지 않습니다.
- 웹페이지 외 입력. MarkItDown은 Word, Excel, PowerPoint, EPub 등을 변환하지만, 웹 리더 API는 그렇지 않습니다.
- 라이선스 적합성. Apache-2.0과 MIT 도구는 클로즈드 제품을 허용하지만, Firecrawl의 AGPL-3.0 코어는 네트워크 서비스로 제공할 경우 변경 사항을 공유하도록 요구합니다.
언제 호스팅 API가 더 나은 선택인가요?
서버를 운영하는 대신 페이지를 사는 편이 나을 때는 워크로드가 불규칙하거나, 팀이 작거나, 리더가 자체 제품이 아니라 에이전트 안의 도구일 때입니다.
- 급증하거나 계절적인 볼륨. 1년에 두 번 하는 크롤링으로 브라우저 팜을 정당화할 수는 없습니다. WebReaderAPI에서는 선불 크레딧은 만료되지 않습니다. 사용하지 않은 페이지는 사용할 때까지 계정에 남아 있습니다.
- 에이전트. 호스팅 endpoint는 MCP, LangChain, OpenAI 도구에 몇 분 만에 연결됩니다. 저희 MCP 서버를 참고하세요.
- 직접 구축하지 않아도 되는 정책. 우리는 robots.txt를 준수합니다. 크롤러는 WebReaderAPI로 자신을 식별하고, 자신 또는 모든 로봇을 위해 작성된 규칙을 따르며, 사이트가 허용하지 않은 페이지는 읽지 않습니다. 거부된 페이지는 과금되지 않습니다. 사이트가 robots.txt에 Content-Signal: ai-input=no를 선언하면, 해당 페이지를 대신 읽지 않습니다.
- 카드 없는 결제. WebReaderAPI는 KYC 없이 BTC, USDT, USDC, ETH, SOL, LTC로 결제합니다.
둘을 함께 쓸 수 있나요?
예, 많은 팀이 그렇게 합니다. 이미 보유한 파일(예: PDF와 Office 문서)은 MarkItDown으로 오픈소스 변환기를 돌리고, 라이브 웹페이지, 특히 자체 브라우저가 필요할 JavaScript 페이지는 호스팅 리더를 호출하세요.
양쪽의 출력 형식을 동일하게 유지하세요. 소스 URL과 제목이 포함된 Markdown이면 청킹과 인덱싱 코드가 문서의 출처를 신경 쓰지 않아도 됩니다. 저희 RAG 가이드에서 그 형식을 실제로 보여 드립니다.
WebReaderAPI로 호스팅 리더를 쓰면 비용이 얼마인가요?
2026년 10월 22일 기준 암호화폐로 결제하는 페이지당 크레딧: 정적 페이지 1 크레딧, 브라우저 사용 시 2 크레딧, 실패하거나 거부된 페이지는 0. 크레딧은 만료되지 않습니다.
구축
100,000페이지
US$21.75
US$0.22/1K 페이지
- 프로덕션 에이전트 및 RAG 파이프라인
- 배치 및 크롤링 작업
- 크레딧은 만료되지 않음
볼륨
1,000,000페이지
US$74.25
US$0.07/1K 페이지
- 데이터셋 및 연구 코퍼스
- 요청 시 더 높은 동시성
- 크레딧은 만료되지 않음
최고 환율
대량
5,000,000페이지
US$350
US$0.07/1K 페이지
- 웹 규모 수집
- 요청 시 더 높은 동시성
- 크레딧은 만료되지 않음
모든 플랜에 포함: 본문 추출 · 필요 시 JavaScript 렌더링 · 실패 및 거부된 페이지는 과금되지 않음 · 크레딧은 만료되지 않음
웹 리더 직접 호스팅: 자주 묻는 질문
Crawl4AI는 상업적 사용이 무료인가요?
README에는 Apache-2.0 라이선스로 배포되어 상업적 사용이 허용된다고 나오며, 사용자는 배지나 텍스트 한 줄로든 출처 표시(attribution)를 포함해야 한다고 덧붙입니다. 출시 전에 라이선스와 README를 직접 읽어 보세요.
Crawl4AI는 robots.txt를 준수하나요?
요청할 때만 준수합니다. check_robots_txt 파라미터의 기본값은 False이며, True로 설정하면 크롤링 전에 robots.txt 규칙을 확인하고 캐시합니다. User-Agent도 설정하거나 무작위화할 수 있으므로, 어떻게 동작할지는 자체 정책이 결정합니다.
Crawl4AI 대신 Firecrawl을 직접 호스팅할 수 있나요?
예. Firecrawl의 코어는 AGPL-3.0으로 오픈소스이며 기본적으로 robots.txt를 준수합니다. AGPL은 소프트웨어를 네트워크 서비스로 제공할 때 변경 사항을 공개하도록 요구하며, 이는 상업적 제품에서 중요합니다.
PDF와 Office 파일을 변환하는 도구는 무엇인가요?
MIT 라이선스의 Microsoft MarkItDown은 PDF, Word, PowerPoint, Excel, HTML, EPub 등을 Markdown으로 변환합니다. JavaScript 페이지는 렌더링하지 않습니다. WebReaderAPI은 URL에서 PDF를 읽으며, 최대 100페이지까지 가능합니다.
Crawl4AI Cloud 요금은 얼마인가요?
2026년 10월 22일 기준: Starter는 월 $10에 10,000 크레딧, Builder는 $99에 125,000 크레딧, Scale은 $499에 750,000 크레딧이며, 정적 페이지는 0.5 크레딧, 브라우저 페이지는 1 크레딧입니다. 사이트에서는 이 가격을 변경될 수 있는 소프트 런치로 표시하고 있습니다.
출처 (11)
- unclecode/crawl4ai 저장소 — GitHub (read 2026-10-22)
- Crawl4AI 파라미터 — Crawl4AI docs (read 2026-10-22)
- Crawl4AI 셀프 호스팅 — Crawl4AI docs (read 2026-10-22)
- PyPI의 crawl4ai — PyPI (read 2026-10-22)
- Crawl4AI Cloud — Crawl4AI (read 2026-10-22)
- microsoft/markitdown 저장소 — GitHub (read 2026-10-22)
- PyPI의 markitdown — PyPI (read 2026-10-22)
- adbar/trafilatura 저장소 — GitHub (read 2026-10-22)
- mozilla/readability 저장소 — GitHub (read 2026-10-22)
- firecrawl/firecrawl 저장소 — GitHub (read 2026-10-22)
- jina-ai/reader 저장소 — GitHub (read 2026-10-22)