# AI 에이전트용 웹 fetch 도구: 페이지를 깔끔한 Markdown으로 읽기

> AI 에이전트용 웹 fetch 도구: MCP, OpenAI tools, LangChain, n8n을 통해 모든 공개 페이지를 길이 제한과 함께 Markdown으로 읽기, US$0.07/1K 페이지부터. 암호화폐.

- URL: https://webreaderapi.com/ko/use-cases/ai-agents/
- 마지막 업데이트: 2026-10-22
- 발행자: WebReaderAPI (https://webreaderapi.com)

검색은 되지만 읽지는 못하는 에이전트는 스니펫에서 답을 꺼냅니다. 모든 공개 URL을 짧고 깔끔한 Markdown으로 바꿔 주는 도구를 주면, 정한 예산 안에서 소스를 읽고 인용하고 출처를 밝힐 수 있습니다.

**빠른 답변 — AI 에이전트에게 웹 fetch 도구를 주는 가장 좋은 방법은 무엇인가요?**

웹 reader API를 URL을 받아 페이지의 본문을 정해진 길이로 잘라 Markdown으로 반환하는 도구로 감싸세요. **WebReaderAPI**이 읽기를 수행하고, 필요하면 JavaScript를 렌더링하며, robots.txt를 준수하고, 2026년 10월 기준 US$0.07/1K 페이지부터 페이지당 크레딧 하나를 청구합니다. 바로 쓸 수 있는 도구 코드가 MCP, OpenAI function calling, LangChain, n8n, OpenClaw를 지원합니다. KYC 없이; 암호화폐.

## 에이전트 도구로서의 WebReaderAPI

| 속성 | 값 |
| --- | --- |
| 도구 | `read_url(url, max_chars)`이 `https://webreaderapi.com/api/v1/read`를 호출 |
| 반환값 | 본문의 Markdown과 제목, 작성자, 날짜, 단어 수 |
| 길이 제한 | `max_chars`, 페이지당 1,000~500,000자 |
| JavaScript 페이지 | 페이지에 필요할 때 헤드리스 브라우저에서 JavaScript 렌더링 (render=auto), 또는 항상, 또는 절대 하지 않습니다 |
| 거부 | 명확한 오류로 반환되며 요금 청구 없음 |
| 연동 | [MCP](https://webreaderapi.com/ko/docs/mcp/), [OpenAI](https://webreaderapi.com/ko/docs/openai/), [LangChain 및 LlamaIndex](https://webreaderapi.com/ko/docs/langchain/), [n8n](https://webreaderapi.com/ko/docs/n8n/), [OpenClaw](https://webreaderapi.com/ko/docs/openclaw/) |
| 가격 | 10,000페이지당 US$3.75; 크레딧은 만료되지 않습니다 |

## 에이전트에 원시 HTML이 아니라 리더가 필요한 이유는 무엇인가요?

원시 HTML은 모델에 필요 없는 것들로 컨텍스트 윈도를 소모하기 때문입니다. 뉴스 기사나 문서 페이지는 내비게이션, 스크립트, 동의 배너, 관련 링크에 둘러싸여 도착합니다. 그대로 넘기면 대화 공간을 잡아먹고 모델이 메뉴를 인용하게 만듭니다.

리더는 세 가지 문제를 한 번에 해결합니다. 본문만 남기고, JavaScript가 실행되기 전까지 비어 있는 페이지를 렌더링하며, PDF를 텍스트로 변환합니다. 에이전트는 인용할 수 있는 제목과 날짜가 붙은 하나의 간결한 Markdown 블록을 받습니다.

## 내장 fetch 도구가 때때로 실패하는 이유는 무엇인가요?

대부분 사이트가 자동화 트래픽을 거부하기 때문입니다. 2025년 7월 1일부터 Cloudflare는 신규 도메인에 대해 AI 크롤러를 기본 차단하며, 2026년 9월 15일부터는 그 프리셋이 신규 도메인의 광고 지원 페이지에서 "Agent" 트래픽을 차단합니다. 코딩 에이전트와 어시스턴트의 내장 도구도 다른 클라이언트와 마찬가지로 이러한 거부에 부딪힙니다.

다른 실패는 기술적인 것입니다. 2026년 10월 22일에 확인한 OpenClaw 문서에 따르면, OpenClaw의 내장 web_fetch는 Readability로 콘텐츠를 추출하고, JavaScript를 실행하지 않으며, 출력을 20,000자로 제한합니다. 브라우저에서 생성되는 페이지, 긴 문서, 느린 서버, rate limit 모두 이러한 도구를 막습니다. 페이지를 렌더링하는 리더는 JavaScript 문제를 해결하고, 캐싱과 인내심이 나머지를 해결합니다. 거부는 사이트 소유자의 권한입니다. [web fetch 403 오류 가이드](https://webreaderapi.com/ko/guides/web-fetch-403-errors/)에서 각 경우를 설명합니다.

## 도구 이름이 web_fetch가 아니라 read_url인 이유는 무엇인가요?

에이전트가 이미 가진 도구와의 충돌을 피하기 위해서입니다. Claude Code와 OpenClaw 모두 `web_fetch`라는 내장 도구를 제공합니다. 같은 이름의 두 번째 도구는 모델이 어느 것을 호출하는지에 대해 혼란을 줍니다. 저희 도구를 `read_url`로 이름 지어 두 가지를 모두 사용할 수 있게 했습니다. 에이전트는 빠른 확인에는 내장 fetcher를, 깔끔한 Markdown, PDF, JavaScript 페이지가 필요할 때는 `read_url`를 사용할 수 있습니다.

저희 문서 페이지의 도구 정의는 모두 이 이름을 사용하므로, 프롬프트를 바꾸지 않고 프레임워크 사이를 전환할 수 있습니다.

*Python: 길이 제한이 있는 간결한 read_url 도구*

```python
import os

import requests

API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}


def read_url(url: str, max_chars: int = 12000) -> str:
    """Return a web page as Markdown for a model, or a short reason it was not read."""
    resp = requests.get(API, headers=HEADERS, params={"url": url, "max_chars": max_chars}, timeout=90)
    data = resp.json()
    if resp.status_code != 200:
        err = data.get("error", {})
        return "Not read (" + err.get("code", "error") + "): " + err.get("message", "")
    head = "# " + (data.get("title") or url) + "\nSource: " + data["final_url"]
    if data.get("published_at"):
        head += " | Published: " + data["published_at"]
    return head + "\n\n" + data["markdown"]


if __name__ == "__main__":
    print(read_url("https://example.com/blog/pour-over-coffee", max_chars=2000)[:500])

```

## 에이전트는 무엇을 읽을지 어떻게 결정해야 하나요?

예산과 규칙을 주세요. 세 가지 습관이 비용과 컨텍스트를 관리합니다:

- **적게, 잘 읽기.** 질문당 2~4개의 소스면 인용과 함께 답하기에 보통 충분합니다.
- **페이지마다 제한 두기.** `max_chars`을 약 10,000~15,000자로 시작하고, 답이 더 아래에 있을 가능성이 `word_count`에서 보일 때만 늘리세요.
- **거부를 보고하기.** 페이지를 읽지 못하면 모델이 그렇게 말하고 재시도 대신 다른 소스로 넘어가게 하세요.

위 도구는 거부를 한 문장으로 반환하므로, 모델이 사용자에게 설명할 수 있습니다.

## WebReaderAPI에서 에이전트를 운영하는 비용은 얼마인가요?

페이지당 1 크레딧, 브라우저가 필요한 페이지는 2 크레딧입니다. 하루 100개의 질문에 답하고 각 질문마다 4페이지를 읽는 어시스턴트는 한 달에 약 12,000페이지를 읽습니다. 2026년 10월 기준으로 50,000페이지(US$14.25)이면 4개월을 커버합니다.

크레딧은 만료되지 않으므로, 한 주는 바쁘고 다음 주는 한가한 에이전트가 월간 할당량을 낭비하지 않습니다. 실패한 페이지와 robots.txt가 거부한 페이지는 비용이 없습니다.

## 어떤 팩이 에이전트에 적합한가요?

프로토타입은 10,000페이지으로; 에이전트가 실제 사용자를 서비스할 때는 50,000페이지이나 100,000페이지로 이동하세요. 크레딧은 만료되지 않습니다.

| 플랜 | 수량 | 가격 | 단가 |
| --- | --- | --- | --- |
| 테스트 | 10,000페이지 | US$3.75 | US$0.38/1K 페이지 |
| 스타터 | 50,000페이지 | US$14.25 | US$0.28/1K 페이지 |
| 구축 | 100,000페이지 | US$21.75 | US$0.22/1K 페이지 |

모든 플랜에 포함: 본문 추출 · 필요 시 JavaScript 렌더링 · 실패 및 거부된 페이지는 과금되지 않음 · 크레딧은 만료되지 않음

**결제 전 확인 사항**

- 최소 충전 US$25. 암호화폐로 한 번 충전한 뒤 잔액으로 모든 플랜을 구매하세요.
- 잔액에는 만료 기한이 없으며 언제든지 페이지 크레딧을 구매할 수 있습니다. 팩 가격이 최소 충전 금액보다 낮은 경우, 최소 금액을 채우기 위해 추가로 충전한 금액에 한해 결제일로부터 30일 이내에 요청 시 USDT 또는 USDC로 돌려받을 수 있으며, 해당 금액을 사용하지 않은 경우에만 가능합니다. 그 외의 잔액은 법령에서 달리 정하지 않는 한 환불되지 않습니다.
- 블록체인에서 결제가 확인되면 잔액에 반영됩니다. 일반적인 네트워크 확인 시간: BTC ≈ 20분 · USDT TRC-20 ≈ 1분 · USDT ERC-20 ≈ 5분 · USDC ERC-20 ≈ 5분 · ETH ≈ 5분 · SOL ≈ 1분 · LTC ≈ 15분

## AI 에이전트: 자주 묻는 질문

### WebReaderAPI를 Claude Desktop이나 Cursor에 추가할 수 있나요?

네, `read_url`을 노출하는 작은 MCP 서버를 통해 가능합니다. [MCP 페이지](https://webreaderapi.com/ko/docs/mcp/)에 코드와 구성 스니펫이 있으며, API 키는 환경 변수에 보관됩니다.

### OpenClaw와 함께 작동하나요?

네, OpenClaw의 내장 web_fetch 옆에 MCP 서버로 작동합니다. [OpenClaw 페이지](https://webreaderapi.com/ko/docs/openclaw/)는 OpenClaw 자체 문서의 명령을 보여줍니다.

### 에이전트가 AI 봇을 차단하는 페이지를 읽을 수 있나요?

아니요. robots.txt가 페이지를 허용하지 않으면 API는 `blocked_by_robots`을 반환하고, 사이트가 거부하면 사이트의 상태와 함께 `target_refused`을 반환합니다. 어느 쪽도 청구되지 않으며, 저희는 거부를 우회하려고 시도하지 않습니다.

### 긴 페이지가 컨텍스트 윈도를 채우는 것을 어떻게 막나요?

`max_chars`을 설정하세요. Markdown이 그 길이에서 잘리고, `word_count`이 전체 페이지 길이를 에이전트에 알려주므로 필요할 때만 더 요청할 수 있습니다.

### 카드나 신분증이 필요한가요?

아니요. WebReaderAPI는 신분증, 셀카, 서류, 카드를 요구하지 않습니다. 결제는 BTC, USDT, USDC, ETH, SOL, LTC로 하며, 최소 충전액은 US$25입니다.

## 출처

1. [보도자료: AI 크롤러 기본 차단](https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) — Cloudflare (2025-07-01)
2. [블로그: AI 크롤러와 에이전트를 위한 새로운 기본값](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) — Cloudflare (2026-09-15)
3. [웹 fetch 도구](https://docs.openclaw.ai/tools/web-fetch.md) — OpenClaw (read 2026-10-22)

---

WebReaderAPI: WebReaderAPI는 AI 에이전트를 위한 웹 리더 API로, 모든 공개 웹페이지를 깔끔한 Markdown으로 변환하며 신분증 업로드 없이 암호화폐로 결제합니다. US$0.07/1K 페이지부터 시작하는 선불 크레딧은 만료되지 않으며, robots.txt를 준수합니다. KYC 없음 — 신분증도, 셀피도, 서류도 없습니다. 암호화폐로 결제하세요.