웹 리더 API 용어집

웹페이지의 마크업 언어입니다. 원시 HTML은 원하는 텍스트와 태그, 스크립트, 스타일링이 섞여 있어 언어 모델이 읽기에 좋지 않습니다.

Document Object Model: 브라우저가 HTML로부터 만들고 JavaScript로 변경하는 요소 트리입니다. 렌더링된 페이지는 원시 HTML이 아니라 DOM에서 읽습니다.

첫 응답 이후에 로드되는 콘텐츠가 나타나도록 브라우저에서 페이지의 스크립트를 실행하는 것입니다. WebReaderAPI가 필요할 때(render=auto) 이를 수행하며, 크레딧 1개 대신 2개가 듭니다.

화면 없이 소프트웨어로 구동되는 실제 브라우저 엔진입니다. JavaScript가 많은 페이지를 서버에서 렌더링하는 방식입니다.

독자가 원하는 부분(예: 기사나 문서)을 찾아 주변의 모든 것을 제외하는 것입니다. 저희 API에서는 기본값인 main_content=true입니다.

텍스트의 품질을 뜻하기도 하고, 브라우저의 읽기 모드처럼 페이지 블록을 점수화하여 본문을 찾는 잘 알려진 알고리즘 계열의 이름이기도 합니다.

사이트의 모든 페이지에서 반복되는 텍스트입니다. 메뉴, 쿠키 공지, 사이드바, 푸터, 공유 버튼 등입니다. 이를 제거하는 것이 웹 리더 작업의 대부분입니다.

#은 제목, -는 목록 항목, [text](url)은 링크를 표시하는 일반 텍스트 형식입니다. 모델이 잘 읽고 HTML보다 토큰을 훨씬 적게 씁니다.

페이지의 텍스트가 아니라 페이지에 관한 정보입니다. 제목, 설명, 작성자, 게시일, 언어 등입니다. WebReaderAPI는 페이지에 명시되어 있을 때 Markdown 옆에 이를 반환합니다.

PDF 파일의 텍스트를 Markdown으로 변환하는 것입니다. 최대 20 MB, 100페이지까지의 PDF 파일이 Markdown으로 변환되며, 시작된 10페이지 블록당 1 크레딧입니다.

사이트가 페이지 목록을 나열한 XML 파일입니다. 존재하는 경우 크롤링 작업이 여기서 시작되어 더 적은 요청으로 페이지를 더 빠르게 찾습니다.

구독자에게만 콘텐츠를 표시하는 장벽입니다. WebReaderAPI는 페이월 뒤를 읽지 않습니다.

목적을 위해 웹페이지를 가져오는 프로그램입니다. 저희 크롤러는 고객이 요청한 페이지만 가져오며, 봇 페이지에서 설명합니다.

클라이언트가 각 요청과 함께 보내는 이름입니다. 저희 것은 WebReaderAPI/1.0 (+https://webreaderapi.com/bot/)이므로 사이트 소유자는 누가 요청하는지 항상 알 수 있습니다.

크롤러가 가져올 수 있는 경로를 알려주는 사이트 루트의 파일로, RFC 9309로 표준화되었습니다. 우리는 robots.txt를 준수합니다. 크롤러는 WebReaderAPI로 자신을 식별하고, 자신 또는 모든 로봇을 위해 작성된 규칙을 따르며, 사이트가 허용하지 않은 페이지는 읽지 않습니다. 거부된 페이지는 과금되지 않습니다.

크롤러에게 요청 사이에 몇 초를 기다리라고 요청하는 robots.txt 줄입니다. 저희 크롤링 작업은 이를 준수합니다.

Content-Signal: search=yes, ai-input=no 같은 robots.txt 줄에 대한 정책으로, AI를 포함한 사이트 콘텐츠의 사용 방식을 명시합니다.

페이지를 AI 답변의 입력으로 사용하는 것을 다루는 Content Signals 설정입니다. 사이트가 robots.txt에 Content-Signal: ai-input=no를 선언하면, 해당 페이지를 대신 읽지 않습니다.

일부 사이트가 /llms.txt에 게시하여 언어 모델에게 콘텐츠와 주요 페이지에 대한 간단한 안내를 제공하는 Markdown 파일입니다.

사이트의 링크와 사이트맵을 따라가며 한 사이트의 여러 페이지를 읽는 것입니다. 작업당 웹사이트 하나를 크롤링하며, 최대 10,000페이지까지 사이트맵, robots.txt 및 Crawl-delay를 따릅니다.

하나의 요청으로 보내 백그라운드에서 처리하는 URL 목록입니다. 배치 작업당 최대 100개의 URL.

서버가 요청을 거부할 때 보내는 상태입니다. 사이트가 저희 크롤러에 403으로 응답하면 API는 target_refused을 반환하고 아무것도 청구하지 않습니다.

너무 많은 요청에 대한 상태입니다. 사이트에서 오면 속도를 늦추라는 뜻이고, 저희 API(concurrency_limit)에서 오면 계정이 동시 읽기 한도에 도달했다는 뜻입니다.

재시도하기 전에 실패할 때마다 더 오래 기다리는 것(예: 1초, 2초, 그다음 4초)으로, 바쁜 서버에 요청이 몰리지 않게 합니다.

언어 모델이 읽고 과금되는 단위로, 대략 짧은 단어 하나 또는 그 일부입니다. 깔끔한 Markdown은 같은 페이지를 HTML로 쓸 때보다 토큰을 훨씬 적게 씁니다.

모델이 한 번에 받아들일 수 있는 텍스트의 양입니다. max_chars 파라미터는 각 페이지가 설정한 예산 안에 있도록 유지합니다.

검색 증강 생성: 모델이 질문에 대해 가져온 문서로 답하는 방식입니다. 웹 리더는 실시간 페이지에서 그 문서를 제공합니다.

긴 문서를 색인하기 전에 구절로 나누는 것입니다. Markdown 제목은 자연스러운 분할 지점을 제공합니다.

구절의 의미를 나타내는 숫자 목록으로, 질문과 유사한 구절을 찾는 데 사용됩니다.

임베딩을 저장하고 쿼리에 가장 가까운 구절을 반환하는 데이터베이스로, RAG 시스템에서 청크된 웹페이지가 보통 저장되는 곳입니다.

모델이 애플리케이션에 URL 읽기 같은 함수 실행을 요청하고 그 결과를 사용하는 능력입니다. OpenAI function calling을 참고하세요.

Model Context Protocol로, Claude Desktop이나 Cursor 같은 AI 클라이언트에 도구를 연결하는 표준 방식입니다. 저희 MCP 페이지는 이 API로 만든 fetch 도구를 보여줍니다.

API 사용의 단위입니다. 1 크레딧 = 브라우저 없이 페이지 1회 읽기, 페이지가 JavaScript를 렌더링하는 데 브라우저가 필요하면 2 크레딧. 실패한 요청이나 사이트의 robots.txt가 거부한 요청은 과금되지 않습니다.

계정이 같은 순간에 실행할 수 있는 읽기 수입니다. 모든 계정에는 동시에 읽는 페이지 수에 대한 한도가 있으며, 대시보드에 표시됩니다. 지원팀이 이를 높일 수 있습니다.

고객 확인: 일부 서비스가 요구하는 신원 확인으로, 신분증 문서나 셀피 등이 있습니다. WebReaderAPI는 이를 요구하지 않습니다.

미국 달러 같은 통화를 추종하는 암호화폐입니다. USDT와 USDC가 충전에 허용되는 두 가지이며, 전체 코인 목록은 BTC, USDT, USDC, ETH, SOL, LTC입니다.