Bảng thuật ngữ web reader API

Ngôn ngữ đánh dấu của các trang web. HTML thô trộn lẫn văn bản bạn muốn với các thẻ, script và định dạng, đó là lý do nó khó đọc đối với mô hình ngôn ngữ.

Document Object Model: cây phần tử mà trình duyệt dựng từ HTML và sau đó thay đổi bằng JavaScript. Một trang đã render được đọc từ DOM, không phải từ HTML thô.

Chạy các script của một trang trong trình duyệt để nội dung được tải sau phản hồi đầu tiên xuất hiện. WebReaderAPI thực hiện việc này khi cần (render=auto), với hai credit thay vì một.

Một engine trình duyệt thực chạy không có màn hình, được điều khiển bằng phần mềm. Đây là cách các trang nặng JavaScript được render trên máy chủ.

Tìm phần của trang mà người đọc muốn, chẳng hạn bài viết hoặc tài liệu, và bỏ qua mọi thứ xung quanh. Trong API của chúng tôi, đây là main_content=true, chế độ mặc định.

Vừa là một phẩm chất của văn bản, vừa là tên của một họ thuật toán nổi tiếng chấm điểm các khối trên trang để tìm nội dung chính, giống như chế độ đọc trong trình duyệt.

Văn bản lặp lại trên mọi trang của một site: menu, thông báo cookie, thanh bên, footer, nút chia sẻ. Loại bỏ nó là phần lớn công việc của một web reader.

Một định dạng văn bản thuần trong đó # đánh dấu tiêu đề, - một mục trong danh sách và [text](url) một liên kết. Các mô hình đọc nó tốt và nó dùng ít token hơn nhiều so với HTML.

Các thông tin về một trang chứ không phải văn bản của nó: tiêu đề, mô tả, tác giả, ngày xuất bản, ngôn ngữ. WebReaderAPI trả chúng về bên cạnh Markdown khi trang có nêu.

Chuyển văn bản của một file PDF sang Markdown. Tệp PDF tối đa 20 MB và 100 trang được chuyển sang Markdown, với 1 credit cho mỗi khối 10 trang bắt đầu.

Một file XML trong đó một site liệt kê các trang của mình. Một job crawl bắt đầu từ nó khi nó tồn tại, giúp tìm trang nhanh hơn và với ít request hơn.

Một rào cản chỉ hiển thị nội dung cho người đăng ký. WebReaderAPI không bao giờ đọc phía sau nó.

Một chương trình tải các trang web cho một mục đích. Của chúng tôi chỉ tải những trang khách hàng yêu cầu, và trang bot mô tả nó.

Tên mà một client gửi kèm mỗi request. Của chúng tôi là WebReaderAPI/1.0 (+https://webreaderapi.com/bot/), nên chủ site luôn biết ai đang yêu cầu.

Một file ở gốc của một site cho crawler biết những đường dẫn chúng được phép tải, được chuẩn hóa thành RFC 9309. Chúng tôi tôn trọng robots.txt: crawler của chúng tôi tự nhận là WebReaderAPI, tuân theo các quy tắc dành cho nó hoặc cho tất cả robot, và không đọc trang mà website không cho phép. Trang bị từ chối không bị tính phí.

Một dòng trong robots.txt yêu cầu crawler chờ một số giây giữa các request. Các job crawl của chúng tôi tuân thủ nó.

Một chính sách cho các dòng trong robots.txt như Content-Signal: search=yes, ai-input=no, nêu rõ nội dung của một site được sử dụng thế nào, bao gồm cả bởi AI.

Cài đặt Content Signals bao trùm việc dùng một trang làm đầu vào cho một câu trả lời AI. Nếu một website khai báo Content-Signal: ai-input=no trong robots.txt, chúng tôi không đọc các trang của trang đó cho bạn.

Một file Markdown mà một số site công bố tại /llms.txt để cung cấp cho các mô hình ngôn ngữ một hướng dẫn ngắn về nội dung và các trang chính của họ.

Đọc nhiều trang của một site bằng cách theo các liên kết và sitemap của nó. Crawl một website mỗi job, tối đa 10.000 trang, theo sitemap, robots.txt và Crawl-delay của trang.

Một danh sách URL được gửi trong một request và xử lý ở chế độ nền. Tối đa 100 URL mỗi batch job.

Mã trạng thái mà máy chủ gửi để từ chối một request. Khi một site trả lời 403 cho crawler của chúng tôi, API trả về target_refused và không tính phí gì.

Trạng thái cho quá nhiều yêu cầu. Từ một trang web, nghĩa là hãy chậm lại; từ API của chúng tôi (concurrency_limit), nghĩa là tài khoản của bạn đã đạt giới hạn số lần đọc đồng thời.

Chờ lâu hơn sau mỗi lần thử thất bại (ví dụ 1, 2, rồi 4 giây) trước khi thử lại, để không làm quá tải một server đang bận.

Đơn vị mà một mô hình ngôn ngữ đọc và bị tính phí, xấp xỉ một từ ngắn hoặc một phần của từ. Markdown sạch dùng ít token hơn nhiều so với cùng trang đó ở dạng HTML.

Lượng văn bản mà một mô hình có thể tiếp nhận cùng lúc. Tham số max_chars giữ mỗi trang trong giới hạn bạn đặt ra.

Retrieval-augmented generation: mô hình trả lời dựa trên các tài liệu được lấy về cho câu hỏi. Một web reader cung cấp những tài liệu đó từ các trang trực tiếp.

Chia một tài liệu dài thành các đoạn trước khi lập chỉ mục. Các tiêu đề Markdown tạo ra những điểm chia tự nhiên.

Một danh sách số biểu diễn ý nghĩa của một đoạn, được dùng để tìm các đoạn tương tự với một câu hỏi.

Một cơ sở dữ liệu lưu embeddings và trả về các đoạn gần nhất với một truy vấn, nơi thường trú của các trang web đã chia chunk trong một hệ thống RAG.

Khả năng của một mô hình yêu cầu ứng dụng chạy một hàm, ví dụ đọc một URL, và sử dụng kết quả. Xem OpenAI function calling.

Model Context Protocol, một cách chuẩn để cắm các công cụ vào các AI client như Claude Desktop hay Cursor. Trang MCP của chúng tôi trình bày một công cụ fetch được xây trên API.

Đơn vị sử dụng của API. 1 credit = đọc 1 trang không cần trình duyệt; 2 credit khi trang cần trình duyệt để render JavaScript. Yêu cầu thất bại, hoặc bị robots.txt của trang web từ chối, không bị tính phí.

Số lần đọc mà tài khoản của bạn có thể chạy cùng một lúc. Mỗi tài khoản có giới hạn số trang đọc cùng lúc; dashboard của bạn hiển thị giới hạn đó, và bộ phận hỗ trợ có thể tăng lên.

Know your customer: các kiểm tra danh tính mà một số dịch vụ yêu cầu, như giấy tờ tùy thân hoặc ảnh selfie. WebReaderAPI không yêu cầu điều nào.

Một loại tiền mã hóa bám theo một đồng tiền như đô la Mỹ. USDT và USDC là hai loại được chấp nhận để nạp tiền; danh sách đầy đủ các coin là BTC, USDT, USDC, ETH, SOL, LTC.