Hızlı yanıt
Bir web sayfasını bir LLM için Markdown'a nasıl dönüştürürüm?
Sayfayı getirin, yalnızca ana içeriğini tutun, ardından başlıkları, listeleri, tabloları ve bağlantıları Markdown'a dönüştürün ve uzunluğu modelinizin bütçesine göre sınırlandırın. Bunu elle, açık kaynak kütüphanelerle veya tek bir API çağrısıyla yapabilirsiniz: WebReaderAPI sayfa başına bir kredi karşılığında Markdown ve meta verileri döndürür; Ekim 2026 itibarıyla $0,07/1K sayfa başlangıç fiyatıyla. KYC yok; kripto ile ödeme yapın.
Bir web sayfasından Markdown almanın üç yolu
| Elle | Metni tarayıcıdan veya okuyucu görünümünden kopyalayın; birkaç sayfa için uygundur |
|---|---|
| Açık kaynak kütüphaneler | Kendi getiricinizin içinde Readability, Trafilatura, MarkItDown veya Crawl4AI |
| Bir web okuyucu API'si | GET https://webreaderapi.com/api/v1/read?url=… Markdown, başlık, yazar ve tarih döndürür |
| Uzunluk kontrolü | max_chars üzerinde WebReaderAPI veya dönüştürmeden sonra metni kendiniz kesin |
| JavaScript sayfaları | headless tarayıcı gerekir; WebReaderAPI gerektiğinde sayfaları 2 kredi karşılığında render eder |
Hangi yöntemi kullanmalıyım?
Hacme ve ne kadar altyapı işletmek istediğinize göre seçin.
| Yöntem | Uygun olduğu durum | Sizin üstlendiğiniz |
|---|---|---|
| Kopyala yapıştır | Bir avuç sayfa, tek seferlik bir sorgu | Elle temizleme |
| Kodunuzda kütüphane | Düzenli hacimler, tam kontrol | Getirme, tarayıcılar, robots.txt, PDF'ler, yeniden denemeler |
| Web okuyucu API'si | Çok sayıda site okuyan agent'lar ve pipeline'lar | Yalnızca istek ve sonuç |
Kütüphaneler size kontrol verir ve sayfa başına ücret yoktur. Maliyet operasyoneldir: JavaScript sayfaları için headless tarayıcı, robots.txt kontrolü, karakter seti ve yönlendirme işleme ve PDF'ler için ayrı bir yol. Bir API tüm bunları tek bir HTTP çağrısında toplar.
İyi Markdown neyi korumalı, neyi atmalı?
İyi Markdown anlam taşıyan her öğeyi korur ve yalnızca düzen veya pazarlama için var olan her şeyi atar.
- Başlıkları
#,##ve###olarak koruyun: her konunun nerede başladığını modele ve chunker'ınıza söylerler. - Listeleri ve tabloları Markdown listeleri ve pipe tabloları olarak koruyun, böylece adımlar ve sayılar okunabilir kalır.
- Bağlantıları
[text](url)olarak koruyun: bir asistanın kaynakları alıntılamasına ve takip etmesine olanak tanırlar. - Kod bloklarını çitle çevrili koruyun, sayfada gösterildiğinde dil ile birlikte.
- Menüleri, çerez bildirimlerini, reklamları, ilgili yazı bileşenlerini ve altbilgileri atın: her sayfada tekrar eder ve retrieval'ı kirletir.
Sonucu birkaç gerçek sayfanızda kontrol edin. Çıkarım araçları en çok forumlarda, uzun tablolarda ve birden fazla makale içeren sayfalarda farklılaşır.
Markdown HTML'den ne kadar küçük?
Genellikle çok daha küçük, çünkü sayfa süsleri ve markup ortadan kalkar. Cloudflare, 12 Şubat 2026'da Markdown for Agents özelliğini başlattığında, örnek sayfası HTML olarak 16.180 token'dan Markdown olarak 3.150 token'a düştü, yaklaşık %80 daha az.
Kendi oranınız siteye bağlıdır. Uzun makaleler, yüzde olarak, ağır şablonlarla sarılmış kısa sayfalardan daha az küçülür. Bir bütçe belirlemeden önce kaynaklarınızda ölçün.
Bir sayfayı modelimin token bütçesinde nasıl tutarım?
Metni modele ulaşmadan önce sınırlayın, sonra kalanı başlıklara göre bölün. WebReaderAPI ile max_chars parametresi Markdown'ı belirli bir uzunlukta, 1.000 ile 500.000 karakter arasında keser. word_count alanı tam makalenin ne kadar uzun olduğunu söyler, böylece bir agent geri kalanını okumanın buna değip değmeyeceğine karar verebilir.
Retrieval için önce başlıklara göre bölün, ancak ondan sonra uzun bölümleri kesin. Kendi başlığıyla başlayan bir chunk konusunu korur; uzun bir sayfadan cümle ortasında kesilen bir chunk korumaz.
import os
import re
import requests
API = "https://webreaderapi.com/api/v1/read"
HEADERS = {"Authorization": "Bearer " + os.environ["WEBREADER_API_KEY"]}
def page_to_chunks(url, max_chars=60000, chunk_len=1500):
params = {"url": url, "format": "markdown", "max_chars": max_chars}
resp = requests.get(API, headers=HEADERS, params=params, timeout=90)
data = resp.json()
if resp.status_code != 200:
print("not read:", data["error"]["code"])
return []
chunks = []
for section in re.split(r"\n(?=#{1,3} )", data["markdown"]):
section = section.strip()
while section:
chunks.append(section[:chunk_len])
section = section[chunk_len:]
return [{"text": c, "source": data["final_url"], "title": data["title"]} for c in chunks]
if __name__ == "__main__":
for chunk in page_to_chunks("https://example.com/guides/compost")[:3]:
print(chunk["title"], "|", chunk["text"][:80])
Genellikle ne ters gider ve bunu nasıl fark ederim?
Kötü dönüşümlerin çoğu dört sorundan kaynaklanır:
- Boş çıktı. Sayfa içeriğini JavaScript ile oluşturur. Düşük bir
word_countarayın; sayfayı bir tarayıcıda render edin veyarender=trueayarlayın. - Sonuçta çerez veya onay metni. Çıkarıcı bir banner'ı korumuştur. Ana içeriği çıkarmayı tercih edin ve her sonucun ilk satırlarını kontrol edin.
- Eksik tablolar. Bazı siteler tabloları görsel veya canvas öğeleri olarak çizer; hiçbir metin çıkarıcı bunları okuyamaz.
- Sayfa yerine bir ret. Site robots.txt'de robots'a izin vermemiş veya isteği reddetmiştir. Buna saygı gösterin: erişim için site sahibinden isteyin veya site sunuyorsa resmi bir API ya da feed kullanın.
Bunların hiçbiri daha hızlı yeniden denemeyle çözülmez. Hatayı okuyun, sonra yöntemi veya kaynağı değiştirin.
Web sayfasından Markdown'a: sık sorulan sorular
Bir LLM için Markdown düz metinden daha mı iyi?
Çoğu sayfa için evet. Markdown başlıkları, listeleri, tabloları ve bağlantıları küçük bir token maliyetiyle korur, böylece model yapıyı görebilir ve kaynakları alıntılayabilir. Düz metin biraz daha kısadır ama bu yapıyı kaybeder.
Tek bir sayfa değil, bütün bir web sitesini dönüştürebilir miyim?
Evet. Siteyi tarayın (crawl) ve her sayfayı dönüştürün. WebReaderAPI'ın crawl API'si her ikisini tek bir işte yapar: İş başına bir web sitesi tarama (crawl), 10.000 sayfaya kadar, sitemap'ini, robots.txt'ini ve Crawl-delay'ini izleyerek.
Bir PDF'yi de aynı şekilde dönüştürebilir miyim?
Evet, PDF'nin URL'sini aynı endpoint'e göndererek. 20 MB ve 100 sayfaya kadar PDF dosyaları, başlayan her 10 sayfalık blok için 1 kredi ile Markdown'a dönüştürülür.
Giriş gerektiren sayfalar ne olacak?
Kendi sayfalarınız değilse ve kendiniz dışa aktarmadıysanız, bunları üçüncü taraf bir hizmet üzerinden dönüştürmeyin. WebReaderAPI yalnızca herkese açık sayfaları okur ve hesaplara asla giriş yapmaz.
Bunu yapmanın ücretsiz bir yolu var mı?
Açık kaynaklı kütüphaneler kullanımı ücretsizdir ve kendi makinelerinizde çalışır. WebReaderAPI'ın ücretsiz katmanı yoktur; en küçük paketi $3,75 için 10.000 sayfa, KYC olmadan kripto ile ödenir.
Kaynaklar (1)
- Markdown for Agents'ı tanıtıyoruz — Cloudflare (2026-02-12)