Webpagina's lezen in n8n AI-agents met de WebReaderAPI

Waarom de HTTP Request-node als tool gebruiken?

Omdat hij al alles doet wat deze API nodig heeft: één GET-request, één header en twee queryparameters. n8n documenteert dat de HTTP Request-node als gewone node kan draaien of als tool aan een AI-agent kan worden gekoppeld, en dat sommige opties alleen in de tool-vorm bestaan.

Er is niets van ons te installeren of bij te werken, en de sleutel staat in de credential-store van n8n in plaats van in de workflow. Geef n8n een eigen sleutel, zodat het gebruik ervan los zichtbaar is van je andere scripts en je hem apart kunt intrekken. Maak meerdere API-sleutels aan, bijvoorbeeld één per agent of project, en trek ze allemaal in vanuit je dashboard.

Hoe kiest het model de URL om te lezen?

Laat het model de parameter url bepalen. n8n toont naast geschikte parametervelden een knop die de waarde aan het model geeft, en je kunt de expressie ook zelf schrijven met de functie $fromAI() van n8n. Die neemt een key, een description, een type en een optionele default, bijvoorbeeld de key url, de description "The http or https address of the page to read" en het type string.

n8n documenteert dat $fromAI() alleen werkt in tools die aan de AI Agent-node zijn gekoppeld. Schrijf de toolbeschrijving ook in gewone woorden, zoals "Reads a public web page and returns its main content as Markdown", zodat de agent weet wanneer hij hem moet aanroepen.

Waarom Optimize Response aanzetten?

Omdat alles wat een tool teruggeeft in de context van het model belandt. Optimize Response is een optie die alleen voor tools bestaat en de data die naar het model gaat beperkt. Met het JSON-response type kun je alleen geselecteerde velden opnemen; houd title, final_url en markdown en laat de rest weg.

Beperk de lengte aan onze kant met max_chars, dat de Markdown afkapt voordat hij de API verlaat. De HTML- en Text-response types van de node hebben hun eigen Truncate Response-optie, maar met ons JSON-antwoord is max_chars de eenvoudigere controle.

Hoe gebruik ik de API in een geplande workflow?

Gebruik de HTTP Request-node als gewone node, niet als tool, achter een Schedule Trigger. Geef hem een vaste url, zoals een changelog of een prijspagina die je volgt, en stuur het veld markdown naar de volgende node: een bestand, een database, een chatbericht of een vergelijking met de vorige run.

Elke run leest één pagina per URL. Twintig pagina's één keer per dag volgen kost ongeveer 600 credits per maand voor pagina's zonder browser, dus 10.000 pagina's (US$ 3,75) gaat meer dan een jaar mee. Prepaid credits verlopen nooit: ongebruikte pagina's blijven op je account staan tot je ze gebruikt.

Wat gebeurt er als een site het lezen weigert?

De node ontvangt een foutresponse met een code zoals blocked_by_robots of target_refused, en er wordt niets gefactureerd. We respecteren robots.txt: onze crawler identificeert zich als WebReaderAPI, volgt de regels die voor hem of voor alle robots zijn geschreven, en leest geen pagina die een site niet toestaat. Geweigerde pagina's worden niet in rekening gebracht. Laat in een agent de tool de fout teruggeven, zodat het model hem kan uitleggen of een andere bron kan proberen; stuur in een geplande workflow fouten naar een branch die ze logt. De foutenpagina] somt elke code op.

Kan ik de call testen voordat ik de workflow bouw?

Voer dezelfde call uit in een terminal met curl, zoals getoond in de curl-recepten]. Als het daar werkt en in n8n mislukt, zit de oorzaak in de node-instellingen, meestal een credentialwaarde zonder het Bearer -voorvoegsel of een lege parameter url.