Waarom AI-crawlers je trage website overslaan (en hoe je dat oplost)

Een bezoeker tikt op je link vanaf zijn telefoon, ziet drie seconden een wit scherm en gaat terug naar de zoekresultaten. Diezelfde traagheid kost je niet alleen die bezoeker. Zoekmachines en AI-assistenten hebben een beperkt budget per website, en een pagina die telkens laat antwoordt wordt minder vaak opgehaald.

Key takeaways

• Google meet drie dingen: laadtijd (LCP), reactiesnelheid (INP) en verspringen van de lay-out (CLS). De drempels voor goed zijn 2,5 seconden, 200 milliseconden en 0,1.
• Meet altijd op mobiel en op 4G. Je eigen laptop op wifi geeft een veel te rooskleurig beeld.
• Afbeeldingen zijn bij de meeste KMO-sites de grootste boosdoener. Verkleinen en converteren naar WebP levert vaak in een uur het meeste op.
• Content die pas na het uitvoeren van scripts verschijnt, is voor een crawler een gok. Zorg dat je kernboodschap in de eerste HTML staat.
• Meet opnieuw na elke ingreep. Zonder nulmeting weet je niet of je iets hebt opgelost of alleen iets hebt veranderd.

Stap 1: Doe een eerlijke nulmeting

Ga naar PageSpeed Insights van Google, vul het adres van je belangrijkste pagina in en kies het tabblad voor mobiel. Noteer drie getallen: de Largest Contentful Paint, de Interaction to Next Paint en de Cumulative Layout Shift. Test niet alleen je homepage. Neem ook een dienstenpagina en een contactpagina mee, want die halen bezoekers vaak rechtstreeks uit een zoekresultaat.

Sla het rapport op als PDF of maak een schermafbeelding. Dat is je nulmeting.

Je weet dat deze stap gelukt is als je van drie pagina's de mobiele scores op papier hebt staan, met de datum erbij.

Stap 2: Ruim je afbeeldingen op

Open je site en klik met de rechtermuisknop op de grootste afbeelding bovenaan. Kies voor het openen van de afbeelding in een nieuw tabblad en kijk naar de bestandsgrootte. Alles boven 300 kilobyte is bij een gewone websitefoto te zwaar.

Verklein de foto's tot maximaal de breedte waarop ze echt getoond worden. Een banner van 1600 pixels breed hoeft geen bestand van 4000 pixels te zijn. Converteer daarna naar WebP met een gratis tool als Squoosh. Zet in je websitebouwer lazy loading aan voor alles onder de vouw, maar juist niet voor de eerste grote afbeelding: die moet zo snel mogelijk komen.

Je weet dat het gelukt is als geen enkele afbeelding op je startpagina nog boven 300 kilobyte zit en de LCP-waarde in een nieuwe meting zichtbaar gedaald is.

Stap 3: Haal scripts weg die niemand mist

De meeste tragere KMO-sites slepen code mee van tools die allang niet meer gebruikt worden. Een oude chatwidget, twee analysepakketten naast elkaar, een lettertype dat van drie verschillende servers komt. Elk van die verzoeken houdt de browser bezig.

Maak een lijst van alle externe scripts op je site. In de browser vind je die onder de ontwikkelaarsopties bij het netwerkoverzicht. Vraag jezelf per regel af wanneer je die tool voor het laatst hebt gebruikt. Verwijder wat je niet kunt verantwoorden. Laat de rest asynchroon laden zodat de pagina niet op de scripts hoeft te wachten.

Je weet dat het gelukt is als het aantal externe verzoeken op je startpagina merkbaar lager ligt en de INP-waarde onder 200 milliseconden komt.

Stap 4: Zorg dat je boodschap in de HTML staat

Bekijk je pagina met de optie voor het tonen van de paginabron. Zoek daarin naar je eigen kernzinnen: wat je doet, voor wie, in welke regio. Staan die zinnen er niet in, dan komt je content pas tot stand nadat de browser scripts heeft uitgevoerd.

Voor een gewone bezoeker maakt dat weinig verschil. Voor een crawler wel. Wie jouw pagina ophaalt en alleen een leeg omhulsel krijgt, heeft geen reden om je te citeren. Vraag je webbouwer om server-side rendering of statische generatie voor de pagina's die klanten moeten binnenhalen.

Je weet dat het gelukt is als je je belangrijkste zin letterlijk terugvindt in de paginabron, zonder dat je iets hoeft uit te klappen.

Aanbevolen platforms en tools

Tips en tricks

• Meet twee keer achter elkaar. De eerste meting valt vaak lager uit door een koude cache en dat leidt tot verkeerde conclusies.
• Kies één lettertype en laad hooguit twee gewichten. Elk extra gewicht is een apart bestand.
• Zet een vaste breedte en hoogte op je afbeeldingen. Dat voorkomt dat de tekst verspringt terwijl de foto binnenkomt, wat je CLS-score ondermijnt.
• Laat cookiebanners nooit als eerste element laden. Ze staan bovenop je belangrijkste inhoud en tellen mee in je laadtijd.
• Test na elke wijziging aan je website opnieuw. Snelheid is geen project maar een gewoonte.
• Zoek in je serverlogboek naar GPTBot en PerplexityBot. Zo zie je zwart op wit of AI-crawlers je site echt ophalen.

Doe de zelfscan

Begin morgen met de nulmeting en het opruimen van je afbeeldingen. Die twee stappen kosten samen een ochtend en leveren bijna altijd het grootste verschil op. Blijft je site daarna traag, dan ligt het aan de hosting of aan de opbouw van de pagina, en dat is het moment om er een webbouwer bij te halen.