Zo houdt u de zoekpagina van uw eigen site uit Google
Elke zoekopdracht op uw site maakt een nieuwe URL. Googlebot volgt die allemaal. Met robots.txt of een noindex-tag houdt u die eindeloze rij pagina's buiten de index.
Google vindt uw pagina's via links op uw site. Heeft uw website een zoekfunctie, dan maakt elke zoekopdracht een nieuwe URL aan. Googlebot volgt die URL's, ook als er nooit iemand op klikt. Zo groeit uw site met pagina's die u zelf nooit heeft geschreven.
Kort samengevat
- Een zoekresultatenpagina op uw eigen site levert eindeloos veel URL's op, die Google allemaal kan crawlen.
- U houdt die URL's weg met een blokkade in robots.txt, met een noindex-tag of met beide.
- U controleert het resultaat in Search Console en kijkt of er geen echte pagina's verdwijnen.
Wat er aan de hand is
Een interne zoekresultatenpagina werkt als een sjabloon. De URL verandert mee met wat de bezoeker intypt, maar de pagina zelf bestaat nog niet voordat iemand zoekt. Voor Google is dat verwarrend: de zoekmachine ziet een pagina met weinig eigen inhoud, en tegelijk een oneindige reeks URL's die allemaal hetzelfde doen. Een crawler die daar terechtkomt, kan blijven doorgaan.
Dat kost u op drie manieren tijd en geld. Googlebot besteedt zijn bezoek aan pagina's zonder waarde, uw server moet elke aanvraag verwerken, en in het slechtste geval raakt uw databank overbelast. Bovendien kan iemand met kwade bedoelingen uw zoekfunctie gebruiken om rommel te verspreiden. De podcast hieronder gaat precies daarover.
Weet u niet of uw site zulke pagina's heeft? Typ in Google site:uwdomein.be ?s= of site:uwdomein.be /search. Krijgt u resultaten, dan heeft Google ze gevonden, ook al heeft u ze nooit gemaakt.
De tip in vier zinnen
Zoek in Search Console naar URL's met een vraagteken, zoals ?s= of ?q=, en naar paden met /search. Zet die paden op slot in robots.txt met een regel die breed genoeg is, bijvoorbeeld Disallow: /*?s=. Kies bewust tussen een blokkade en een noindex-tag, want wie het crawlen verbiedt, kan daarna de noindex-tag niet meer laten lezen. Controleer na de wijziging het robots.txt-rapport in Search Console en kijk of er geen pagina's met een zinvolle parameter mee geblokkeerd worden.
De video
In deze aflevering van Search Off the Record van Google Search Central praten de mensen achter Googlebot over zoekpagina's op uw eigen site. Het gesprek duurt ongeveer een half uur en gaat over ontdekking, crawlruimte en de maatregelen die echt werken.
Wat u in die video ziet
De aflevering volgt één vraag: wat doet u met de zoekpagina van uw eigen site? Deze momenten helpen u verder.
- 0:00 Intro en kennismaking.
- 0:45 Wat een interne zoekresultatenpagina precies is.
- 1:26 Hoe Googlebot die pagina's vindt en zo een eindeloze ruimte ontstaat.
- 4:15 Wat het kost aan crawlruimte, serverbelasting en databankwerk.
- 7:32 Blokkeren in robots.txt of werken met een noindex-tag.
- 10:09 Waarom de verwijderingstool in Search Console hier geen oplossing is.
- 12:35 Nooit een 500-fout tonen aan bots.
- 13:56 Uitzonderingen per CMS, zoals tagpagina's en blogcategorieën.
- 15:26 Brede patronen in robots.txt schrijven die niet te veel raken.
- 18:17 Wanneer u een zoekpagina toch laat indexeren.
- 20:41 Het spamrisico wanneer iemand uw zoekfunctie misbruikt.
- 25:06 Preventieve maatregelen voor uzelf en voor klanten.
- 27:04 Wat er misgaat bij een luie doorverwijzing in de zoekfunctie.
De rode draad is eenvoudig. U beslist zelf welke pagina's waarde hebben en welke niet. Een zoekresultatenpagina hoort meestal bij de tweede groep, tenzij de pagina's er echt iets toevoegen aan uw aanbod.
De sprekers zeggen ook iets belangrijks over de methode. Een blokkade in robots.txt en een noindex-tag lossen niet hetzelfde op. Wie zijn crawler buiten houdt, kan hem daarna niet meer vertellen dat de pagina niet in de resultaten hoort. Dat lijkt een detail, maar het verklaart waarom ondernemers soms maanden naar een oplossing zoeken die niet kan werken.
Waar het misgaat op uw zoekpagina
De valkuil die het gesprek niet uitdiept, zit in de breedte van uw regel. Wie alle URL's met een vraagteken blokkeert, raakt ook de parameters die u wél wilt houden. Denk aan een pagina met een filter dat klanten echt gebruiken, of een parameter die uw campagnes meetelt. Blokkeert u te veel, dan verdwijnen pagina's die bezoekers nodig hebben, en in Search Console ziet u daarna een lange lijst met meldingen over een blokkade door robots.txt. Loop uw lijst dus een keer na voordat u de regel live zet.
Wat u vandaag doet
- Open in Search Console het rapport Pagina's en filter op URL's met een vraagteken.
- Noteer welke zoek- en filter-URL's uw site aanmaakt.
- Schrijf de robots.txt-regel en controleer daarna het robots.txt-rapport in Search Console.
- Zet de zoekpagina zelf op noindex, of kies bewust voor alleen de blokkade.
- Kijk een week later of de gemelde URL's verdwijnen en of er geen echte pagina's geraakt zijn.
Loopt u vast op de keuze tussen blokkeren en noindex, of wilt u weten welke pagina's van uw site echt waarde hebben? Onze dienst SEO en vindbaarheid brengt dat in kaart. Wilt u eerst zelf lezen hoe u robots.txt netjes opbouwt, lees dan ons artikel over robots.txt voor AI-crawlers.
Wilt u zien wat er voor uw eigen site mogelijk is? Vraag een gratis proefhomepage aan via https://www.hisarweb.be/proefhomepage.
