Robots meta tags en X-Robots-tags: noindex en nofollow

Kleine groene robot

Vooraleer een pagina kan verschijnen in de zoekresultaten, moet deze geïndexeerd worden door zoekmachines. Een pagina dat niet in de index staat, kan niet opgehaald worden om als zoekresultaat te tonen.

Soms wil je vermijden dat een pagina vertoond wordt in de zoekresultaten. Denk maar aan een admin pagina of een bedankpagina. In dat geval moet je crawlers erop wijzen dat je deze pagina niet wil laten indexeren.

Het is een vaak voorkomende misvatting dat je hiervoor een robots.txt-bestand kan gebruiken. Robots.txt bepaalt enkel welke pagina’s mogen gecrawld worden. Het heeft niks te maken met indexering.

Om te voorkomen dat een pagina geïndexeerd wordt, moet je een robots meta tag of X-Robots-tag gebruiken.

Wat zijn robots meta tags?

Robots meta tags zijn stukjes HTML-code die spiders vertellen hoe ze bepaalde pagina’s mogen crawlen en indexeren. Deze tags plaats je in de broncode van een webpagina, meer bepaald tussen de tags.

Een voorbeeld van een robots meta tag:

<meta name=”robots” content=”noindex”>

Deze tag geeft instructies aan alle spiders (robots) dat ze deze pagina niet mogen indexeren (noindex).

Belangrijk: Robots meta tags werken alleen wanneer spiders de pagina kunnen crawlen. Anders kunnen spiders de tag namelijk niet lezen. De pagina zou dan toch geïndexeerd kunnen worden.

Vermijd dus om een pagina te blokkeren in je robots.txt-bestand én een noindex robots meta tag te gebruiken.

De name parameters

Met de meta name ‘robots’ geef je instructies aan alle spiders.

 

Het is echter ook mogelijk om specifieke spiders aan te spreken. Zo bepaalt de tag <meta name=”googlebot” content=”noindex”> dat enkel crawlers van Google deze pagina niet mogen indexeren. Crawlers van andere zoekmachines zullen deze tag negeren en de pagina wel indexeren.

 

Wil je meerdere spiders (maar niet alle spiders) aanspreken, dan moet je voor elke spider een aparte robots meta tag voorzien.

 

Dit voorbeeld betreft enkel de crawlers van Google en Bing:

 

<meta name=”googlebot” content=”noindex”>
<meta name=”bingbot” content=”noindex”>

 

Google en Bing zullen deze pagina niet indexeren, maar andere zoekmachines zoals Yahoo wel.

De verschillende content parameters

Hieronder vind je een lijst van de content parameters die je kan gebruiken en wat ze betekenen voor crawlers.

Dit zijn veruit de vaakst gebruikte parameters:

  • index: indexeer deze pagina
  • noindex: indexeer deze pagina niet
  • follow: volg de links op deze pagina om andere pagina’s te ontdekken en link equity door te geven
  • nofollow: volg de links op deze pagina niet (en geef dus geen link equity door)

Opmerking: De parameters ‘index’ en ‘follow’ zijn de standaardwaarden. Deze hoef je in principe niet te vermelden. Wanneer er geen robots meta tag voorzien is, zijn dit de waarden die automatisch gebruikt worden.

Daarnaast kan je ook de volgende parameters gebruiken:

  • noimageindex: indexeer de afbeeldingen op deze pagina niet
  • none: gelijkwaardig aan ‘noindex, nofollow’ (sommige zoekmachines zoals Bing ondersteunen dit niet, dus beter gebruik je toch ‘noindex, nofollow’)
  • noarchive: toon geen gecachte link naar deze pagina in zoekresultaten
  • nocache: hetzelfde als noarchive, maar enkel voor Internet Explorer en Firefox
  • nosnippet: toon geen snippet van deze pagina in de zoekresultaten
  • notranslate: toon geen vertaling van deze pagina in de zoekresultaten
  • unavailable_after: toon deze pagina niet in de zoekresultaten na een bepaalde datum (dus eigenlijk noindex, maar slechts geldig vanaf een toekomstig tijdstip)
  • max-snippet: gebruik maximum dit aantal tekens in een text snippet
  • max-image-preview: afbeeldingen mogen deze grootte zijn in image snippets (of mogen niet getoond worden)
  • max-video-preview: een video snippet mag maximum zoveel seconden bevatten

Wat als parameters elkaar tegenspreken?

In het geval dat er een conflict ontstaat, bijvoorbeeld door ‘index, noindex’ te gebruiken, dan zal Google de meest restrictieve parameter gebruiken. In dit geval zou dat ‘noindex’ zijn.

Wat zijn X-robots-tags?

Omdat robots meta tags tussen de tags moeten geplaatst worden, zijn ze enkel bruikbaar op HTML-pagina’s. Daarom kan je ze niet gebruiken bij onder andere pdf’s, word-bestanden, afbeeldingen of video’s. Daar bieden X-robots-tags een oplossing voor.

X-robots-tags kunnen gebruikt worden als element van een HTTP-headerreactie. Dit heeft als voordeel dat ze niet beperkt zijn tot HTML-pagina’s.

Een ander voordeel is dat het mogelijk is om slechts enkele elementen van een pagina te weerhouden van geïndexeerd te worden, in plaats van de volledige pagina.

Meestal wordt de X-robots-tag geplaatst in een .htaccess-bestand. Je kan ook instructies geven die voor je volledige site van kracht zijn. Om ‘noindex’ en ‘nofollow’ te gebruiken voor alle pdf’s van je website, kan je de volgende snippet toevoegen aan een .htacces-bestand:


  Header set X-Robots-Tag “noindex, nofollow”


Het nadeel aan X-robots-tags is dat ze moeilijker te implementeren zijn als je de technische kennis niet hebt.

De X-robots-tag gebruikt dezelfde parameters als een robots meta tag.

Gerelateerde berichten

Scroll to Top