La balise Robots

La balise meta robots est présente sur tous les sites web. Elle guide les moteurs de recherche grâce à un certain nombre d’informations. Ce morceau de code est situé dans le head de la page, autrement dit, dans « l’entête » du code(à ne pas confondre avec l’entête HTTP).

Cette petite balise possède une grande incidence sur les pages. Elle donne en effet le pouvoir de décider des pages qui doivent être vues et explorées par les moteurs de recherche et celles qui doivent être cachées et interdites à l’indexation. Elle est donc indispensable, mais à utiliser avec précaution.

Conseils

• noindex indique au robot qu'il ne faut pas indexer la page. Cela ne signifie pas que le robot ne va pas la crawler : pour cela il faut utiliser le fichier robots.txt.
• nofollow indique au robot qu'il ne faut pas suivre les liens dans la page. Cela signifie que Google n'ira pas crawler les pages liées par la page contenant cette balise meta robots. Même si Google ne le précise pas dans son article, les moteurs ne tiendront pas non plus compte des liens présents sur la page dans leur algorithme
• index indique au robot qu'il peut indexer la page. Cette valeur étant celle par défaut, il est totalement inutile de l'indiquer !
• follow indique au robot qu'il peut suivre les liens dans la page. Cette valeur étant celle par défaut, il est totalement inutile de l'indiquer !