Robots.txt : à quoi ça sert et comment l'utiliser sans risque

Il existe un petit fichier texte, souvent oublié, qui tient sur quelques lignes et peut pourtant faire disparaître un site entier de Google. Son nom : robots.txt. Une seule ligne mal placée dedans, et vous dites aux moteurs de recherche de ne plus explorer votre site. À l'inverse, bien réglé, il aide Google à concentrer son attention sur vos pages importantes. Autant le comprendre avant d'y toucher.

Le robots.txt fait peur à cause de son côté technique, mais son principe est simple, et ses erreurs classiques sont faciles à éviter une fois qu'on les connaît. Le vrai danger vient de la méconnaissance, pas de la complexité : c'est en croyant bien faire, sans comprendre ce que fait vraiment ce fichier, que l'on commet les erreurs les plus coûteuses.

Cet article vous explique ce que fait vraiment le robots.txt, ce qu'il ne fait pas, comment l'utiliser sans risque, et l'erreur qui coûte le plus cher aux sites qui la commettent.

1Le robots.txt, c'est quoi

Le robots.txt est un fichier texte placé à la racine de votre site, accessible en ajoutant simplement son nom après votre nom de domaine. Il donne des instructions aux robots des moteurs de recherche sur les parties du site qu'ils peuvent explorer ou qu'ils doivent ignorer. C'est le premier fichier que Google consulte en arrivant sur un site, comme un panneau à l'entrée qui indique où l'on peut aller et où l'on ne doit pas s'aventurer.

Son usage principal est d'éviter que les robots ne gaspillent leur temps sur des pages sans intérêt pour la recherche : espaces d'administration, pages techniques, résultats de recherche interne. En orientant l'exploration vers les pages utiles, on optimise ce que Google appelle le budget d'exploration, surtout précieux sur les gros sites. C'est une brique des fondations décrites dans notre guide du SEO technique.

Le fichier fonctionne avec des règles simples. On y désigne les robots concernés, puis on autorise ou interdit l'accès à certains chemins avec des instructions comme Allow et Disallow. On y indique aussi, par convention, l'adresse du sitemap qui liste vos pages importantes.

Les règles officielles de syntaxe sont décrites dans la documentation de Google sur le robots, la référence à laquelle se fier plutôt qu'aux recettes trouvées sur des forums. Comprendre au passage comment Google explore un site, via sa documentation sur le fonctionnement de la recherche, aide à saisir pourquoi ce fichier compte autant : il est la toute première consigne que le moteur lit avant d'explorer quoi que ce soit.

2Ce que le robots.txt fait, et ne fait pas

C'est la confusion la plus dangereuse, et elle mérite d'être clarifiée une fois pour toutes. Le robots.txt gère l'exploration : il dit aux robots où ils peuvent aller. Il ne gère pas l'indexation : il ne garantit pas qu'une page bloquée n'apparaîtra pas dans les résultats. Une page interdite d'exploration mais liée depuis ailleurs peut tout de même être indexée, sans son contenu, ce qui donne un résultat disgracieux.

Autrement dit, pour empêcher une page d'apparaître dans Google, le robots.txt est le mauvais outil. Il faut utiliser une balise noindex sur la page elle-même, ce qui suppose paradoxalement que Google puisse l'explorer pour lire cette consigne. Cette distinction entre exploration et indexation est au cœur du sujet, et nous la détaillons dans notre guide de l'indexation Google.

3L'erreur qui rend un site invisible

La faute la plus grave tient en une ligne : un Disallow appliqué à la racine du site, qui interdit l'exploration de tout le site d'un coup. Cette consigne est parfois activée volontairement pendant le développement, pour empêcher l'indexation d'un site en construction, puis oubliée à la mise en ligne. Résultat, le site reste invisible pour Google alors que tout le monde le croit en ligne, et l'on cherche partout la cause d'une absence de trafic qui se résume, en réalité, à une seule ligne oubliée dans un fichier que personne n'a pensé à rouvrir.

L'autre erreur fréquente est de bloquer les ressources nécessaires à l'affichage, comme les fichiers de style ou de script. Google a besoin de ces ressources pour comprendre et rendre correctement vos pages ; les lui interdire dégrade sa perception de votre site. Ces pièges font partie de ce que traque systématiquement un audit SEO technique, car leurs conséquences sont majeures et invisibles à l'oeil nu.

• Disallow sur la racine : bloque tout le site, la cause n°1 de disparition après une mise en ligne.
• Blocage des ressources CSS et JavaScript : Google rend mal la page et la comprend mal.
• Utiliser le robots.txt pour désindexer : inefficace, il faut une balise noindex.
• Oublier de mentionner le sitemap : occasion manquée d'aider la découverte.

4Comment l'utiliser et le vérifier sans risque

La bonne nouvelle, c'est que la plupart des sites n'ont besoin que d'un robots.txt minimal : autoriser l'exploration générale, bloquer quelques dossiers techniques ou d'administration, et indiquer le sitemap. Inutile de complexifier. Sur la plupart des CMS et frameworks, un robots.txt de base est généré automatiquement, et il suffit souvent de vérifier qu'il ne contient pas de blocage malheureux.

Avant toute modification, testez. La Google Search Console permet de vérifier le fichier et de voir comment Google l'interprète. Après une mise en ligne ou une refonte, le premier réflexe devrait être de l'ouvrir dans un navigateur pour s'assurer qu'aucun blocage général n'est resté actif. Ce contrôle de trente secondes évite des semaines d'invisibilité, et rejoint la logique de découverte facilitée par un bon sitemap.

5Le robots.txt dans une stratégie SEO complète

Le robots.txt est une pièce des fondations techniques, discrète mais critique. Bien réglé, il oriente l'exploration sans jamais faire de dégâts ; mal réglé, il peut annuler tout le reste de votre travail. C'est pourquoi il fait partie des premiers points vérifiés dans notre méthode de travail, avant même de parler de contenu ou de référencement naturel, car un site qu'on ne peut pas explorer ne se référence pas.

Ce fichier compte aussi pour les moteurs IA : de plus en plus de sites y autorisent ou y refusent explicitement les robots des intelligences artificielles, un choix stratégique quand on veut être cité par ChatGPT ou Perplexity, comme l'explique notre guide du GEO. Bien gérer son robots.txt, c'est donc décider consciemment qui peut lire votre site, moteurs classiques comme assistants IA.

Si vous préférez déléguer, une agence SEO ou un consultant SEO vérifie ce fichier dès les premières minutes d'un audit, tant son impact est structurel. C'est typiquement le genre de détail invisible qui sépare un site qui décolle d'un site qui reste bloqué sans que personne ne comprenne pourquoi, parfois pendant des mois.

Concrètement, le robots.txt fait partie d'un trio à vérifier ensemble en début de projet : le robots.txt qui autorise l'exploration, le sitemap qui liste les pages, et l'indexation qui confirme que Google les a bien gardées. Les trois se contrôlent en quelques minutes et forment la base sur laquelle tout le reste repose. C'est précisément ce que couvre un audit SEO en ouverture, avant même de parler mots-clés : s'assurer que la porte est ouverte, que le plan est fourni, et que Google entre réellement. Négliger cette étape, c'est risquer de bâtir une stratégie de contenu sur des fondations invisibles.

6Questions fréquentes sur le robots.txt

Le robots.txt est un petit fichier au pouvoir démesuré : il oriente l'exploration de votre site et, mal réglé, peut le faire disparaître. Retenez l'essentiel : il gère l'exploration et non l'indexation, ne bloquez jamais la racine ni les ressources d'affichage, et utilisez noindex pour désindexer une page. Après toute mise en ligne, jetez-y un oeil : trente secondes de vérification valent mieux que des mois d'invisibilité. Commencez par regarder ce que Google peut réellement explorer de votre site.