{"id":9127,"date":"2021-07-01T06:03:55","date_gmt":"2021-07-01T11:03:55","guid":{"rendered":"https:\/\/keyword.com\/blog\/indexe-bien-que-bloque-par-robots-txt-tout-ce-que-vous-devez-savoir\/"},"modified":"2024-11-21T13:10:24","modified_gmt":"2024-11-21T18:10:24","slug":"indexe-bien-que-bloque-par-robots-txt-tout-ce-que-vous-devez-savoir","status":"publish","type":"blog","link":"https:\/\/keyword.com\/fr\/blog\/indexe-bien-que-bloque-par-robots-txt-tout-ce-que-vous-devez-savoir\/","title":{"rendered":"Index\u00e9, bien que bloqu\u00e9 par Robots.txt : tout ce que vous devez savoir"},"content":{"rendered":"<p>D\u00e9couvrez comment vous pouvez appliquer l\u2019optimisation Robots.txt pour de meilleures performances SEO. Si vous avez des pages de votre site Web que Google a index\u00e9es, mais que vous ne pouvez pas explorer, vous recevrez un message \u00ab&nbsp;Index\u00e9es, bien que bloqu\u00e9es par Robots.txt&nbsp;\u00bb sur votre Google Search Console (GSC).<\/p>\n<p>Bien que Google puisse afficher ces pages, il ne les affichera pas dans le cadre des pages de r\u00e9sultats des moteurs de recherche pour leurs mots-cl\u00e9s cibles.<\/p>\n<p>Si tel est le cas, vous manquerez l\u2019opportunit\u00e9 d\u2019obtenir du trafic organique pour ces pages.<\/p>\n<p>Ceci est particuli\u00e8rement crucial pour les pages g\u00e9n\u00e9rant des milliers de visiteurs organiques mensuels qui rencontrent ce probl\u00e8me.<\/p>\n<p>\u00c0 ce stade, vous avez probablement beaucoup de questions sur ce message d\u2019erreur. Pourquoi l\u2019avez-vous re\u00e7u ? Comment cela s\u2019est-il pass\u00e9 ? Et, plus important encore, comment pouvez-vous y rem\u00e9dier et r\u00e9cup\u00e9rer le trafic si cela s\u2019est produit sur une page qui \u00e9tait d\u00e9j\u00e0 bien class\u00e9e.<\/p>\n<p>Cet article r\u00e9pondra \u00e0 toutes ces questions et vous montrera comment \u00e9viter que ce probl\u00e8me ne se reproduise sur votre site.<\/p>\n<h2>Comment savoir si votre site rencontre ce probl\u00e8me<\/h2>\n<p>Normalement, vous devriez recevoir un e-mail de Google vous informant d\u2019un \u00ab&nbsp;probl\u00e8me de couverture d\u2019index&nbsp;\u00bb sur votre site. Voici \u00e0 quoi ressemble l\u2019e-mail :<\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"aligncenter size-full wp-image-339\" src=\"\/wp-content\/uploads\/2021\/07\/google-index-coverage-issue.png\" alt=\"Probl\u00e8me de couverture de l\u2019index Google\" width=\"621\" height=\"515\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/google-index-coverage-issue.png 621w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/google-index-coverage-issue-300x249.png 300w\" sizes=\"(max-width: 621px) 100vw, 621px\" \/><\/p>\n<p>L\u2019e-mail ne pr\u00e9cise pas quelles sont les pages ou l\u2019URL exactes concern\u00e9es. Vous devrez vous connecter \u00e0 votre Google Search Console pour le savoir vous-m\u00eame.<\/p>\n<p>Si vous n\u2019avez pas re\u00e7u d\u2019e-mail, il est pr\u00e9f\u00e9rable de le voir par vous-m\u00eame pour vous assurer que votre site est en parfait \u00e9tat.<\/p>\n<p>Une fois connect\u00e9 \u00e0 GSC, acc\u00e9dez au rapport sur la couverture de l\u2019indice en cliquant sur Couverture sous Index. Ensuite, sur la page suivante, faites d\u00e9filer vers le bas pour voir les probl\u00e8mes signal\u00e9s par GSC.<\/p>\n<p><img decoding=\"async\" class=\"aligncenter size-full wp-image-341\" src=\"\/wp-content\/uploads\/2021\/07\/Index-Coverage-Report-GSC.jpg\" alt=\"Rapport sur la couverture indiciaire GSC\" width=\"701\" height=\"467\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/Index-Coverage-Report-GSC.jpg 701w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/Index-Coverage-Report-GSC-300x200.jpg 300w\" sizes=\"(max-width: 701px) 100vw, 701px\" \/><\/p>\n<p>L\u2019option \u00ab Index\u00e9, bien que bloqu\u00e9 par robots.txt \u00bb est \u00e9tiquet\u00e9 sous \u00ab Valide avec avertissement \u00bb. Cela signifie qu\u2019il n\u2019y a rien de mal avec l\u2019URL en soi, mais que les moteurs de recherche n\u2019afficheront pas la ou les pages dans les r\u00e9sultats des moteurs de recherche.<\/p>\n<h2>Pourquoi votre site rencontre-t-il ce probl\u00e8me (et comment y rem\u00e9dier) ?<\/h2>\n<p>Avant de commencer \u00e0 r\u00e9fl\u00e9chir \u00e0 une solution, vous devez d\u2019abord savoir quelles pages doivent \u00eatre index\u00e9es <em>et <\/em>doivent appara\u00eetre dans les r\u00e9sultats de recherche.<\/p>\n<p>Il est possible que les URL que vous voyez sur GSC avec le probl\u00e8me \u00ab Index\u00e9, bien que bloqu\u00e9 par robots.txt \u00bb ne soient pas destin\u00e9s \u00e0 g\u00e9n\u00e9rer du trafic organique vers votre site. Par exemple, les pages de destination de vos campagnes publicitaires payantes. Par cons\u00e9quent, r\u00e9parer les pages peut ne pas valoir votre temps et vos efforts.<\/p>\n<p>Vous trouverez ci-dessous les raisons pour lesquelles certaines de vos pages rencontrent ce probl\u00e8me et si vous devez ou non les r\u00e9soudre :<\/p>\n<h3>Interdire la r\u00e8gle sur votre balise m\u00e9ta Robots.txt <em>et <\/em>noindex dans le code HTML de la page<\/h3>\n<p>La raison la plus courante pour laquelle ce probl\u00e8me se produit est lorsque vous ou quelqu\u2019un qui g\u00e8re votre site activez la r\u00e8gle Interdire pour cette URL sp\u00e9cifique sur le robots.txt de votre site et ajoutez la balise m\u00e9ta noindex sur la m\u00eame URL.<\/p>\n<p>Tout d\u2019abord, les propri\u00e9taires de sites utilisent robots.txt pour informer les robots des moteurs de recherche sur la fa\u00e7on de traiter les URL de votre site. Dans ce cas, vous avez ajout\u00e9 la r\u00e8gle d\u2019interdiction sur les pages et les dossiers de votre site dans le robots.txt de votre site Web.<\/p>\n<p>Voici ce que vous pouvez voir lorsque vous ouvrez le fichier robots.txt de votre site :<\/p>\n<p><em>User-agent : * Interdire : \/<\/em><\/p>\n<p>Dans l\u2019exemple ci-dessus, cette ligne de code emp\u00eache tous les robots d\u2019exploration (*) d\u2019explorer les pages de votre site (Interdire d\u2019inclure) votre page d\u2019accueil (\/). Par cons\u00e9quent, tous les moteurs de recherche n\u2019exploreront ni n\u2019indexeront les pages de votre site.<\/p>\n<p>Vous pouvez modifier robots.txt pour isoler les robots d\u2019exploration (Googlebot, msnbot, magpie-crawler, etc.) et sp\u00e9cifier la ou les pages que vous ne souhaitez pas qu\u2019ils touchent (\/page1, \/page2, \/page3, etc.).<\/p>\n<p>Toutefois, si vous ne disposez pas d\u2019un acc\u00e8s root \u00e0 votre serveur, vous pouvez emp\u00eacher les robots des moteurs de recherche d\u2019indexer les pages de votre site \u00e0 l\u2019aide de la balise noindex.<\/p>\n<p>Cette m\u00e9thode a le m\u00eame effet que la r\u00e8gle d\u2019interdiction sur robots.txt. Cependant, au lieu de r\u00e9pertorier les diff\u00e9rentes pages et dossiers de votre site dans un fichier robots.txt que vous souhaitez emp\u00eacher d\u2019appara\u00eetre sur les SERP, vous devez entrer la balise meta noindex sur chaque page de votre site que vous ne souhaitez pas voir appara\u00eetre dans les r\u00e9sultats de recherche.<\/p>\n<p>Il s\u2019agit d\u2019un processus beaucoup plus long que la m\u00e9thode pr\u00e9c\u00e9dente, mais il vous donne un contr\u00f4le plus granulaire sur l\u2019URL \u00e0 bloquer. Cela signifie \u00e9galement qu\u2019il y a une marge d\u2019erreur plus faible de votre part.<\/p>\n<p><strong>R\u00e9parer:<\/strong> Encore une fois, le probl\u00e8me dans GSC se pose lorsque les pages de votre site ont une r\u00e8gle d\u2019interdiction sur robots.txt fichier et une balise noindex.<\/p>\n<p>Pour que les moteurs de recherche sachent s\u2019ils doivent indexer une page ou non, ils doivent \u00eatre capables de l\u2019explorer \u00e0 partir de votre site. Mais si vous emp\u00eachez les moteurs de recherche de le faire via votre robots.txt, il ne saura pas quoi faire de cette page.<\/p>\n<p>En utilisant robots.txt et la balise noindex pour se compl\u00e9ter et non se concurrencer, votre site aura des r\u00e8gles beaucoup plus claires et plus directes \u00e0 suivre pour les robots des moteurs de recherche lors du traitement de ses pages.<\/p>\n<p>Pour ce faire, vous devez modifier votre fichier robots.txt. Pour les propri\u00e9taires de sites WordPress, l\u2019utilisation de plugins SEO avec un \u00e9diteur de robots.txt comme Yoast SEO ou Rank Math est la plus pratique.<\/p>\n<p><img decoding=\"async\" class=\"aligncenter size-full wp-image-342\" src=\"\/wp-content\/uploads\/2021\/07\/rank-math-edit-robots-txt.jpg\" alt=\"Rang Math\u00e9matiques Modifier robots.txt\" width=\"1699\" height=\"865\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/rank-math-edit-robots-txt.jpg 1536w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/rank-math-edit-robots-txt-300x153.jpg 300w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/rank-math-edit-robots-txt-1024x521.jpg 1024w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/rank-math-edit-robots-txt-768x391.jpg 768w\" sizes=\"(max-width: 1699px) 100vw, 1699px\" \/><\/p>\n<p>Si le robots.txt n\u2019est pas accessible en \u00e9criture de votre c\u00f4t\u00e9, vous devez contacter votre fournisseur d\u2019h\u00e9bergement pour apporter des modifications d\u2019autorisation \u00e0 vos fichiers et dossiers.<\/p>\n<p>Une autre fa\u00e7on consiste \u00e0 se connecter \u00e0 votre client FTP ou au gestionnaire de fichiers de votre fournisseur d\u2019h\u00e9bergement. C\u2019est la m\u00e9thode pr\u00e9f\u00e9r\u00e9e des d\u00e9veloppeurs car ils ont un contr\u00f4le total sur la fa\u00e7on de modifier le fichier, entre autres choses.<\/p>\n<h3>Mauvais format d\u2019URL<\/h3>\n<p>Les URL de votre site qui ne sont pas vraiment des \u00ab&nbsp;pages&nbsp;\u00bb au sens strict du terme peuvent recevoir le message \u00ab&nbsp;Index\u00e9, bien que bloqu\u00e9 par robots.txt&nbsp;\u00bb.<\/p>\n<p>Par exemple, https&nbsp;:\/\/example.com&nbsp;?s=what+is+seo est une page d\u2019un site qui affiche les r\u00e9sultats de recherche pour la requ\u00eate \u00ab qu\u2019est-ce que le r\u00e9f\u00e9rencement \u00bb. Cette URL est r\u00e9pandue sur les sites WordPress o\u00f9 la fonction de recherche est activ\u00e9e sur l\u2019ensemble du site.<\/p>\n<p><strong>R\u00e9parer:<\/strong> Normalement, il n\u2019est pas n\u00e9cessaire d\u2019aborder ce probl\u00e8me, en supposant que l\u2019URL est inoffensive et n\u2019affecte pas profond\u00e9ment votre trafic de recherche.<\/p>\n<h3>Les pages que vous ne souhaitez pas indexer ont des liens internes<\/h3>\n<p>M\u00eame si vous avez une balise noindex sur la page que vous ne souhaitez pas indexer, Google peut les traiter comme des suggestions plut\u00f4t que comme des r\u00e8gles. Cela est \u00e9vident lorsque vous cr\u00e9ez des liens vers des pages avec la directive noindex ou la r\u00e8gle disallow sur les pages de votre site que les moteurs de recherche explorent et indexent.<\/p>\n<p>Par cons\u00e9quent, vous pouvez voir ces pages appara\u00eetre sur les SERP m\u00eame si vous ne le souhaitez pas.<\/p>\n<p><strong>Correction<\/strong> : Vous devez supprimer les liens pointant vers cette page particuli\u00e8re et les diriger vers une page similaire \u00e0 la place.<\/p>\n<p>Pour ce faire, vous devez identifier ses liens internes en effectuant un audit SEO \u00e0 l\u2019aide d\u2019un outil comme Screaming Frog (gratuit pour les sites web avec 500 URLs) ou Ahrefs Webmaster Tools (une bien meilleure alternative gratuite) pour identifier quelles pages renvoient \u00e0 vos pages bloqu\u00e9es.<\/p>\n<p>\u00c0 l\u2019aide d\u2019Ahrefs, acc\u00e9dez aux pages Rapports &gt; internes apr\u00e8s avoir ex\u00e9cut\u00e9 un audit. Recherchez les pages que vous avez bloqu\u00e9es des robots d\u2019exploration Web et noindexed et voyez quelles pages sont li\u00e9es \u00e0 celles-ci sur le Non. de la colonne Inlinks.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-338\" src=\"\/wp-content\/uploads\/2021\/07\/ahrefs-site-audit-internal-pages.jpg\" alt=\"Pages internes d\u2019audit de site Ahrefs\" width=\"1900\" height=\"893\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-site-audit-internal-pages.jpg 1536w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-site-audit-internal-pages-300x141.jpg 300w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-site-audit-internal-pages-1024x481.jpg 1024w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-site-audit-internal-pages-768x361.jpg 768w\" sizes=\"(max-width: 1900px) 100vw, 1900px\" \/><\/p>\n<p>\u00c0 partir de l\u00e0, modifiez les liens de ces pages un par un. Ou vous pouvez les remplacer par un lien vers votre page avec une balise noindex.<\/p>\n<h3>Pointage vers une cha\u00eene de redirection<\/h3>\n<p>Si un lien de votre site pointe vers un flux ininterrompu de redirections, Googlebot cessera de passer par chaque lien avant de trouver l\u2019URL r\u00e9elle de la page.<\/p>\n<p>Ces cha\u00eenes de redirection pourraient \u00e9galement causer des probl\u00e8mes de contenu dupliqu\u00e9 qui pourraient causer des probl\u00e8mes de r\u00e9f\u00e9rencement plus importants sur toute la ligne. La seule fa\u00e7on de r\u00e9soudre ce probl\u00e8me est d\u2019identifier votre page pr\u00e9f\u00e9r\u00e9e et canonique \u00e0 l\u2019aide de la balise canonique, afin que Google sache quelle page parmi tant d\u2019autres il doit explorer et indexer.<\/p>\n<p>Consid\u00e9rez \u00e9galement que le fait de cr\u00e9er un lien vers une redirection au lieu de la page canonique utilise votre budget de crawl. Si le lien de redirection pointe vers plusieurs redirections, vous ne pouvez pas utiliser votre budget d\u2019exploration sur les pages qui comptent dans votre site. Au moment o\u00f9 il arrive aux pages les plus importantes, Google ne sera pas en mesure de les explorer et de les indexer correctement apr\u00e8s un certain temps.<\/p>\n<p><strong>R\u00e9parer:<\/strong> \u00c9liminez les liens de redirection de votre site et cr\u00e9ez un lien vers la page canonique \u00e0 la place.<\/p>\n<p>En utilisant \u00e0 nouveau les outils pour les webmasters d\u2019Ahrefs, vous pouvez afficher vos liens de redirection sur la page Explorateur de liens d\u2019outils &gt; . Filtrez ensuite les r\u00e9sultats pour ne vous montrer que les liens de redirection dans votre site.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-337\" src=\"\/wp-content\/uploads\/2021\/07\/ahrefs-link-explorer.jpg\" alt=\"Explorateur de liens Ahrefs\" width=\"1898\" height=\"906\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-link-explorer.jpg 1536w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-link-explorer-300x143.jpg 300w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-link-explorer-1024x489.jpg 1024w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/ahrefs-link-explorer-768x367.jpg 768w\" sizes=\"(max-width: 1898px) 100vw, 1898px\" \/><\/p>\n<p>\u00c0 partir des r\u00e9sultats, identifiez les liens qui forment une cha\u00eene de redirection sans fin. Ensuite, brisez la cha\u00eene en trouvant la bonne page \u00e0 laquelle chaque page li\u00e9e aux redirections doit \u00eatre li\u00e9e.<\/p>\n<h2>Que faire apr\u00e8s avoir r\u00e9solu ce probl\u00e8me<\/h2>\n<p>Une fois que vous avez mis en \u0153uvre les solutions ci-dessus pour les pages importantes pr\u00e9sentant le probl\u00e8me \u00ab&nbsp;Index\u00e9, bien que bloqu\u00e9 par Robots.txt&nbsp;\u00bb, vous devez v\u00e9rifier les modifications afin que Google Search Console puisse les marquer comme r\u00e9solues.<\/p>\n<p>En revenant au rapport de couverture de l\u2019indice dans GSC, cliquez sur les liens avec le probl\u00e8me que vous avez r\u00e9solu. Sur l\u2019\u00e9cran suivant, cliquez sur le bouton Valider le correctif.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-340\" src=\"\/wp-content\/uploads\/2021\/07\/gsc-validate-fix-button.jpg\" alt=\"Bouton Valider le correctif de la Search Console\" width=\"1898\" height=\"823\" srcset=\"https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/gsc-validate-fix-button.jpg 1536w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/gsc-validate-fix-button-300x130.jpg 300w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/gsc-validate-fix-button-1024x444.jpg 1024w, https:\/\/keyword.com\/wp-content\/uploads\/2021\/07\/gsc-validate-fix-button-768x333.jpg 768w\" sizes=\"(max-width: 1898px) 100vw, 1898px\" \/><\/p>\n<p>Cela demandera \u00e0 Google de v\u00e9rifier si la page ne pr\u00e9sente plus le probl\u00e8me.<\/p>\n<h2>Conclusion<\/h2>\n<p>Contrairement \u00e0 d\u2019autres probl\u00e8mes d\u00e9couverts par Google Search Console, \u00ab&nbsp;Index\u00e9, bien que bloqu\u00e9 par robots.txt&nbsp;\u00bb peut sembler \u00eatre une goutte d\u2019eau dans l\u2019oc\u00e9an. Cependant, ces baisses pourraient s\u2019accumuler en un torrent de probl\u00e8mes sur l\u2019ensemble de votre site qui l\u2019emp\u00eachera de g\u00e9n\u00e9rer du trafic organique.<\/p>\n<p>En suivant les instructions ci-dessus sur la fa\u00e7on de r\u00e9soudre le probl\u00e8me sur vos pages les plus importantes, vous pouvez emp\u00eacher votre site Web de perdre du trafic pr\u00e9cieux en optimisant votre site Web pour que Google puisse l\u2019explorer et l\u2019indexer correctement.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Si vous avez des pages de votre site Web que Google a index\u00e9es, mais que vous ne pouvez pas explorer, vous recevrez un message \u00ab&nbsp;Index\u00e9es, bien que bloqu\u00e9es par Robots.txt&nbsp;\u00bb sur votre Google Search Console (GSC). Bien que Google puisse afficher ces pages, il ne les affichera pas dans le cadre des pages de r\u00e9sultats des moteurs de recherche pour leurs mots-cl\u00e9s cibles.<\/p>\n","protected":false},"author":1,"featured_media":9543,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":[],"categories":[110],"tags":[],"class_list":["post-9127","blog","type-blog","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-technique"],"_links":{"self":[{"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/blog\/9127","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/comments?post=9127"}],"version-history":[{"count":0,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/blog\/9127\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/media\/9543"}],"wp:attachment":[{"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/media?parent=9127"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/categories?post=9127"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/keyword.com\/fr\/wp-json\/wp\/v2\/tags?post=9127"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}