今日、私のSEOニュースで この記事 に出会いました。 robots.txtの標準のNoindex:
ディレクティブに加えて、Disallow:
ディレクティブを使用できることを暗示しているようです。
Disallow: /page-one.html
Noindex: /page-two.html
検索エンジンがページ1をクロールするのを防ぎ、ページ2のインデックスを作成するのを防ぐようです。
このrobots.txtディレクティブはGoogleや他の検索エンジンでサポートされていますか?動作しますか?文書化されていますか?
Googleは以前、robots.txtでNoindex
ディレクティブを非公式にサポートしていましたが、2019年には それらが発表しました ディレクティブは機能しなくなりました。
Googleの ジョンミューラーは、robots.txt でNoindex:
について次のように述べています。
Robots.txtのno-indexディレクティブを実験的な機能としてサポートしていました。しかし、それは私が頼りにしたくないものです。そして、私は他の検索エンジンがそれをまったく使用していないと思います。
Googleが機能の廃止を発表する前に、deepcrawl.comはこの機能のテストを行いました を発見しました。
Googleがこの機能を廃止したことを考えると、この機能はもう使用すべきではありません。
代わりに、 十分にサポートされ文書化されている であるrobotsメタタグを使用して、インデックス作成を防止します。
<meta name="robots" content="noindex" />