HTMLサイトマップのリンクをクロールしたいが、SERPのサイトマップは必要ない
私はいくつかのページを持つウェブサイトを持っています、そしてそれはページの大部分を持つフォルダーを持っています。このフォルダーに存在するすべてのページにアクセスするには、Webサイト検索エンジンを使用する必要があります。次に、HTMLおよびXMLサイトマップを作成して、検索フォルダーがこのフォルダー内のページを見つけられるようにしました。これは、検索エンジンが非常に満足し、ほとんどすべてのWebサイトをインデックス化したため、うまく機能しました。しかし、htmlサイトマップはSERPに表示されており、検索エンジンがそれをクロールしてリンクをたどることを望んでいるのに加えて、SERPに表示したくないのです。
サイトマップページのリンクをたどりますが、SERPに表示されなくなります。
いくつかのリンクrelインデックスメタタグとロボットはインデックスメタタグがないように見えましたが、これは「設計」されているように見えますが、一部のWebサイトは1つのことを行い、他のWebサイトは他のことを行うと言います。これをめちゃくちゃにして、ページが再びインデックスに登録されないようにしたくはありません。
これに加えて、XMLとHTMLを作成して同じ日にサーバーにアップロードしたサイトマップを作成したとき、それは魅力のように機能しましたが、xmlサイトマップで十分で、私のサイトに悪影響を与えずにhtmlサイトマップを削除できますインデックス化されたページの数は、私にとっても有効な解決策になります。SERPに表示されるのを気にする必要はないので、誰かがこの経験をして共有したいものがあると便利です。
X-Robots-Tagタグを、noindexの値を持つメタタグまたはHTTPヘッダーとして使用すると、そのページはSERPに表示されません。リンクでnofollow、X-Robots-Tagメタタグ、またはHTMLサイトマップページでX-Robots-Tag HTTPヘッダーを使用しない限り、リンクをたどる必要があります。