web-dev-qa-db-ja.com

robots.txtでURLを変更し、リダイレクトを追加し、古いURLをブロックすると、サイトの一部がインデックスに登録されません

いくつかのURLを含むWebサイトがあり、後でURLを最適化し、リンク構造を変更しました。

Robots.txtで古いURLをブロックし、古いURLから新しいURLへのリダイレクトを提案した後、フェッチしてレンダリングしましたが、Googleで一部のページがインデックスに登録されていません。

最近サイトのすべてのメタタグを更新し、1週間前にそれを取得してレンダリングしましたが、部分的なステータスを示し、メタタグが更新されたリンクのうち2つだけがインデックス付けされ、他のリンクは古いメタタグでインデックス付けされています。

一部のリンクはまったくインデックスに登録されていないと既に述べたように、メタタグが更新された後でも同じ問題が発生しています。

Robots.txtの古いURLをブロックしているなどの理由ですか？

googlegoogle-search-consoleindexingrobots.txtgoogle-index
2
Nikitha Narayan

Robots.txtで古いURLをブロックし、古いURLから新しいURLへのリダイレクトを提案しました

Robots.txtで古いURLをブロックしているため、検索エンジンはリダイレクトを追跡できません。

Fetch as Googleが部分的なステータスを表示する

多くの理由が考えられます。

  • ブロックされたリソース。おそらくあなたの場合に聞こえます。

  • ブロックされた外部リソース。非常に一般的ですが、通常は問題ではありません。外部リソースがブロックされている場合、それに対してできることは何もありませんが、通常はそれらを修正する必要もありません。

  • このページは、Googleが現時点で処理するには大きすぎます。ページが重い場合、Googleはより重要なことのためにリソースを節約している可能性があります。

  • 遅いサーバーがタイムアウトを引き起こします。

メタタグが更新される2つのリンクのみがインデックス付けされます

Fetch as Googleツールは主に診断ツールであり、そのツールを使用してページのインデックスを作成することを期待するべきではありません。

この原因として考えられるのは、Googlebotのクロールを妨げていることです。robots.txtを確認してください。または、コンテンツの品質が低いこと。

他のリンクは古いメタタグでインデックス化されています。

いいえ、それらはすでに索引付けされていて、再び索引付けされませんでした。

一部のリンクはまったくインデックスに登録されていないと既に述べたように、メタタグが更新された後でも同じ問題が発生しています。

メタタグの更新は魔法の解決策ではありません。ただし、Ducytapeはありますが、サイトをダクトテープすることはできません。

Robots.txtの古いURLをブロックしているためですか？

前者。

Robots.txtについて知っておくべきこと。

  • /robots.txtは、インデックス作成ではなく、クロールを防止するために使用されます。

  • /robots.txtは魔法の解決策ではありません。

  • クロールをブロックする必要はほとんどありません。例外は、検索エンジンが無限量のページを検出する状況です。カレンダー。

  • セキュリティにはまったく影響しません。

それはかなり役に立たないファイルのように聞こえますか？それは、単に削除するか、コンテンツを置き換えるだけです

User-Agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml
2
Oskar Skog