Googleウェブマスターツールの403エラーを修正
Googleでの検索用に「崖から落ちた」ドメインがあります。位置1〜4にあった検索は1ページ目から削除されました。Bingでの同じ検索では、予想される典型的な位置（上位5件の結果）が表示されます。
Googleウェブマスターツールを確認すると、次の2つの問題があります。1.サイトマップが2つのエラーを報告しています。一般的なHTTPエラー：HTTP 403エラー（禁止）
ただし、「アクセス不可」として提供されているURLはアクセス可能です。 Googleが提供するリンクをクリックすると、正常に機能します。
タイプ403の6,000クロールエラーがあります。繰り返しますが、403を含むこれらのページのほとんどは、ブラウザーでアクセスできます（さまざまなブラウザーも試してみました）。約半分は1月から、残りの半分は11月からです。
ポート80および443には、goolgebotをブロックする可能性のあるIP固有のファイアウォールルールはありません。
- FFのユーザーエージェント切り替えアドオンを使用して、ユーザーエージェントがgooglebotであるときにページが読み込まれることを確認しました
- 403として報告されたページのほとんどがアクセス可能であることを確認します。
- 「site：thedomain.com」だけを検索すると、インデックスに9,000以上あることが確認されます。しかし、ほとんどの検索はサイトを返しません。
403の問題が検索ランキングの低下の原因であると思いますが、これに対処する方法についてのアイデアをオンラインで見つけることはできないようです。
何か案は？
jpe
既にGoogleウェブマスターツールコンソールを使用している場合は、「 fetch as Googlebot 」関数を試して、403も返されるかどうかを確認してください。
Robots.txtファイルを再確認してから、ページの先頭に不正なロボットメタがないか、サーバーヘッダーに不正な構成がないかを確認してください。
何も問題がなければ、ネットワークの問題があったときにGooglebotに問題がある可能性があります。 XMLサイトマップ、ping、および待機/レビューを再送信します。