web-dev-qa-db-ja.com

GooglebotのクロールURLのリファラーを見つける方法

Googlebotは私のウェブサイトから数百の404 URLをクロールします。リンクをどこから取得したいのか知りたいですか？

HTTPリファラーのようなものはありますか？

詳細：Googlebotクロール

  • example.com/no_such_files.php
  • example.com/not-there/no_such_files.php

Googlebotがこれらのリンクをどこから取得したか知りたいですか？私は最近、上記のようなURLをたくさん見ます。

googleweb-crawlersgooglebotserps
1
Mani

Googlebotは、サイトをクロールするときにHTTP Refererリクエストヘッダーを送信しません。

ただし、Google Search Console内の404レポートは、これらのURLがどこにあるかを示していますリンク元：

  1. クロール>クロールエラー>デスクトップ|スマートフォン
  2. 「見つかりません」サブタブを選択します。
  3. 404を生成するURLは、ページの下部にリストされている必要があります。
  4. これらのURLのいずれかをクリックすると、エラーの詳細のポップアップが表示されます。
  5. [リンク元]タブには、404 URLにリンクするすべてのURLが含まれている必要があります。

（「修正済みとしてマーク」しないでください。これらは「修正」できない本物の404です。）

1
DocRoot