web-dev-qa-db-ja.com

Googlebotsのリクエストタイプ

GoogleのボットはGET要求だけでなくHEAD要求も送信しますか？

HEADリクエストをサポートしていないTornadoアプリケーションを実行しており、Google Search Consoleに多くの404エラーがあるため、これについて疑問に思います。

TornadoアプリケーションがHEADリクエストを受け付けていないことを確認するには：

curl -I example.com/this-url-exists

HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=Edge,chrome=1
Server: TornadoServer/4.2.1

Googlebotsがクロールの一部について同じことをしていると思われます。

これは正しいのでしょうか？

web-crawlersgooglebot404http-headerssoft-404
2
2083

GooglebotはHEADリクエストを送信しないと確信しています-少なくともWebサイトのクロールとインデックス登録に関してはそうではありません。

2016年1月と2月のアクセスログには、GooglebotからのHEADリクエストは表示されません。

GooglebotがHEADリクエストを使用したとしても、Google Search Consoleで404エラーが発生した場合は非常に驚かされます。 Googleは、GETリクエストが失敗した場合にのみ404エラーを報告する必要があります。

2
MrWhite