GoogleがファイアウォールNginxをバイパスすることを許可する

Question

だから私は本質的に特定のクッキーを持っていないすべての訪問者のために401を返すシステムを探しています。ビジター/リクエスターがグーグルの場合、401を返さないようにしたいと思います。

だからここに私が持っている次のコードがあり、それは機能していないようですが、理由はわかりません。

基本的に、私はそれがクッキーをチェックしてから、それがユーザーエージェントを介してグーグルでないかどうかをチェックするようにしています。

両方が真の場合、401を返します。

ウェブマスターツールを使用してウェブサイトを取得したときに、Googleがまだ401を取得している可能性があります。

ceejayoz · Answer

これはクローキングと呼ばれ、あなたがそれをしていることに気付いた場合、あなたのサイトはグーグルから除外されます。

クローキングとは、人間のユーザーや検索エンジンにさまざまなコンテンツやURLを提示することを指します。クローキングは、ユーザーに予想とは異なる結果をもたらすため、Googleのウェブマスターガイドラインに違反していると見なされます。