古いウェブサイトに「プライバシーポリシー」リンクがありました。新しいウェブサイトを立ち上げたときに、リンクをフッターに追加しましたが、次のコードを追加してrobots.txtにリンクを許可しませんでした。
<?php /*?><div class="text-right">
<a href="http://www.echofreelance.com/terms-and-conditions/">Terms</a> | <a href="http://www.echofreelance.com/privacy-policy/">Privacy Policy</a>
</div><?php */?>
久しぶりに、ウェブマスターツールが[クロールエラー]の下にプライバシーポリシーのリンクを表示しているのを見ました。このURLの削除リクエストを送信しました。しかし、これも「クロールエラー」の下に表示されます。リンクされたページもチェックしました。問題は見つかりませんでした。許可していなくても、これがGoogleに表示される理由を教えてください。
ありがとう!
PHPコードはrobots.txtファイルを変更していません。ページへのリンクをコメントアウトしただけです。
ウェブサイトのメインパブリックディレクトリにrobots.txtファイルを作成してみてください。次に、以下を追加します。
User-Agent: *
Disallow: /terms-and-conditions/
問題のファイルにnoindexメタタグを追加することもできます。
<meta name="robots" content="noindex">
上記の変更を行った後、削除リクエストを再送信し、有効になるのを待ちます。