Googleは「noindex」robotsメタタグを使用してページのインデックスを作成しています
私は非常に迷惑な問題に遭遇しました。
基本的にポップアップページであり、「サインアップしてくれてありがとう」ページであるため、インデックスに登録してはいけないページがいくつかあります。
Robotsメタタグnoindex、nofollowを使用してセットアップしましたが、何らかの理由でGoogleがリストします。
「en-til-en-mindfulness-coaching/referencer-popup」のグーグル検索を試してみると、「Se flere referr-MindfulSolutions」として結果に表示されます。しかし、ヘッダーセクションを見ると、インデックスが作成されていないことがわかります。
Googleがそれを行う理由と、それを防ぐ方法を教えてください。
Tillinberlinが示唆するように、このページが検索結果に表示される理由は、「robots.txt」ファイルによるものですが、指定された理由によるものではありません。基本的に、robots.txtファイルはそのURLをクロールからブロックしているため、Googleはページがindexedにならないようにするrobotsメタタグを表示できません。
そのページの（Google）検索結果で述べられているように：
このサイトのrobots.txtのため、この結果の説明は利用できません
その特定のページはrobots.txtによってブロックされます。これは、インデックス付きURLに?が含まれているためです。 robots.txtの最後のルールは、?を含むURLをブロックします。
Disallow: /*?*
「robots.txt」は、ページがクロール-インデックス化されないことをブロックします。リンクされている場合でも、インデックスを作成できます（説明のないリンクのみの結果-ここに表示されているものです）。
ロボットの「noindex」メタタグ（お持ちのように）は、ページのインデックス作成を防ぎます。ただし、Googleがページをクロールできない場合、Googleはrobotsメタタグを表示できません。
Google（および他の「良い」検索エンジン/ボット）は、正しく実装されていればロボットの指令を尊重しますが、リソースが公開されているため、他の「悪い」ボットは何でもできます。
簡単な答え：robots.txtはの推奨事項です。検索エンジンは大事にするかもしれませんが、それらはhaveしません。したがって、あなたが何をしようとしても–robots.txtに依存しないで–同じことがロボットのメタタグに適用されます。
あなたがreallyそれらのページがインデックスされていない/検索エンジンの結果ページから開かないようにしたい場合、おそらく、ページを開いているすべてのユーザーに301リダイレクトなどを追加する必要がありますnotページを介して。
ps：robotstxt.orgのウェブサイトには、robotsメタタグの詳細が記載されています。 Robotsタグについて