検索結果ページのクロールとインデックス登録に関するGoogleのポリシーを解釈するにはどうすればよいですか？
Googleがデータベースの検索結果をクロールし、インデックスを作成できるようになるとペナルティを受ける可能性があることを知りました。
https://webmasters.stackexchange.com/a/55599/33777
質問：彼らがイエローページタイプの結果をリストしたくない場合、それはなぜですか？これらのサイトは永遠に存在しており、ドメインは変更されていません。友達のウェブサイトで特定のキーワードを検索したところです。彼は7位です。最初の6つはすべて、有名なイエローページタイプのサイトの検索結果ページです。
私はバックエンド開発者なので、これは私にとってまったく新しいものです。 ウェブマスター向けガイドライン を確認し、これを見ました（強調鉱山）：
Robots.txtを使用して、検索結果ページまたはその他の自動生成ページがクロールされないようにします（== --- ==）。検索エンジンからのユーザーにはあまり価値がありません。
それは非常に主観的です。
- 私のクライアントには、データベース内のすべての会社の名前をリストしたページがあります。
- 各会社名は、その正確なフレーズの検索結果ページへのリンクです。
- その結果ページは、さまざまな出版物の会社プロファイルに順番にリンクしています。
- 同じ会社が複数の出版物にプロファイルを持っている場合があります。
- プロファイルは類似している場合がありますが、出版物に応じて異なる製品カテゴリがリストされます。
これは、クライアントがイエローページなどと競合しようとしたために最初に設定されました。そして、人々が特定の企業を検索するときのランキングはかなり良くなっています。しかし、私は罰せられたくありません。
1つの会社に複数のプロファイルがある場合があるため、プロファイルに直接ではなく、検索結果にリンクしていました。
ただし、クライアントは異なる出版物をさらに分離したいと考えています。したがって、会社リストがプロファイルに直接リンクし、検索結果ページをスキップする場合、ユーザーのクリックを保存できます。
質問：会社名のリストと各会社のプロファイルは、Googleのコンテンツとして受け入れられますか？クロールおよびインデックス登録を許可したことでペナルティが課されると思いますか？
データベースのすべてのカテゴリの同様のリストを追加しようとしており、各カテゴリはそのカテゴリの企業のリストにリンクします。これには、検索エンジンからのユーザーにとって値があると思います。しかし、それは主観的です。
質問：Googleは動的に生成されるため、Viagraなどの単語をランダムにリクエストでき、「一致が見つかりません」と表示されます。ページ。そのページにはnoindexメタタグがあります。しかし、これで私たちは罰せられますか？
注：実際の検索フォームではPOSTを使用しますが、Googleはこれを避けています。データベースに存在する正確なカテゴリ名のリンクのみを生成します。したがって、検索結果ページをクロールするようにユーザーを招待するのではなく、ディレクトリランディングページをクロールするようにします。ただし、GoogleがURLを操作してコンテンツを探すのを止めることはできません。
ベント：基本的なSEOを知っているので、ユーザーについて最初に考えるというアイデアを常に考えています-探しているコンテンツを提供しますのために-そして、Googlebotにそれ自身で物事を理解させます。サイトのクロールを停止するようGoogleに指示する必要があるのは、直感に反するようです。同じことは、パートナーシップリンクのnofollowにも当てはまります（これについても、先ほど学びました）。 IMO、グーグルは関連性/価値のあるものを把握し、それを表示するだけです。彼らは興味のないコンテンツを持っていることでサイトを罰するべきではありません。
脇：役に立たないページをクロールしたくない場合、なぜ彼らはまだ301、404、または410以上を送信しているページを要求しているのですか？一年？いいえ、これらのページへのインバウンドリンクはありません。
まず、検索結果ページがsiteペナルティになるというStephenの主張は間違っていると思います。 問題のブログ投稿 は、単にGoogleが「検索結果を減らすための措置を講じる」可能性があることを示しています。影響を受けません。
ただし、この質問の鍵は「検索結果ページ」の定義です。 Googleがここで扱っているページの種類は、ボックスに文字通り何でも入力して検索できるものです。主な問題は、そこから取得できるページのリストが無限であることです。さらに、多くの同様のクエリはまったく同じ結果を返します。
今、あなたの状況は少し異なります。あなたのサイトで行われた検索は、POSTを使用しているにもかかわらず、GET URLにリダイレクトするか、GETでアクセスできると仮定しています（そうでなければ、検索結果にリンクします）。
GoogleはPOSTフォームを送信しません。また、URLのq=Companyをq=Viagraで置き換えることにより、URLをランダムに生成することもありません。したがって、Googleが検索URLであることを知る唯一の方法は、URL自体のパターンです（たとえば、/search.php?q=Companyのように見えます）。
あなたの場合、あなたがリンクしているURLは、あなたのデータベースにある会社/カテゴリーに基づいた有限数です。したがって、一般的な検索と定義済みの検索用語（カテゴリ）を分離する必要があると思います。つまり、/category/company-nameのような個別の静的に見えるURLを作成して、「会社名」の検索で現在表示されているものをすべて表示します。そのために同じ検索バックエンドを引き続き使用できます。検索エンジンとユーザーにとっては、静的ページのように見えます。
これがイエローページタイプのサイトの機能だと思います。リンク先は厳密な検索結果ページではなく、カテゴリまたはキーワードページです。
古いページのリクエストに関する最後の質問について：残念ながら、それはGoogleが行っていることです。一度にURLが存在していた場合、再び存在する可能性があります。通常、ページはインターネット上の他の場所からリンクされるため、他のサイトには理由があるためリンクがまだあると想定し、チェックし続けます。