urlパラメータツールの使用をcanonical / robots.txtに置き換えて、クロール時間を回避する
長い間Googlebot found an extremely high number of URLsの警告を受け取ってきましたが、必ずしも問題があることを示しているわけではありませんが、Googleがクロールできるリンクの量を減らして、彼が何に集中できるようにしようとしています。より重要。
正規のリンクを使用してURLパラメーター設定を変更することを考えています。 WMT URLパラメーターでNarrowsおよびSpecifiesとして設定したフィルターパラメーターがあります。 
これらの内部フィルターページには価値がありますが、フィルターなしでユーザーをメインページに移動させることでほぼ十分であり、これはトレードオフであると思います。したがって、これらの警告メッセージが表示されます。
私が考えている2つのオプション：
- フィルタパラメータを選択したURLのメタ正規タグを、これらのフィルタの絞り込み/指定なしでページに追加します。
- Robots.txtを追加して、これらのページのクロールを回避します。 （これにより、正規のメタタグを見つけるためにクローラーの時間を無駄にすることはありませんが、フィルターを選択せずにページに渡すのではなく、これらのページがゴミ箱に持っている現在のリンクパワーを捨てます）。
これらのどれをお勧めしますか？
親（非フィルター）ページへのフィルターページで正規を指定することはまったく問題ありませんが、これらのフィルターページでメタnoindex、nofollowを提供し、これらのフィルターURLの処理をGoogleに指示することもできます（パラメーターが含まれている場合） ）既に言及したGoogle WMTのセクションから。 robots.txtでそれらを禁止することも別のオプションですが、既にインデックスが作成されている場合、Googleのインデックスから削除することはできません。
これらすべてのオプションを実装しても、Googleがウェブサイトの主要なページのみをクロールし、インデックスを付け、重みを付けて、パフォーマンスとランキングを向上させます。