サイトにRSSフィードがあります。 Stack Exchangeをフォローし、robots.txtでRSSフィードを許可しないことにしました。
検索エンジンがRSSフィードページを他の人に表示するのは望ましくありません。これは、新しい訪問者が見るのに適したページではありません。
検索エンジンがRSSをクロールできるようにする利点はありますか?それとも、それを禁止することは一般的に良い考えですか?
フィードをブロックしない理由はたくさんありますが、自分に関連があるかどうかを知ることができるのはあなただけです。例えば:
example.com feed
、site:example.com inurl:feed
などを検索した場合に結果として提供できるように、フィードURL.フィードは非常に一般的であるため(ほとんどすべてのブログにニュースサイト、フォーラムなどがあります)、ウェブサイトのフロントページに類似したコンテンツを含むフィードを見つけても、ほとんどの検索エンジンは混乱しないと思います。それらをrel
-alternate
にリンクし、対応するMIMEタイプをtype
属性に指定してください:
alternate
キーワードが値application/rss+xml
または値application/atom+xml
に設定されたtype
属性とともに使用される場合
キーワードは、シンジケーションフィードを参照するハイパーリンクを作成します(必ずしも現在のページとまったく同じコンテンツをシンジケートする必要はありません)。
フィードにサイトのページからの同じコンテンツ(つまり、同じ数の投稿と同じかそれ以下のコンテンツ)が含まれる場合、HTTPヘッダーとしてcanonical
リンクタイプを使用できます。
Link: <http://example.com/>; rel="canonical"
しかし、それは必要ではないはずです。