web-dev-qa-db-ja.com

robots.txtまたは書き換えルールを使用して、検索エンジンのインデックスから「/」で終わるURLを防止する

robots.txtやNginxの書き換えルールなどのように、末尾のスラッシュの重複の有無に関係なくページが機能するページを考慮する検索エンジンの問題にプログラムで簡単に対処する方法はありますか？

検索エンジンによる「重複コンテンツ」の例：

https://www.jumpingthruhoops.com/filepath
https://www.jumpingthruhoops.com/filepath/

書き換えルールの場合、このようなものになるかもしれませんが、リダイレクト先まで何を使うべきかわからない場合があります（したがって、以下の疑問符）

rewrite ^/$ ? permanent;

Magento 1.13を使用します。ここでは、一部のコンテンツにはすでに標準的なリンクが自動的に生成されています。そのため、ロボットまたは書き換えルールのいずれかが機能しない場合は、おそらく正規のリンクをまだ持っていないページでそのタスクを実行する拡張機能を見つける必要があります。または、誰かがより良いアプローチを持っているなら、私はそれについて非常に興味があります。

duplicate-contentcanonical-urlnginx
4
user3561924
rewrite ^/$ ? permanent;

これは、ドキュメントルート（有効なリクエスト）のみに一致します。これは、スラッシュで終わるのURLではなく、スラッシュで始まるのURLです。

代わりに次のようなものを試して、スラッシュで終わるのリクエストURLに一致させてください：

rewrite ^(.+)/$ $1 redirect;

$1は、末尾のスラッシュを除いた元のURLパスへの後方参照です。

キャッシュの問題を回避するために、正常に動作することをテストしたら、redirectフラグをpermanentに変更します。

6
DocRoot