web-dev-qa-db-ja.com

CodeIgniterベースのWebサイトのrobots.txtですか？

Code Igniterフレームワークを使用し、サーバー上に次のフォルダー構造を持つphpサイトで作業しています。

public_html

  • 応用
  • パブリック
  • sql
  • スタイル
  • システム
  • 設計
  • 画像
  • js
  • プラグイン

.htaccess

robots.txt

sitemap.xml

index.php

項目の箇条書きリストは、public_htmlの下のサブフォルダーです。

applicationフォルダーには、ビューとコントローラーで構成されるコードが含まれています。

私の質問は、

googlebotapplication？以外のフォルダをクロールできる必要がありますか？

OR

Disallowapplication以外のすべてのフォルダーは、検索エンジンボットが他のフォルダーをクロールできないようにする必要がありますか？

robots.txtgooglebotcodeigniter
2
user11221

Google画像検索で画像を表示する場合は、画像フォルダが役立つ場合があります。

他のすべてはおそらく許可されません。

2
Toby

検索エンジンスパイダーは、アプリケーションフォルダーを認識しないため、とにかくクロールできません。彼らはあなたがホームページから提供するURLだけを見るでしょう。

実際、IIRCの.htaccessファイルCIは、imagesなどの特定のフォルダーへのアクセスのみを許可する必要があるため、アプリケーションフォルダーにはアクセスできません。したがって、robots.txtで何もブロックする必要はありません。

1
DisgruntledGoat