web-dev-qa-db-ja.com

robots.txtに「何も許可しない」ステートメントと「何か許可しない」ステートメントの両方を含めることはできますか？

サブディレクトリへのアクセスを禁止するには、robots.txtの更新を更新する必要がありました。既に不許可のステートメントがありましたが、別のステートメントを追加しました。更新されたrobots.txtファイルは正しいですか？

以前のrobots.txt：

User-Agent: *
Disallow: 
Sitemap: http://example.com/sitemap.xml

更新されたrobots.txt（3行目の追加に注意）：

User-Agent: *
Disallow: 
Disallow: /terms/*
Sitemap: http://example.com/sitemap.xml
robots.txtdisallow
2
sam

可能ですが、2番目のステートメントは最初のステートメントを廃止します。基本的に、人間が読める用語で言うと、あなたは次のように言っています：

すべてのボット
何も許可しない-必要なものをすべてクロールする
ただし、「terms」ディレクトリを許可しない-クロールしないでください
サイトマップはこちら

上記の2行目を削除して、ボットに「terms」ディレクトリをクロールしないように指示できます。

したがって、これは機能します：

User-Agent: *
Disallow: /terms/
Sitemap: http://example.com/sitemap.xml
3
Henry Visotski