robots.txtでディレクトリ全体を禁止するにはどうすればよいですか？

Question

現在作業中の2つのサイトは、ショッピングカートと買い物客です。両方が同じドメイン名の下にあるので、例えば

http://example.com/first_url 
http://example.com/second_url 

これらのURLは両方とも、その下に大量のページがあります

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

メインURL /first_urlと/second_url、およびすべてのサブページとサブディレクトリを禁止するにはどうすればよいですか？私はこのようなことを考えていましたが、これが機能するかどうか、それが正しい構文であったかどうかはわかりません

Disallow: /first_url/*/
Disallow: /second_url/*/

Answer 1

これらのディレクトリをブロックするために、末尾のスラッシュは必要ありません。これは動作します：

Disallow: /first_url/*
Disallow: /second_url/*

この Googleヘルプページ は、これを非常によくカバーしています。