GoogleインデックスWordpress wp-contentディレクトリとすべての内部ファイル
最近、クロールページの総数が増えていることに気付きました。そこで、Googleでsite:を使用して検索し、ディレクトリwp-contentを持つ複数のページを取得しました。 Google Search Consoleもチェックしましたが、2018年6月17日にクロールされたページの総数が大幅に増加しました：
そして同じ日に、ウェブサイトのトラフィックが落ちました。間違っていない場合、Googleはwp-contentディレクトリの下でいくつかの不要なページをクロールしました。これが主な問題かもしれません。 ）： 
wp-contentディレクトリのインデックスが作成されたスクリーンショットは次のとおりです。
Googleを停止して「wp-content」ディレクトリのクロールを停止し、重複ページと空白ページがクロールされないようにすると同時に、元のページのクロールに影響しないようにする方法をご案内します。
まず第一に、次の方法でインデックス作成をブロックする必要があります。
- robots.txt（ disallow command を使用）
- サーバーファイルの構成。 Apacheを使用している場合、 。htaccessファイルでフォルダー/ファイルへのアクセスを拒否 （エラー410）を実行できます。
次に、 Google URL削除ツール を使用して、Googleインデックスから既にインデックス付けされているURLの削除を開始します
残念ながら、上記のツールでは1つずつ削除することしかできません。これらのURLに対して 410エラー を生成できます（以前にコメントした2番目のオプション）が、これは高度なサーバー構成であるため、URLのインデックスを作成したくないが、まだアクセスする必要があることに注意してください管理者として。
問題は、サーバーが、ディレクトリ内のすべてのファイルをリストするすべてのディレクトリの自動ページを作成していることです。
Apacheでは、この機能は mod_autoindex によって提供されます。ディレクトリにindex.htmlファイルがない場合、このApacheモジュールはディレクトリリストを表示するページを自動的に作成します。
これを防ぐ1つの方法は、すべてのディレクトリに空のindex.htmlファイルを作成することです。 Googleは空白ページをインデックスに登録しません。それらを「ソフト404」ページとして扱います。
別の方法は、ディレクトリ一覧を無効にすることです。これは、Apache。confファイルまたは。htaccessAllowOveridesがオンである限りファイル。
Options -Indexes
その他の例については、 https://wiki.Apache.org/httpd/DirectoryListings の「Directory Listings」セクションを参照してください。