WordPressサイトでGoogleのフェッチテストを使用すると、robots.txtがページとリソースのインデックス登録をブロックしていると報告されます。
Googleは、Robots.txtが次のようになっていると報告しています
User-agent: *
Disallow: /
この問題を解決するにはどうすればよいですか?
robots.txt
ファイルから両方の行を削除する必要があります。 robotsファイルはWebホスティングフォルダーのルートディレクトリにあります。これは通常/public_html/
にあり、次を使用してこのファイルを編集または削除できます。
これがWordpressの新規インストールである場合、検索エンジンがサイトをクロールしないようにプライバシー設定を設定している可能性があります。
(そして、wordpressがその場で作成するため、サーバー上に物理的なrobots.txtはありません)
wordpressの設定に移動して、このボックスがチェックされているかどうかを確認します。
その場合、チェックを外すと、robots.txtは次のように変更されます。
User-agent: *
Disallow:
それでも問題があり、robots.txtがクローラーをブロックするように設定されている場合は、ファセットで概説されている他のオプションを調べてください。
Yoast SEOプラグインをインストールすると、サイトのロボットファイルが自動的に生成されるため、Cpanelを介してWordPressのrobots.txtファイルを更新する必要があります。しかし、私は本当にあなた自身の指示でそれを編集したい、あなたのホスティングサーバーにログイン->ファイルマネージャを編集します。