Robots.txtがない場合、Googleウェブマスターツールがサイト全体がrobots.txtによってブロックされていると表示されるのはなぜですか。
WordPressサイトのサイトマップをGoogleウェブマスターツールに送信しました。数回私は同じメッセージを受け取り続けます：
URLがrobots.txtによってブロックされていますまた、 "サイトマップにはrobots.txtによってブロックされているURLが含まれています。"
しかしrobots.txtはどこにもありません。それは私のサイト全体およびその上のすべてのリンクがGooglebotによるクロールをブロックされているようです。私はWordPressのYoast SEOプラグインとCloudflareを使っていましたが、無効にしてキャッシュをクリアしました。私は最初はYoastのせいだと思った。
WordPressの「検索エンジンの表示設定」の「検索エンジンがこのサイトのインデックスを作成しないようにする」のチェックは外されています。今、私はWordPressがそれ自身の仮想robots.txtあるいはサイトルートに現れない何かを作成するかどうか疑問に思います。
何ができる？数日待つ必要がありますか？私は最初からrobots.txtを持っていませんでした！
同様の問題が私にも起こり、私はこれらに従う解決策を得ました：
- ステップ1：
.htaccessファイルのバックアップを作成してから削除します（次回の更新時にWordPressが自動的に作成します）。 - ステップ2：
robots.txtが存在しない場合は、空白のページで作成する - ステップ3： / Googleウェブマスターツールにサイトマップを再送信する
- ステップ4： さらに "Crawl as google"を使用して再度サイトを追加し、問題がないことを確認します。
あなたのサイトがすぐにインデックスに登録されることを願っています。
今、私はWordPressがそれ自身の仮想robots.txtあるいはサイトルートに現れない何かを作成するかどうか疑問に思います。
WordPressはまさしくこれを行いますが、あなたが " がっかりする "検索エンジンであるときだけです。
http://example.com/robots.txtに行ったらどうなりますか？もちろんexample.comはあなたのサイトです。
WordPressをサブディレクトリにインストールしていますか？存在する場合は、ルートフォルダのrobotsファイルを確認してください。
いいえの場合は、設定>閲覧で検索エンジンのインデックス作成が無効になっているか確認してください。
SEOプラグインを使用している場合は、そこの設定も確認してください。ただし、WordPressのコア設定とプラグイン設定の両方でインデックス作成がデフォルトで有効になっていますが、それらも確認してください。