私のサーバーのルートフォルダに残って、robots.txtファイルは削除されません
私は自分のサーバルートにあるrobots.txtファイルを削除しますが、Googleはそれを削除できません。 robotx.txtファイルを作成するためのWebマスターツール
削除または無効にする方法.
WordPressは物理的には存在しない動的robots.txtを生成します。それを削除/無効にするには、2つの選択肢があります。
オプション1：テーマのfunctions.phpまたはpluginからdo_robotsアクションを削除する
remove_action('do_robots', 'do_robots');
アクションdo_robotsはまだ他のプラグインによって追加されるために利用可能です。
オプション2：実際のrobots.txtファイルを作成し、それをあなたのサイトのルートフォルダに置きます。これはWordPress（またはプラグイン）が独自に自動生成するのを止めます。