Webページを作成し、オンラインで作成します。
「検索エンジンによるこのサイトのインデックス作成を許可する」オプションを選択する必要があります。開発中、または開発終了後にこれを開く必要がありますか?
開発は決して終わらない。すべてのアクティブなWebサイトには、「作成中」のバナーを表示できます。
ユーザーが役立つと思われるコンテンツの最初の部分ができたらすぐに、Googlebotがサイトをクロールできるようにする必要があります。
一部のウェブマスターは、Googleがホームページに掲載されている唯一の情報として「近日公開」の通知をクロールすることさえ許可しています。私は「近日公開」の大ファンではありませんが、そのようなページをGoogleがクロールすることを許可しない理由はありません。
検索スパイダーがWebサイト全体をクロールしないようにする必要があるのは、検索エンジンでインデックスを作成したくない情報がサイトにある場合だけです。
新しいウェブサイトを開始するときにblock allow
するのが最善です。
既存のサイトを再構築している場合、disallow
オプションを実行できません。主な理由は、新しいサイトを作成するときにダミーコンテンツが必要なためです。検索エンジンは、ダミーコンテンツをインデックスに登録したサイトをクロールします悪い考えです。
したがって、私の提案は、サイトが適切なコンテンツを持つか起動するまで、robots.txtからの検索エンジンクロールを許可しないことです。
また、サイトの開発中に、ダイレクトIPなどのドメイン名なしでサイトにアクセスすることもできます。
それが理にかなっていることを願っています。
「構築中」のときにサイトを表示するかどうかに本当に依存します。通常、サイトのインデックス作成が完了するまで待つことをお勧めします。