web-dev-qa-db-ja.com

どこからもリンクされていないランダムなサブドメインをグーグルインデックス/クロールできます

私と友人は、特に断らない限り、すべてのサブドメインがグーグルによってクロール/インデックス登録されると主張する議論をしており、ページがどこからでもリンクされていない場合はそうすべきではないと言っていますクロールされません。

たとえば、私がexample.comを所有しており、adayinthewoods.example.comなどの奇妙なランダムな名前で新しいサブドメインを作成し、そこにwordpressインストールをスローして、テスト目的で使用するとします。 。

グーグルがこれをクロールし、インデックス付けを開始するにはどうすればよいですか? Googleはwhoisレコードを見て、DNSテーブルにサブドメインを追加したことを確認し、結果としてそれをクロールし始めますか? wordpressをインストールしたことで、インストールが「ping検索エンジン」になりますか?それはどのように機能しますか?トップレベルドメインが新しいドメインである場合、どのようにクロールされますか?メカニズムはランダムなサブドメインとは異なると思います。

ルートフォルダに「noOneWillEverSeeThis.html」という名前の新しいページを追加すると、サイトマップに含まれておらず、どこからもリンクされていない場合、クロール/インデックス登録される可能性がありますか?

これで何が起こっているのか理解している人からの確かな答えを本当に感謝します。

どうもありがとう

1
vesperknight

はい、Googleはそれを行うことができます。インターネットで公開されているものはすべてmay Googleによってインデックス化されると想定するのが最善です。リンクされているかどうか。

もちろん、リンクしないと、インデックスが作成される可能性が低くなります。ただし、Googleは多数のツールを使用して、インデックス作成用のURLを収集します。最近、 共有されたDropboxリンクに関するニュースアイテム (これにより一般公開されました)が、ドキュメント内のリンクをクリックしたか、Google検索ボックスにURLを入力したためにGoogleによってインデックスされました。

本当に問題ではありませんhow Googleはリンクを見つけます。ポイントは、それがmayであるということです。

つまり、Googleで何かを終わらせたくない場合はmust Googleを締め出すためにrobots.txtファイルを配置してください。あいまいさに頼ることはお勧めできません。

4
Kris

リンクは連鎖反応と考えてください。 Googleは、アクセスしたり検索したりする方法がない場合、ドメインにリンクしません。 Googleが常にインデックスを作成する人気のあるフォーラムサイトで友人があなたのURLをアドバタイズすると、リンクがサイトの一部であると考えて、GoogleがURLをスキャンしてインデックスを作成する可能性があります。

wordpressをインストールしたことで、インストールが「ping検索エンジン」になりますか?それはどのように機能しますか?

コンテンツ管理システムが検索エンジンにランダムにpingを送信することは疑いますが、ソースコードをいつでも確認して、リモートURLを開くためのコマンドがコードに含まれているかどうかを確認できます。 PHP(wordpressが使用するもの)に含まれるこのようなコードの例には、次のようなものがあります(順不同)。

$data=file_get_contents("http://www.searchengine.com/submittoengine/data.cgi?whatever=whatever");

$remote=fopen("http://www.remote.com/upload.cgi?website=bla.com");

または以下を含むcurl関数も:

curl_exec($webdata);

wordpressがネットワークに関してどのように動作するかを確認する良い方法は、独自のLAMP/WAMPセットアップを作成することです。これは、LinuxまたはWindowsを使用して、Apache、MySQL、およびPHPを1台のコンピューターにインストールし、次のURLのいずれかを入力するとコンテンツにアクセスできるように、実際のインターネットから切断してApacheをセットアップすることを意味します:

http://127.0.0.1/
http://localhost/

実際のインターネット接続の状態に関係なく、Apacheを初めて正しくインストールすると、「動作します」または「リモートサーバーに接続できませんでした」タイプのメッセージ以外のものが表示されます。次に、wordpressをインストールして、インターネットやpingなどについて文句を言うかどうかを確認します。そうしないと思います。

すべては実験によって最もよく行われます。

2
Mike