web-dev-qa-db-ja.com

「robots.txt」または「sitemap.xml」を使用して、検索エンジンでインデックスが作成された動的に作成されたファイルを取得する必要がありますか？

ビデオサイトを次のように構成しました。

/ (root)
 index.html
-/videos
   -/video-id1  (dynamically generated subdirectory when user uploads a video)
        /index.html  (dynamically generated file when user uploads a video)

サブディレクトリとその中のファイルは、ユーザーがビデオをアップロードするたびに動的に作成されます。 PHPを使用すると、各ページの作成後にサイトマップを動的に編集できるため、sitemap.xmlを使用すると、検索エンジンでこれらのファイルのインデックスを作成するのに適した選択肢になると思いました。しかし、これは非常に困難です（XMLドキュメントであるため）。

そこで、サイトマップの代わりにrobots.txtを使用してインデックスを作成することを考えましたが、これは役に立ちますか？

言い換えれば、動的に作成されたサブディレクトリとファイルを検索エンジンに送信する方法を理解しようとしていますか？別の例としてStack Exchangeを使用すると、ユーザーが質問するたびにこのような質問が検索エンジンにどのようにリストされますか？

here に見られるように、すべての質問にsitemap.xmlを使用していると思います。

seorobots.txtindexingxml-sitemapdynamic
3
Vedant Terkar

両方を使用する必要があります。

  • sitemap.xmlを使用したクロールの推奨–よく構成されたsitemap.xml検索エンジンのスパイダーがコンテンツをすばやく直接検索できるようにすることができます。また、sitemap.xmlには、クロールする内容をキュレートするオプション、クロールの有用性を考慮する頻度、および重要だと思うコンテンツにfocusを設定するオプションがあります。このタグは、最も重要だと思うものをクローラーに伝えます。 Googleは、XML-Sitemap-Protokol 0.9に続くsitempasを受け入れます。詳細については www.sitemaps.org で説明しています。
  • robots.txtを使用したクロールの落胆-robots.txtを提供できますtryクロールしたいディレクトリとファイルをスパイダーに指示しますnot。これは最初は少し奇妙に聞こえるかもしれませんが、「サインアップ」や「ニュースレターの購読」などのページをクロールから除外しようとするのは理にかなっています。 tools.seobook.com/robots-txt/ にディレクトリとファイルの除外に関する詳細情報があります

両方のテクニックcanは、can検索エンジンから尊重されます–ただし、sitemap.xmlおよびrobots.txtに記載されている指示に従う必要はありません。したがって、どちらにも依存しないでください。ただし、両方を使用してください。

さらに、新しいファイルがアップロードされるたびに、または実際にトリガーするたびに、phpを使用してsitemap.xmlを生成することもお勧めします。これにより、a）リストの内容、使用する順序、使用するタグを100％制御できます。b）クローラーがアクセスするたびにレンダリングする必要がある静的ファイルよりも優れた静的ファイルであると考えます。

PS：anythingをクロールから除外したくない場合でも、とにかくrobots.txtを使用することをお勧めします。これは多くの異なる状況で非常に役立つからです。 …

7
tillinberlin

PHPを使用すると、各ページの作成後にサイトマップを動的に編集できるため、検索エンジンでこれらのファイルのインデックスを作成するには、sitemap.xmlを使用することをお勧めします。しかし、これは非常に困難です（XMLドキュメントであるため）。

思っているほど難しくありません。 PHPを使用すると、動的な方法でXMLを作成し、次のヘッダーで出力できます。

header("Content-type: text/xml");

つまり、データベースから動的ページを選択し、XML構造を作成して、上記のヘッダーで出力します。次に、PHPスクリプトへのリンクをGoogleウェブマスターに提供します。

PHPでXMLファイルを編集する必要はありません。

1
Wexford

ロボットファイルは、検索エンジンなどに、どこに行くべきか、さらには何を避けるべきかを伝えます。サイトマップは、検索エンジンにサイトの構造と、おそらく発見しにくいページやパスを見つける方法を伝えます。あなたの場合、サイトマップを設定する必要があるようです。

1
Rob

XMLサイトマップの作成が複雑すぎると思われる場合は、プレーンテキストファイルでサイトマップを作成することもできます。この形式ではすべての追加機能が提供されるわけではありませんが、インデックスを作成するすべてのURLのみをリストする場合は十分です。

http://www.sitemaps.org/protocol.html#otherformats を参照してください

UTF-8。 1行に1つの絶対URL。他に何もありません。

したがって、次のようになります。

http://example.com/
http://example.com/videos
http://example.com/videos/video-id1
http://example.com/videos/video-id2
http://example.com/videos/video-id3
1
unor