ここではさまざまなスレッドを調べましたが、同じ問題と思われるものは何もありません。現在、2つの問題に直面しています。最初の問題に対処できれば、間違いなく2番目の問題の診断に役立ちます。
また、これをGoogleのウェブマスターフォーラムに投稿しましたが、まだ返信がありません。
スタック:
AngularJS、HTML + SCSS、AmazonS3を「ウェブサーバー」として使用していますが、ご存知かもしれませんが、実際にはウェブサーバーではありません。バケットにリダイレクトルールを設定して、URLの前にハッシュバングを付けて、サイトが適切に機能するようにします。 S3バケットの前のCloudFront。
最初の問題:
「Fetch as Google」ツールは、#で始まるURLを切り捨てています。 (ハッシュバン)これらのページのいずれかがGoogleによってクロールできるかどうかを判断することを困難にします。これが他のサイトで機能している場合、問題はAmazonS3を「ウェブサーバー」として使用していることです。ここで他のスレッドを確認しましたが、他の人のために働いているようです。
2番目の問題:
Googleはサイトofftherecord.comの2ページのみをインデックスに登録しています。グーグルで「site:offtherecord.com」を検索してください。
「how-it-works」ページの場合、Googleはこれをクロールできます。これには、ブラウザでコンテンツをレンダリングするためにハッシュバンが必要であり、JSの実行が必要です。ただし、他のページをクロールおよび/またはインデックス付けすることができないようです。
「Fetch as Google」ツールに https://offtherecord.com/how-it-works を配置すると、#!/ how-it-worksへの期待どおりに301リダイレクトが発生しますが、ツールでそれに従い、#!の後にすべてを切り捨てます。 url。
ウェブマスターツールでGoogleクローラーの統計情報ページを確認しましたが、クローラーエラーはありません。
類似のスレッド:
GoogleがAJAXコンテンツをクロールしない: https://productforums.google.com/forum/#!topic/webmasters/_pdC55wUvfI;context-place=topicsearchin/webmasters/hash $ 20bang
AmazonS3 + AJAXコンテンツ:[スタック交換では2つのリンクのみが許可されます]
AngularJsアプリで$ locationProvider.html5Mode(true).hashPrefix( '!');を介してhtml5モードを有効にします。
#1と#2に対処する方法についてアドバイスしてください。検索エンジンクローラーのアクセシビリティが損なわれている場合、実際のWebサーバーを実際に使用することを検討しています。
お時間をありがとう
多くのことが起こっているようです。
Robots.txtを確認する必要があります。そのままにしておきます。その後...
htaccessでサイトマップを追加することもできます
RewriteEngine On
RewriteRule ^sitemap\.xml$ /path_to_sitemap [L]
mod_rewrite
が有効になっていることを確認してください
私が直面していた2つの問題に対する答えは、以下のmoha297の答えで対処されました。ステップ5(Webサーバーのセットアップ)を完了しませんでしたが、ページは現在適切にインデックス付けされています。
https://stackoverflow.com/a/35354677/69290
ありがとうございました!