Webクローラーが404エラーを受け取った場合、そのURLはインデックスに登録されませんか？
ページpage.example.com/pageがあるとします。私の（Python）サーバーでは、ログインしている場合にのみhtmlが提供されます。これはpage.example.com/loginで実行できます。ログインしていない場合、サーバーは404エラーで応答します。
これは、Webクローラーがこのページをインデックスに登録できないことを意味しますか？または、より正確には、「存在しない」ため、インデックスを作成しません。
Googlebotが404 HTTPステータスコードを確認すると、そのページはインデックスに登録されません。インデックスに登録されたページが404ステータスを長期間表示し続けた場合でも、削除されます。 Googleが404ステータスコードを真剣に認識している様子をご理解いただければ幸いです。
Quoraのような機能を追加する必要があります。ユーザーに強制的にログインさせる前に、nページを表示することが許可されていました。Googleはそれを first click free と呼んでいましたが、現在は 柔軟なサンプリング