過去にYahooの(信じられないほど)ひどく書かれたクモ にいくつかの深刻な問題があり、結果としてそれらをブロックしました。 TumblrのMarco Armentも、2009年8月31日にフラストレーションを私たちと共有しました。
[Yahoo's Spider]は、米国東部標準時の午前5時30分頃から1秒あたり70〜200件のリクエストを殺到しています。過去に私たちを虐待してきた不正な「実験的」なクローラーからでさえ、私はこのようなものを見たことがありません。 Robots.txtの禁止は十分ではありません。ロードバランサーレベルでIPによってブロックする必要があります。過去にStack Overflowを悪用してきたので、知りたいと思うかもしれません。
Yahooのウェブ検索は「Powered by Bing!」のようです。今。 Bingのスパイダー(MSNBOTとも呼ばれます)で問題が発生したことがないため、これは良いことです。
ヤフーの検索は現在Bingの検索と同じですか、それとも何らかの形で何らかの形で吸い込みを止めた場合にブロックを解除する可能性を検討すべきでしょうか?
Yahooの検索ボットのブロックを解除する理由はないと思います。 YahooがBing Engineを使用できる方法は2つあります。彼らはそれを自分自身と統合してハイブリッドクローラーをネット上でゆるく設定するか、単にクエリをBingエンジンに送信し、返された結果を吐き出すことができます。
リンクされたドキュメントJoelには、別のドキュメントがあります here 。その中で、Yahooは「7月中旬に、BingからYahoo!へのオーガニック検索結果の配信テストを開始しました」と述べています。私にとって、これはYahooがBing Engineと密接に統合されていないことを意味します。単にBing Engine APIを呼び出しています。また、Yahooエンジンは長期的に廃止されるため、必要な作業の観点からも最も理にかなっています。
つまり、結果の100%がBing Engineから出てくると、Yahoo BotがWebをクロールすることはなくなります。したがって、ブロックを解除する理由はありません。
表示される Yahoo!でBingの検索結果の公開を開始したばかり8月/ 9月に完全に切り替えることを目標に、検索の約25%を対象としています。ヤフーのスパイダーはもう実行されていないことは間違いないでしょう。
月曜日にYahooに検索に関する問い合わせを行いました。確認には、Bingへの移行に関する以下のメモが含まれています。
Yahoo!検索は、Yahoo!の新しいステージに到達することに興奮しています。およびMicrosoft Search Alliance。 Microsoftアルゴリズムの結果の統合は、米国およびカナダの市場でほぼ完了しています。 Yahoo!検索は現在、新しい統合をテストしているため、検索中に異なるエクスペリエンスに気付く場合があります。このテストでは、一部の基本的な検索リストでMicrosoft Web、画像、およびビデオの結果が使用されます。 Yahoo!に期待するすべての機能強化検索は保持され、検索エクスペリエンスの新しい改善を継続して行います。
これはテスト段階にすぎないため、すべての検索で異なる結果が生成されるわけではなく、変更が明らかでない場合があります。同じキーワードの結果は、検索ごとに異なる場合があります。ランキングとインデックスのアルゴリズムは異なるため、検索結果は異なる順序で表示される場合があります。以前に表示されなかった検索結果が含まれている場合があり、以前に含まれていた検索結果が表示されない場合があります。新しい結果を徹底的にテストしておりますので、しばらくお待ちください。
Yahoo!にお問い合わせいただきありがとうございます調べる。