BaiduスパイダーはDNS TTLに従いません
4月16日にWebサイトをあるVPSから別のVPSに移動しました。
ドメイン名のAレコードには、TTL of 86400があります。 4月16日19:00 GMTでIPアドレスを変更しました。
サイトをダウンタイムに直面させたくないので、古いVPSを存続させています。
今日は3日目で、古いサーバーのアクセスログにはBaiduクモのヒットが表示されます。
60時間以上経ちましたが、なぜこのクローラーがまだ古いIPアドレスにヒットしているのですか？
DNSにAWS Router53を使用しています。
Baidu spiderは、場合によってはrobots.txtに適切に従わないこともあります。彼らは自分たちの（間違った）やり方で物事をやってきた歴史があるようです。
Baidu検索エンジンから大量のトラフィックを取得する中国のWebサイトがない限り、Baiduスパイダーを幸せにするためだけに古いサーバーを維持するのはなぜですか？