はい、スパマーがPGPキーサーバーからアドレスを取得しているという報告があります。残念ながら、これについて私たちもあなたもできることはあまりありません。 ISPが提供するスパムフィルタリングテクノロジを利用することをお勧めします。
それ以外：
電子メールアドレスをできるだけプライベートに保つ場合は、アドレス自体を送信するのと同じ安全なチャネルを使用して、そのアドレスのPGPキーを自由に交換できます。
したがって、キーをアップロードしない場合でも、少なくともその収集ベクトルからのスパム問題に遭遇することなく、キーをプライベートに配布して使用できます。
そして質問のコメントをフォローアップするには：
プログラムでデータを処理できるようにするには（たとえば、電子メールの検索、名前、正しく送信されることを確認）、データへのアクセス方法を指定する必要があります。この仕様は、スパマーも従うことができます。
計算上簡単に解読できない難読化を使用できます。しかし、その後、メールプログラムは、メッセージを送信するときにキーをメールアドレスと照合できなくなります。または、キー管理にはるかに多くのユーザーの労力を必要とします。