SSHのようにソースの公開鍵を使用してすべてのポートへのアクセスを制限するにはどうすればよいですか？
サーバーが、同じ（またはPublicKey-PrivateKey SSH接続と同様またはより優れたセキュリティ）メカニズムと同様です。これをもっと良くする方法が本当にわかりません。必要に応じて具体的な詳細をお気軽にお問い合わせください。
あなたは例えばを使用することができます証明書付きのIPsecまたはOpenVPN。フォーマットは異なりますが、暗号レベルではSSHとほぼ同じです。
また、SSH自体を使用できます。一部のポートでは、ポート転送を使用できます。ポートの数が多い場合は、SSHを使用してIPトンネルを作成できます。サーバー側では（例）PermitTunnel point-to-pointに/etc/ssh/sshd_configが必要であり、クライアント側ではコマンドラインに-o 'Tunnel point-to-point'が必要です。
これにより、両側にtunインターフェイスが提供されます。しかし、私が知る限り、これらのインターフェースを構成するには、両方のシステムでroot権限が必要です。