web-dev-qa-db-ja.com

Kafkaコンシューマ:接続のために見つかりません)

リモートkafkaクラスタのトピックからデータを消費することで、Kafka Consumerを確認しようとしています。 kafka-console-consumer.shを使用すると、次のエラーが発生しています。

 ERROR Error processing message, terminating consumer process:  (kafka.tools.ConsoleConsumer$)
Java.lang.IllegalStateException: No entry found for connection 2147475658
    at org.Apache.kafka.clients.ClusterConnectionStates.nodeState(ClusterConnectionStates.Java:330)
    at org.Apache.kafka.clients.ClusterConnectionStates.disconnected(ClusterConnectionStates.Java:134)
    at org.Apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.Java:885)
    at org.Apache.kafka.clients.NetworkClient.ready(NetworkClient.Java:276)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient.tryConnect(ConsumerNetworkClient.Java:548)
    at org.Apache.kafka.clients.consumer.internals.AbstractCoordinator$FindCoordinatorResponseHandler.onSuccess(AbstractCoordinator.Java:655)
    at org.Apache.kafka.clients.consumer.internals.AbstractCoordinator$FindCoordinatorResponseHandler.onSuccess(AbstractCoordinator.Java:635)
    at org.Apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.Java:204)
    at org.Apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.Java:167)
    at org.Apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.Java:127)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.fireCompletion(ConsumerNetworkClient.Java:575)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient.firePendingCompletedRequests(ConsumerNetworkClient.Java:389)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.Java:297)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.Java:236)
    at org.Apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.Java:215)
    at org.Apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureCoordinatorReady(AbstractCoordinator.Java:231)
    at org.Apache.kafka.clients.consumer.internals.ConsumerCoordinator.poll(ConsumerCoordinator.Java:316)
    at org.Apache.kafka.clients.consumer.KafkaConsumer.updateAssignmentMetadataIfNeeded(KafkaConsumer.Java:1214)
    at org.Apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.Java:1179)
    at org.Apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.Java:1164)
    at kafka.tools.ConsoleConsumer$ConsumerWrapper.receive(ConsoleConsumer.scala:436)
    at kafka.tools.ConsoleConsumer$.process(ConsoleConsumer.scala:104)
    at kafka.tools.ConsoleConsumer$.run(ConsoleConsumer.scala:76)
    at kafka.tools.ConsoleConsumer$.main(ConsoleConsumer.scala:54)
    at kafka.tools.ConsoleConsumer.main(ConsoleConsumer.scala)
Processed a total of 0 messages

これが私が使うコマンドです:

./bin/kafka-console-consumer.sh --bootstrap-server SSL://{IP}:{PORT},SSL://{IP}:{PORT},SSL://{IP}:{PORT} --consumer.config ./config/consumer.properties --topic MYTOPIC --group MYGROUP

これが./config/consumer.propertiesファイルです。

bootstrap.servers=SSL://{IP}:{PORT},SSL://{IP}:{PORT},SSL://{IP}:{PORT}

# consumer group id
group.id=MYGROUP

# What to do when there is no initial offset in Kafka or if the current
# offset does not exist any more on the server: latest, earliest, none
auto.offset.reset=earliest

#### Security
security.protocol=SSL
ssl.key.password=test1234
ssl.keystore.location=/opt/kafka/config/certs/keystore.jks
ssl.keystore.password=test1234
ssl.truststore.location=/opt/kafka/config/certs/truststore.jks
ssl.truststore.password=test1234

あなたは問題が何であるかという考えはありますか?

15
Nooshin

リモートkafkaが実行されているのです。nmap -p PORT Hostを実行していることをお勧めします(ポートが異なる限り、ポートは9092になります)。それが問題ない場合は、あなたは物事をより簡単にするKafkacatを使うことができます。kafkacat -b Host:PORT -t YOUR_TOPIC -C -o beginningを実行している消費者を作成するか、kafkacat -b Host:PORT -t your_topic -pを実行しているプロデューサを作成する

1
Rodrigo Loza