web-dev-qa-db-ja.com

Kafkaトピックへのメッセージの発行中にエラーが発生しました

私はKafkaを初めて使用し、その環境をセットアップしようとしました。単一のノードを実行しようとしていますKafkaしかし、その中でエラーが発生しています。

Macで次の手順に従う

1. brew install zookeeper
2. brew install kafka
3. zkServer start
4.  kafka-server-start.sh /usr/local/etc/kafka/server.properties
5.bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
6.bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
This is a message

しかし、次のエラーが発生します。何かを逃した場合は、お知らせください

[2015-10-19 15:48:46,632] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,637] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,638] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test (kafka.producer.async.DefaultEventHandler)
[2015-10-19 15:48:46,746] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,749] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,749] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test (kafka.producer.async.DefaultEventHandler)
[2015-10-19 15:48:46,860] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,863] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,863] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test (kafka.producer.async.DefaultEventHandler)
[2015-10-19 15:48:46,973] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,977] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:46,977] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: test (kafka.producer.async.DefaultEventHandler)
[2015-10-19 15:48:47,083] WARN Error while fetching metadata [{TopicMetadata for topic test -> 
No partition metadata for topic test due to kafka.common.LeaderNotAvailableException}] for topic [test]: class kafka.common.LeaderNotAvailableException  (kafka.producer.BrokerPartitionInfo)
[2015-10-19 15:48:47,084] ERROR Failed to send requests for topics test with correlation ids in [0,8] (kafka.producer.async.DefaultEventHandler)
[2015-10-19 15:48:47,086] ERROR Error in handling batch of 1 events (kafka.producer.async.ProducerSendThread)
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
    at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:90)
    at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:105)
    at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:88)
    at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68)
    at scala.collection.immutable.Stream.foreach(Stream.scala:547)
    at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:67)
    at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:45)

ありがとう

apache-kafkaapache-zookeeperkafka-producer-api
8
Alok

Alok、これは非常によくあるポートとホストの問題です。
Zookeeperのホストとポート、およびKafkaブローカーを確認してください。ローカルでKafkaを構成していると思いますので、適切なホスト名を提供していることを確認してください。

以下のコマンドを実行して、ZookeeperとKafkaブローカーがコマンドで指定したポートで実行されていることを確認します。

netstat -a | grepポート

それでも問題が解決しない場合はお知らせください。

5
Bector

私の側の問題は、config/server.propertiesファイル内の値localhostを次のプロパティに設定することで解決されました。

Host.name
advertised.Host.name
7
p.matsinopoulos

Kafkaブローカーを使用する場合、飼育係は必須です。zookeeper-serverを開始する前にkafka-serverを開始する必要があります。

zookeeper portを使用する場合、kafka broker portを使用する場合は、ポートに十分注意してください。

メタデータに関連する例外が発生する場合は、トピックがブローカーに存在するかどうかを確認してください。

./kafka-topics.sh --zookeeper <Host>:<port> --describe --topic <topic-name>

トピックとコンシューマーはzookeeper port（service）を使用し、コンシューマーはkafkaブローカーを使用します。

0
ketankk

Server.propertiesファイルのHost.nameプロパティを変更して解決しました。デフォルトではコメント化されており、ローカルマシンをポイントしています。したがって、kafkaをローカルで開始する場合は、コメントを外すだけで準備完了です。意味-Host.name = localhost

0
Osman Mohmmed

localhostを127.0.0.1に設定して、server.propertiesのこの問題を修正しました

0
infowise

Kafkaの場合と同じように、適切な構成でzookeeperを起動してみてください。

bin/zookeeper-server-start.sh config/zookeeper.properties

ブローカーログを削除してから、もう一度お試しください。

rm -R /tmp/kafka-logs (default location)

それでも問題が解決しない場合は、ログを確認してください。

0
magiccrafter