web-dev-qa-db-ja.com

グループxxxのオフセットのコミット中にエラーUNKNOWN_MEMBER_IDが発生しました

Kafka client Java libraryの場合、ログの消費はしばらくの間機能していましたが、次のエラーによりそれ以上機能しません：

2016-07-15 19:37:54.609  INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator  : Marking the coordinator 2147483647 dead.
2016-07-15 19:37:54.933 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash
2016-07-15 19:37:54.933  WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Auto offset commit failed: Commit cannot be completed due to group rebalance
2016-07-15 19:37:54.941 ERROR 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group logstash
2016-07-15 19:37:54.941  WARN 4342 --- [main] o.a.k.c.c.internals.ConsumerCoordinator  : Auto offset commit failed:
2016-07-15 19:37:54.948  INFO 4342 --- [main] o.a.k.c.c.internals.AbstractCoordinator  : Attempt to join group logstash failed due to unknown member id, resetting and retrying.

リセットし続けます。

同じアプリケーションの別のインスタンスを実行すると、すぐにエラーが発生します。

KafkaまたはそのZooKeeperに問題があると思われますが、エラーログはありません。

ここで何が起こっているのか考えている人はいますか？

これは私が使用しているアプリケーションです： https://github.com/izeye/log-redirector

javaapache-kafkakafka-consumer-api
12
Johnny Lim

私は同じ問題に直面しました。私は調査しており、 this スレッドと this wikiで解決策を見つけることができます。

問題は、バッチの処理にセッションタイムアウトよりも時間がかかることです。セッションタイムアウトまたはポーリング頻度を増やすか、受信するバイト数を制限してください。

私にとってうまくいったのは_max.partition.fetch.bytes_を変更することでした。ただし、_session.timeout.ms_またはconsumer.poll(TIMEOUT)に渡す値を変更することもできます。

9
Tavo