web-dev-qa-db-ja.com

Kafka接続-フラッシュに失敗し、プロデューサーが未処理のメッセージをフラッシュするのを待っている間にタイムアウトしました

Kafka Connect JDBC Source ConnectorをBULKモードで次のプロパティで使用しようとしています。

connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
timestamp.column.name=timestamp
connection.password=XXXXX
validate.non.null=false
tasks.max=1
producer.buffer.memory=2097152
batch.size=1000
producer.enable.idempotence=true
offset.flush.timeout.ms=300000
table.types=TABLE,VIEW
table.whitelist=materials
offset.flush.interval.ms=5000
mode=bulk
topic.prefix=mysql-
connection.user=kafka_connect_user
poll.interval.ms=200000
connection.url=jdbc:mysql://<DBNAME>
value.converter=org.Apache.kafka.connect.json.JsonConverter
key.converter=org.Apache.kafka.connect.storage.StringConverter

オフセットのコミットについて次のエラーが表示されます。さまざまなパラメーターを変更してもほとんど効果がないようです。

[2019-04-04 12:42:14,886] INFO WorkerSourceTask{id=SapMaterialsConnector-0} flushing 4064 outstanding messages for offset commit (org.Apache.kafka.connect.runtime.WorkerSourceTask)
[2019-04-04 12:42:19,886] ERROR WorkerSourceTask{id=SapMaterialsConnector-0} Failed to flush, timed out while waiting for producer to flush outstanding 712 messages (org.Apache.kafka.connect.runtime.WorkerSourceTask)
apache-kafkaapache-kafka-connect
5
David

いつ security.protocol=SSLが有効になっている場合は、ConnectワーカーとConnectプロデューサーに別々のSSLパラメーターがあることを確認してください。両方にSSL設定を提供する

ブロッククォート

# Authentication settings for Connect workers
ssl.keystore.location=/var/private/ssl/kafka.worker.keystore.jks
ssl.keystore.password=worker1234
ssl.key.password=worker1234

# Authentication settings for Connect producers used with source connectors
producer.ssl.keystore.location=/var/private/ssl/kafka.source.keystore.jks
producer.ssl.keystore.password=connector1234
producer.ssl.key.password=connector1234

https://docs.confluent.io/5.2.3/connect/security.html#separate-principals を参照してください

0
Carsten Franz

コンフルエントクラウドに接続しようとしている場合、このエラーはおそらくワーカープロパティに設定がないためです。プロデューサーとコンシューマーの設定を追加したことを確認してください。

consumer.ssl.endpoint.identification.algorithm=https
consumer.sasl.mechanism=PLAIN
consumer.request.timeout.ms=20000
consumer.retry.backoff.ms=500
consumer.sasl.jaas.config=org.Apache.kafka.common.security.plain.PlainLoginModule required username="API_KEY" password="SECRET";
consumer.security.protocol=SASL_SSL

producer.ssl.endpoint.identification.algorithm=https
producer.sasl.mechanism=PLAIN
producer.request.timeout.ms=20000
producer.retry.backoff.ms=500
producer.sasl.jaas.config=org.Apache.kafka.common.security.plain.PlainLoginModule required username="API_KEY" password="SECRET";
producer.security.protocol=SASL_SSL
0
Christian Altamirano Ayala