web-dev-qa-db-ja.com

Kafkaコンシューマ例外およびオフセットコミット

私はSpring KafkaのPOC作業を実行しようとしています。具体的には、Kafka内でメッセージを消費しながらエラーを処理するという点でベストプラクティスを試してみたかったのです。

私は誰かが助けることができるかどうか疑問に思っています：

  1. Kafka消費者が失敗したときに行うべきことを取り巻くベストプラクティスを共有する
  2. AckMode Recordのしくみと、リスナーメソッドで例外がスローされたときにKafkaオフセットキューへのコミットを防ぐ方法を教えてください。

2のコード例を以下に示します。

AckModeがRECORDに設定されているとすると、これは documentation に従います：

レコードの処理後にリスナーが戻ったときにオフセットをコミットします。

リスナーメソッドが例外をスローした場合、オフセットは増加しないと思いました。ただし、以下のコード/構成/コマンドの組み合わせを使用してテストした場合、これは当てはまりませんでした。オフセットは引き続き更新され、次のメッセージは引き続き処理されます。

私の設定：

    private Map<String, Object> producerConfigs() {
    Map<String, Object> props = new HashMap<>();
    props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.0.1:9092");
    props.put(ProducerConfig.RETRIES_CONFIG, 0);
    props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
    props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
    props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
    props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, IntegerSerializer.class);
    props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    return props;
}

   @Bean
ConcurrentKafkaListenerContainerFactory<Integer, String> kafkaListenerContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<Integer, String> factory =
            new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(new DefaultKafkaConsumerFactory<>(consumerConfigs()));
    factory.getContainerProperties().setAckMode(AbstractMessageListenerContainer.AckMode.RECORD);
    return factory;
}

私のコード：

@Component
public class KafkaMessageListener{
    @KafkaListener(topicPartitions = {@TopicPartition( topic = "my-replicated-topic", partitionOffsets = @PartitionOffset(partition = "0", initialOffset = "0", relativeToCurrent = "true"))})
    public void onReplicatedTopicMessage(ConsumerRecord<Integer, String> data) throws InterruptedException {
            throw new RuntimeException("Oops!");
    }

オフセットを確認するコマンド：

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-group

私はkafka_2.12-0.10.2.0とorg.springframework.kafka：spring-kafka：1.1.3.RELEASEを使用しています

javaspringapache-kafkakafka-consumer-apispring-kafka
15
yfl

コンテナ（ContainerPropertiesを介して）には、ackOnErrorプロパティがあります。これはデフォルトでtrueです...

/**
 * Set whether or not the container should commit offsets (ack messages) where the
 * listener throws exceptions. This works in conjunction with {@link #ackMode} and is
 * effective only when the kafka property {@code enable.auto.commit} is {@code false};
 * it is not applicable to manual ack modes. When this property is set to {@code true}
 * (the default), all messages handled will have their offset committed. When set to
 * {@code false}, offsets will be committed only for successfully handled messages.
 * Manual acks will be always be applied. Bear in mind that, if the next message is
 * successfully handled, its offset will be committed, effectively committing the
 * offset of the failed message anyway, so this option has limited applicability.
 * Perhaps useful for a component that starts throwing exceptions consistently;
 * allowing it to resume when restarted from the last successfully processed message.
 * @param ackOnError whether the container should acknowledge messages that throw
 * exceptions.
 */
public void setAckOnError(boolean ackOnError) {
    this.ackOnError = ackOnError;
}

ただし、次のメッセージが成功した場合、そのオフセットはとにかくコミットされ、失敗したオフセットも事実上コミットされることを覚えておいてください。

9
Gary Russell