web-dev-qa-db-ja.com

手動コミットのためにSpring KafkaのAcknowledgement.acknowledge（）メソッドを使用する方法

私はSpringを使用していますKafka初めてであり、ここで説明されているように、私の消費者コードで手動コミットにAcknowledgement.acknowledge（）メソッドを使用することができません- https：//docs.spring .io/spring-kafka/reference/html/_reference.html＃committing-offsets 。鉱山はスプリングブートアプリケーションです。手動コミットプロセスを使用していない場合、コードよりもうまく機能していますが、確認応答を使用している場合。手動コミットのacknowledge（）は、Beanに関連するエラーを示します。手動コミットを適切に使用していない場合は、正しい方法を教えてください。

エラーメッセージ：

***************************
APPLICATION FAILED TO START
***************************

Description:

Field ack in Receiver required a bean of type 'org.springframework.kafka.support.Acknowledgment' that could not be found.


Action:

Consider defining a bean of type 'org.springframework.kafka.support.Acknowledgment' in your configuration.

@Componentを追加する必要があることがわかりましたが、コンシューマーコードにはすでに含まれています。

私の消費者コードは次のようになります：Receiver.Java

import Java.util.concurrent.CountDownLatch;
import org.Apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.stereotype.Component;

@Component
public class Receiver {

    @Autowired
    public Acknowledgment ack;

    private CountDownLatch latch = new CountDownLatch(1);

    @KafkaListener(topics = "${kafka.topic.TestTopic}")
    public void receive(ConsumerRecord<?, ?> consumerRecord){
            System.out.println(consumerRecord.value());
            latch.countDown();
            ack.acknowledge();
    }
}

私のプロデューサーコードは次のようになります：Sender.Java

import Java.util.Map;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

@Component
public class Sender {

    @Autowired
    private KafkaTemplate<String, Map<String, Object>> kafkaTemplate;

    public void send(Map<String, Object> map){
            kafkaTemplate.send("TestTopic", map);

    }

}

編集1：

新しいコンシューマコードは次のようになります。Receiver.Java

import Java.util.concurrent.CountDownLatch;
import org.Apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.stereotype.Component;

@Component
public class Receiver {

    private CountDownLatch latch = new CountDownLatch(1);

    @KafkaListener(topics = "${kafka.topic.TestTopic}", containerFactory = "kafkaManualAckListenerContainerFactory")
    public void receive(ConsumerRecord<?, ?> consumerRecord, Acknowledgment ack){
            System.out.println(consumerRecord.value());
            latch.countDown();
            ack.acknowledge();
    }
}

私も構成クラスを変更しました：

import Java.util.HashMap;
import Java.util.Map;

import org.Apache.kafka.clients.consumer.ConsumerConfig;
import org.Apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;

@Configuration
@EnableKafka
public class ReceiverConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Value("${spring.kafka.consumer.group-id}")
    private String consumerGroupId;

    @Bean
    public Map<String, Object> consumerConfigs() throws SendGridException {
            Map<String, Object> props = new HashMap<>();
            props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
            props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            props.put(ConsumerConfig.GROUP_ID_CONFIG, consumerGroupId);
            return props;

    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory(){
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    /*@Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory(){
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());

        return factory;
    }*/

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaManualAckListenerContainerFactory(){
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        return factory;
    }

    @Bean
    public Receiver receiver() {
        return new Receiver();
    }
}

ContainerFactory = "kafkaManualAckListenerContainerFactory"をreceive（）メソッドに追加すると、以下のエラーが発生します。

***************************
APPLICATION FAILED TO START
***************************

Description:

Parameter 1 of method kafkaListenerContainerFactory in org.springframework.boot.autoconfigure.kafka.KafkaAnnotationDrivenConfiguration required a bean of type 'org.springframework.kafka.core.ConsumerFactory' that could not be found.
    - Bean method 'kafkaConsumerFactory' in 'KafkaAutoConfiguration' not loaded because @ConditionalOnMissingBean (types: org.springframework.kafka.core.ConsumerFactory; SearchStrategy: all) found bean 'consumerFactory'


Action:

Consider revisiting the conditions above or defining a bean of type 'org.springframework.kafka.core.ConsumerFactory' in your configuration.
javaspring-bootkafka-consumer-apispring-kafka
5
kumarhimanshu449

あなたは本当に documentation に従うべきです：

手動でAckModeを使用する場合、リスナーにAcknowledgmentを提供することもできます。この例は、別のコンテナファクトリの使用方法も示しています。

_@KafkaListener(id = "baz", topics = "myTopic",
          containerFactory = "kafkaManualAckListenerContainerFactory")
public void listen(String data, Acknowledgment ack) {
    ...
    ack.acknowledge();
}
_

AcknowledgmentがBeanであることは、実際にはどこにも記載されていません。したがって、receive() _@KafkaListener_メソッドシグネチャを適切に変更し、不審なAcknowledgment Beanの_@Autowired_を削除します。このオブジェクトは一部であるため、存在しません（ヘッダ）各受信メッセージの。

9
Artem Bilan

手動確認に関するこれらのエラーの解決策をまだ探している人は、containerFactory = "kafkaManualAckListenerContainerFactory"を指定する必要はありません。代わりに次のように追加できます。

factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);

ファクトリオブジェクトを返す直前にレシーバー構成に追加します。

次に、以下も必要です。

props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

コンシューマ構成の小道具。

したがって、最終的にはリスナーメソッドは次のようになります。

@KafkaListener(topics = "${spring.kafka.topic}")
    private void listen(@Payload String payload, Acknowledgment acknowledgment) {
        //Whatever code you want to do with the payload
        acknowledgement.acknowledge(); //or even pass the acknowledgment to a different method and acknowledge even later
    }
7
Zim8662