web-dev-qa-db-ja.com

spark-kafka-integration

$= kafka構造化ストリーミングのデータソース]にgroup.idを設定する方法

Kafka最適な保持および削除ポリシー

Kafka producer TimeoutException:Expiring 1 record(s)

Kafka python APIはストリーム処理をサポートしていますか?

Kafka:シリアル化されたときのメッセージが、max.request.size構成で構成した最大要求サイズより大きい

Sparkストリーミング-読み取りおよび書き込みKafkaトピック

Spark ZKまたはKafkaに消費され、再起動後に読み戻すことができる)最新のオフセットを保存する方法

Kafkaプロデューサー-org.Apache.kafka.common.serialization.StringSerializerが見つかりませんでした

制限Kafka使用時のバッチサイズSparkストリーミング

from_jsonをKafka connect0.10およびSpark構造化ストリーミングで使用する方法は?

統合テストを自動化する方法は?

春Kafka-グループIDを使用してオフセットを最新にリセットする方法は?

Kafka for spring-kafkaのデッドレターキュー(DLQ)

ファイルをKafka Producerに書き込む方法

Kafka:kafka-console-consumerを接続してリモートブローカーのトピックコンテンツを取得する方法は?

メッセージがプロデューサーによって生成された場合、Kafkaブローカーから確認応答を取得する方法は?

Kafkaトピックメタデータをフェッチするときにコンシューマーが「リーダーを見つけられませんでした」

kafkaトピックのパーティションの最新のオフセットを取得する方法は?

Kafka Mavenの依存関係

Kafkaリクエストレスポンスメッセージングをサポート

Apache kafkaでトピックを作成する方法は?

KafkaはJava.nio.channels.ClosedChannelExceptionをスローします

kafkaコンシューマーでロジックを再試行します

トピック、パーティション、キー

Kafkaトピックとパーティションについて

INFOセッションID0x15698f5ac360001(org.Apache.zookeeper.server.NIOServerCnxn)を持つクライアント/127.0.0.1:48452のソケット接続を閉じました

Kafka-ログ終了オフセット(LEO)とハイウォーターマーク(HW)の差

Kafka消費者が消費を開始するのに長い時間がかかるのはなぜですか?

Spring Boot Kafka:NoSuchBeanDefinitionExceptionが原因でコンシューマーを開始できない

Kafkaコンシューマ例外およびオフセットコミット

Kafkaリーダー選出はいつ行われますか?

kafkaトピックに送信するときにメッセージをシリアル化するときにエラーが発生しました

Kafka:コンシューマーAPIとStreams API

春Kafka消費者の再試行

org.Apache.kafka.common.KafkaException:構築に失敗しましたkafka consumer

Elasticsearchとの接続方法Kafka?

kafkaはデフォルトのWeb UIを持っていますか?

SpringBootを使用してkafkaコンシューマー同時実行性を設定する方法

kafkaトピックのパーティション数を選択する方法は?

Kafka Spring Bootを使用したスト​​リーム

リストKafka Spring経由のトピック-Kafka

.NetのConfluent.Kafkaを使用して特定のTopicPartitionOffsetから消費する方法

Spring Kafkaハイウォーターマークファイルへの書き込み中に統合テストエラーが発生しました

JAASまたはKafka config(Kerberosではない)のいずれにもserviceNameが定義されていません

いつConcurrentKafkaListenerContainerFactoryを使用するのですか?

kafka.common.errors.TimeOutException:期限切れの1レコードXXX MSがバッチ作成以降に経過した

KafkaメッセージVS REST通話

Kafka Brokerが稼働中であるかどうかをプログラムで確認する方法Python

kafkaコンソールプロデューサーでキー、バリューメッセージを送信する方法

org.apache.kafka.common.utils.kafkathread - スレッドのカフカプロデューサー - ネットワークスレッドのアカウント例外

構造化ストリーミングを使用してKafkaからJSON形式でレコードを読み取る方法は?

手動で信頼できるオフセット管理のための構造化クエリのKafkaオフセットを取得するには?

SparseVector列を持つRDDをVectorとして列を持つDataFrameに変換するにはどうすればよいですか?

PySparkで複数の機能をエンコードして組み立てる

Apache Spark 2.0:Java.lang.UnsupportedOperationException:Java.time.LocalDateのエンコーダーが見つかりません

scalaリストをDataFrameまたはDataSetに変換

データフレーム行を更新された行にマップしようとしたときにエンコーダエラーが発生しました

Spark DataFrame:orderByの後のgroupByはその順序を維持しますか?

Scala:Spark SQL to_date(unix_timestamp)がNULLを返す

Spark 2.0データセットとデータフレーム

「spark.yarn.executor.memoryOverhead」設定の値は?

Spark DataSetフィルターのパフォーマンス

DataFrameからLibSVM形式にデータを準備する方法は?

行タイプのエンコーダーSpark Datasets

sparkヒープメモリ構成とタングステンがオフ

列全体の大文字小文字を小文字に変更する方法は?

データフレームをlibsvm形式に変換します

ドットの列名spark

Sparkのさまざまな結合タイプは何ですか?

Spark構造化ストリーミング-静的データセットをストリーミングデータセットに結合する

Spark dataframe / datasetの効率的な結合のためのパーティションデータ

spark DFまたはDS?

Sparkストリーミング+ Kafka:SparkException:セットのリーダーオフセットが見つかりませんでした

Spark:複数のkafkaトピックを並行して処理します

データソースがなくなったときにストリーミングを停止する方法spark

KafkaトピックパーティションからSparkストリーミング

SparkストリーミングKafka-createDirectStream vs createStream

スキーマを使用して、SparkでAVROメッセージをDataFrameに変換します。

SparkストリーミングKafkaコンシューマの「Java.io.NotSerializableException:org.Apache.kafka.clients.consumer.ConsumerRecord」を修正する方法

Kafka with Spark 2.0.2(構造化ストリーミング)からのA​​vroメッセージの読み取り

Sparkストリーミング-jsonをKafkaから読み取り、jsonを他のKafkaトピックに書き込む

Spark構造化ストリーミングkafkaスキーマなしでJSONを変換(スキーマを推測)

Spark Confluent Schema Registryと構造化ストリーミングの統合

AbstractMethodError creating Kafka stream

Spark 2.3.0データソースが見つかりませんでした:kafka

GatewayとServiceActivatorの違いは何ですか?

AngularJSのテストランナー-Eclipse IDEおよびCIサーバーからあまり複雑にすることなくテストを実行する方法は?

Spring統合-インバウンドチャネルアダプタとアウトバウンドチャネルアダプタ

SFTPインバウンドを使用してローカルで削除されたファイルを再ダウンロードする手順は何ですか

Apache Kafka vs Apache Storm

Spring Integration Kafkaコンシューマーリスナーがメッセージを受信しない

Spring-KafkaとSpring-Cloud-Stream(Kafka)

プログラムでApacheにトピックを作成する方法Kafka using Python

カフカでは消費者リバランスはどのように機能しますか?

Kafkaトピックの作成中にエラーが発生しました:-利用可能なブローカーよりも大きいレプリケーション係数

KafkaコンシューマAPIを最初から使用してデータを読み取る方法は?

Kafka消費者リバランスアルゴリズム

KAFKAでメッセージを消費した後にメッセージを削除する

Kafkaへのメッセージ送信の一部としてキーが必要ですか?

kafka同期: "Java.io.IOException:開いているファイルが多すぎます"