web-dev-qa-db-ja.com

flink-connector-kinesisをビルドして使用する方法は？

AWSキネシスでApache Flinkを使用しようとしています。 document は、自分でコネクタを構築する必要があることを示しています。

したがって、コネクターをビルドしてプロジェクトのjarファイルを追加し、また、依存関係をpom.xmlファイルに置きました。

<dependency>
    <groupId>org.Apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>

しかし、mvn clean packageを使用してビルドしようとすると、次のようなエラーメッセージが表示されました。

[INFO] -----------------------< kkaldk:flink-kinesis >-----------------------
[INFO] Building Flink Quickstart Job 0.1
[INFO] --------------------------------[ jar ]---------------------------------
[WARNING] The POM for org.Apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT is missing, no dependency information available
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.458 s
[INFO] Finished at: 2018-12-19T17:45:43+09:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project flink-kinesis: Could not resolve dependencies for project kkaldk:flink-kinesis:jar:0.1: Failure to find org.Apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT in https://repository.Apache.org/content/repositories/snapshots/ was cached in the local repository, resolution will not be reattempted until the update interval of Apache.snapshots has elapsed or updates are forced -> 
[Help 1]
[ERROR]

これを修正するのを手伝ってくれませんか？

--------- added ----------

これは私がやったことです（これは間違った手順です）

  1. これに続いて開始されたプロジェクト ドキュメント
  2. flink master source （1.8-snapshot）からコネクタをビルドします
  3. 1.6.1バージョンとの依存関係を追加します。
amazon-web-servicesmavenapache-flinkamazon-kinesisconnector
8
Bumhwan Kim

これは私がソリューションのためにやったことです。

  1. 1.6.1リリースを here からダウンロードしました。

  2. ファイルを解凍します（アーカイブは.../flink-release-1.6.1/

  3. mvn clean install -Pinclude-kinesis -DskipTests

次に、ローカルのmavenリポジトリにflink-connector-kinesis_2.11バージョン1.6.1があります。

（私にとって、パスはこのようなものでした）：~/.m2/repository/org/Apache/flink/flink-connector-kinesis_2.11

その後、このコードに依存関係を追加することにより、どのプロジェクトでもこのコネクタを使用できます。 （jarファイルを追加する必要はもうありません。）

<dependency>
    <groupId>org.Apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>
10
Bumhwan Kim