web-dev-qa-db-ja.com

Kafka 1.0はFATAL SHUTDOWNエラーで停止します。ログディレクトリは失敗しました

私はKafka 1.0とzookeeper 3.4.10。にアップグレードしました。最初はすべてうまくいきました。スタンドアロンのプロデューサーとコンシューマーは期待どおりに動作しました。約10日間コードを実行した後分、Kafkaはこのエラーで失敗します：

[2017-11-07 16：48：01,304] INFO C：\ Kafka\kafka_2.12-1.0.0\kafka-logs（kafka.log.LogManager）のログの配信を停止しています

[2017-11-07 16：48：01,320] C：\ Kafka\kafka_2.12-1.0.0\kafka-logsのすべてのログディレクトリが失敗したため、致命的なシャットダウンブローカー（kafka.log.LogManager）

再インストールして再構成しましたKafka 1.0、再び同じことが起こりました。再起動しようとすると、同じエラーが発生します。

ログファイルを削除すると、Kafkaの起動に役立ちますが、短時間実行すると再び失敗します。

私は長い間0.10.2バージョンを実行してきましたが、このようなことは一度もありませんでした。長期間にわたって非常に安定していました。

私は解決策を見つけようとし、 ドキュメントの指示に従いました。

これはまだ実稼働環境ではなく、1つのトピックから1人のプロデューサーと1人のコンシューマーが読むという非常に単純なセットアップです。

これがzookeeperと関係があるのか​​どうかはわかりません。

**更新：**問題は Apache JIRAボードに投稿されました これまでのところ、コンセンサスはWindowsの問題であるようです。

apache-kafkaapache-zookeeper
17
TeilaRei

同様にこの問題に遭遇し、kafka-logsをクリアするだけではうまくいきませんでした。また、動物園管理者をクリアする必要があります。

解決手順：

  1. ズーキーパーを必ず停止してください。

  2. Server.propertiesファイルを見て、次のエントリの下のlogsディレクトリを見つけます。

    Example:
log.dirs=/tmp/kafka-logs/

  3. ログディレクトリとその内容を削除します。 Kafkaは、再度起動されるとディレクトリを再作成します。

  4. Zookeeper.propertiesファイルを見て、次のエントリの下のデータディレクトリを見つけます。

    Example:
dataDir=/tmp/zookeeper

  5. データディレクトリとその内容を削除します。 Zookeeperは、再度開始されるとディレクトリを再作成します。

  6. Zookeeperを起動します。

    <KAFKA_HOME>bin/zookeeper-server-start.sh -daemon <KAFKA_HOME>config/zookeeper.properties

  7. Kakfaブローカーを起動します。

    <KAFKA_HOME>bin/kafka-server-start.sh -daemon <KAFKA_HOME>config/server.properties

  8. Logs/kafkaServer.outログファイルを調べて、ブローカーが問題なく開始されたことを確認します。

13
nukalov

C:\Kafka\kafka_2.12-1.0.0\kafka-logsのログを消去し、kafkaを再起動するだけです

1
nick318

Zookeeperディレクトリのログを削除する

0
djgupta

私は次のようなすべてのソリューションを試しました

  • Kafka Logs and Zookeeper Data（新しいトピックの作成後に再発した問題）のクリア
  • Log.dirsパスをスラッシュ「/」からバックスラッシュ「\」（log.dirs=C:\kafka_2.12-2.1.1\data\kafkaなど）フォルダーに変更すると、C:\kafka_2.12-2.1.1\kafka_2.12-2.1.1datakafkaという名前のフォルダーが作成され、問題は停止し、問題は解決しました。

最後に私はこれを見つけました リンク 、あなたはそれを取得しますgoogle kafka log.dirs windows This is on Dzone you'll get it of you google kafka log.dirs windows

0
Ujjwal Pathak

Windowsマシンで実行しようとしている場合は、log.dirsフォルダーのlog.dirs=C:\some_path\some_path_kafLogsのパラメーターserver.properties（/configなど）のWindowsの方法でパスを変更してみてください。

デフォルトでは、このパスはunix方式です（/unix/path/など）。

これはWindowsマシンでうまくいきました。

0
Praveen L