web-dev-qa-db-ja.com

Kafka SASL zookeeper認証

Zookeeperおよびブローカー認証でSASLを有効にすると、次のエラーが発生します。

[2017-04-18 15:54:10,476] DEBUG Size of client SASL token: 0 
(org.Apache.zookeeper.server.ZooKeeperServer)
[2017-04-18 15:54:10,476] ERROR cnxn.saslServer is null: cnxn object did not initialize its saslServer properly. (org.Apache.zookeeper.server.    ZooKeeperServer)
[2017-04-18 15:54:10,478] ERROR SASL authentication failed using login context 'Client'. (org.Apache.zookeeper.client.ZooKeeperSaslClient)
[2017-04-18 15:54:10,478] DEBUG Received event: WatchedEvent state:AuthFailed type:None path:null (org.I0Itec.zkclient.ZkClient)
[2017-04-18 15:54:10,478] INFO zookeeper state changed (AuthFailed) (org.I0Itec.zkclient.ZkClient)
[2017-04-18 15:54:10,478] DEBUG Leaving process event (org.I0Itec.zkclient.ZkClient)
[2017-04-18 15:54:10,478] DEBUG Closing ZkClient... (org.I0Itec.zkclient.ZkClient)
[2017-04-18 15:54:10,478] INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
[2017-04-18 15:54:10,478] DEBUG Closing ZooKeeper connected to localhost:2181 (org.I0Itec.zkclient.ZkConnection)
[2017-04-18 15:54:10,478] DEBUG Close called on already closed client (org.Apache.zookeeper.ZooKeeper)
[2017-04-18 15:54:10,478] DEBUG Closing ZkClient...done (org.I0Itec.zkclient.ZkClient)
[2017-04-18 15:54:10,480] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure
    at org.I0Itec.zkclient.ZkClient.waitForKeeperState(ZkClient.Java:947)
    at org.I0Itec.zkclient.ZkClient.waitUntilConnected(ZkClient.Java:924)
    at org.I0Itec.zkclient.ZkClient.connect(ZkClient.Java:1231)
    at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.Java:157)
    at org.I0Itec.zkclient.ZkClient.<init>(ZkClient.Java:131)
    at kafka.utils.ZkUtils$.createZkClientAndConnection(ZkUtils.scala:79)
    at kafka.utils.ZkUtils$.apply(ZkUtils.scala:61)
    at kafka.server.KafkaServer.initZk(KafkaServer.scala:329)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:187)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:39)
    at kafka.Kafka$.main(Kafka.scala:67)
    at kafka.Kafka.main(Kafka.scala)
[2017-04-18 15:54:10,482] INFO shutting down (kafka.server.KafkaServer)

次の構成がJAASファイルで提供されます。これはKAFKA_OPTSとして渡され、JVMパラメーターとして使用されます。

  KafkaServer {
        org.Apache.kafka.common.security.plain.PlainLoginModule required
        username="admin"
        password="admin-secret"
        user_admin="admin-secret"
    };

    Client {
    org.Apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret";

    };

kafkaブローカーのserver.propertiesには、次の追加フィールドが設定されています-

zookeeper.set.acl=true
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
ssl.client.auth=required
ssl.endpoint.identification.algorithm=HTTPS
ssl.keystore.location=path
ssl.keystore.password=anything
ssl.key.password=anything
ssl.truststore.location=path
ssl.truststore.password=anything

Zookeeperのプロパティは次のとおりです。

authProvider.1=org.Apache.zookeeper.server.auth.DigestAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
authenticationapache-kafkaapache-zookeepersasl
16
sunder

ログレベルをDEBUGに上げることで問題を発見しました。基本的に以下の手順に従ってください。 SSLは使用しませんが、問題なく統合できます。

以下は私の設定ファイルです：

server.properties

security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
auto.create.topics.enable=false
broker.id=0
listeners=SASL_PLAINTEXT://localhost:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

advertised.Host.name=localhost
num.partitions=1
num.recovery.threads.per.data.dir=1
log.flush.interval.messages=30000000
log.flush.interval.ms=1800000
log.retention.minutes=30
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
super.users=User:admin

zookeeper.properties

dataDir=/tmp/zookeeper
clientPort=2181
maxClientCnxns=0
authProvider.1=org.Apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

producer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
bootstrap.servers=localhost:9092
compression.type=none

consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
group.id=test-consumer-group

サーバーを問題なく起動するための最も重要なファイルは次のとおりです。

zookeeper_jaas.conf

Server {
   org.Apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret"
   user_admin="admin-secret";
};

kafka_server_jaas.conf

KafkaServer {
   org.Apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret"
   user_admin="admin-secret";
};

Client {
   org.Apache.kafka.common.security.plain.PlainLoginModule required
   username="admin"
   password="admin-secret";
};

これらのすべての構成を行った後、最初のターミナルウィンドウで：

端末1

From kafka=ルートディレクトリ

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/usename/Documents/kafka_2.11-0.10.1.0/config/zookeeper_jaas.conf"
$ bin/zookeeper-server-start.sh config/zookeeper.properties

端末2

From kafka=ルートディレクトリ

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/usename/Documents/kafka_2.11-0.10.1.0/config/kafka_server_jaas.conf"
$ bin/kafka-server-start.sh config/server.properties

[更新を開始]

kafka_client_jaas.conf

KafkaClient {
  org.Apache.kafka.common.security.plain.PlainLoginModule required
  username="admin"
  password="admin-secret";
};

端末

クライアント端末で、クライアントjaas confファイルをエクスポートし、コンシューマーを起動します。

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/username/Documents/kafka_2.11-0.10.1.0/kafka_client_jaas.conf"
$ ./bin/kafka-console-consumer.sh --new-consumer --zookeeper localhost:2181 --topic test-topic --from-beginning --consumer.config=config/consumer.properties  --bootstrap-server=localhost:9092

端末4

作成したい場合は、別のターミナルウィンドウでこれを実行します。

$ export KAFKA_OPTS="-Djava.security.auth.login.config=/home/username/Documents/kafka_2.11-0.10.1.0/kafka_client_jaas.conf"
$ ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic --producer.config=config/producer.properties

[END UPDATE]

36
Maximilien Belinga

Zookeeper用のJAAS構成ファイルを作成し、それを使用する必要があります。

次のような内容のZookeeper用のファイルJAAS構成ファイルを作成します。

Server {
    org.Apache.zookeeper.server.auth.DigestLoginModule required
    user_admin="admin-secret";
};

ユーザー（admin）とパスワード（admin-secret）は、Kafka JAAS設定ファイルのClientセクションにあるユーザー名とパスワードと一致する必要があります。

ZookeeperにJAAS構成ファイルを使用させるには、前に作成したファイルを指す次のJVMフラグをZookeeperに渡します。

-Djava.security.auth.login.config=/path/to/server/jaas/file.conf"

ZookeeperをKafkaパッケージに同梱しています

EXTRA_ARGS=-Djava.security.auth.login.config=./config/zookeeper_jaas.conf ./bin/zookeeper-server-start.sh ./config/zookeeper.properties
5
Luciano Afranllie