web-dev-qa-db-ja.com

CoreDNSがKubernetesクラスターで実行に失敗する

Kubernetesクラスターをセットアップしようとしていますが、CoreDNSを実行できません。以下を実行して、クラスターを開始しました。

Sudo swapoff -a
Sudo sysctl net.bridge.bridge-nf-call-iptables=1
Sudo kubeadm init

mkdir -p $HOME/.kube
Sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
Sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl apply -f "https://cloud.weave.works/k8s/net?k8s- version=$(kubectl version | base64 | tr -d '\n')"
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

kubectl get pods --all-namespacesでPODを確認するには、

NAMESPACE     NAME                                    READY   STATUS             RESTARTS   AGE
kube-system   coredns-68fb79bcf6-6s5bp                0/1     CrashLoopBackOff   6          10m
kube-system   coredns-68fb79bcf6-hckxq                0/1     CrashLoopBackOff   6          10m
kube-system   etcd-myserver                           1/1     Running            0          79m
kube-system   kube-apiserver-myserver                 1/1     Running            0          79m
kube-system   kube-controller-manager-myserver        1/1     Running            0          79m
kube-system   kube-proxy-9ls64                        1/1     Running            0          80m
kube-system   kube-scheduler-myserver                 1/1     Running            0          79m
kube-system   kubernetes-dashboard-77fd78f978-tqt8m   1/1     Running            0          80m
kube-system   weave-net-zmhwg                         2/2     Running            0          80m

そのため、CoreDNSはクラッシュし続けます。見つかった唯一のエラーメッセージは/var/log/syslogからのものでした：

Oct  4 18:06:44 myserver kubelet[16397]: E1004 18:06:44.961409   16397 pod_workers.go:186] Error syncing pod c456a48b-c7c3-11e8-bf23-02426706c77f ("coredns-68fb79bcf6-6s5bp_kube-system(c456a48b-c7c3-11e8-bf23-02426706c77f)"), skipping: failed to "StartContainer" for "coredns" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=coredns pod=coredns-68fb79bcf6-6s5bp_kube-system(c456a48b-c7c3-11e8-bf23-02426706c77f)"

およびkubectl logs coredns-68fb79bcf6-6s5bp -n kube-systemから：

.:53
2018/10/04 11:04:55 [INFO] CoreDNS-1.2.2
2018/10/04 11:04:55 [INFO] linux/AMD64, go1.11, eb51e8b
CoreDNS-1.2.2
linux/AMD64, go1.11, eb51e8b
2018/10/04 11:04:55 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
2018/10/04 11:04:55 [FATAL] plugin/loop: Seen "HINFO IN 3256902131464476443.1309143030470211725." more than twice, loop detected

私が見つけたいくつかの解決策は発行することです

kubectl -n kube-system get deployment coredns -o yaml | \
sed 's/allowPrivilegeEscalation: false/allowPrivilegeEscalation: true/g' | \
kubectl apply -f -

/etc/resolv.confを修正して、localhostでなく実際のDNSを指すようにしました。

問題は https://kubernetes.io/docs/setup/independent/troubleshooting-kubeadm/#pods-in-runco​​ntainererror-crashloopbackoff-or-error-state で説明されており、さまざまなポッドを試しましたネットワークは助けになりません。

Sudo kubeadm reset && rm -rf ~/.kube/ && Sudo kubeadm initを数回実行しました。

Ubuntu 16.04、Kubernetes 1.12、Docker 17.03を実行しています。何か案は？

dockerkubernetesubuntu-16.04coredns
10
jvj

私も同じ問題を抱えています。

Corednのcm内のプラグイン「ループ」を削除することで問題を解決しました。しかし、このクラウドが他の問題を引き起こすかどうかはわかりません。

1、kubectl edit cm coredns -n kube-system

2、 「ループ」を削除、保存して終了

3、corednsポッドを再起動する：kubectl delete pod coredns.... -n kube-system

16
J.OwenShuo

この方法を使用することにより、ある程度解決されました。

  1. corednsのconfigmapを開いて編集します。

    kubectl edit cm coredns -n kube-system

  2. 「proxy。/etc/resolv.confをアップストリームDNSのIPアドレスに置き換えます。たとえば、proxy。8.8.8.8。」 corednsログの出力のリンク （ページの最後）
  3. 保存して終了。

  4. kubectl get pods -n kube-system -oname | grep coredns | xargs kubectl delete -n kube-system

問題の理由は link で説明されています。このコマンドの出力でこのリンクを見つけることができます

kubectlログcoredns-7d9cd4f75b-cpwxp -n kube-system

このリンクは、CoreDNS-1.2.4の出力にあります。

このcmdを使用してCoreDNSをアップグレードします

kubectlパッチ展開-n = kube-system coredns -p '{"spec"：{"template"：{"spec"：{"containers"：[{"image"： "k8s.gcr.io/coredns:1.2。 4 "、" name "：" coredns "、" resources "：{" limits "：{" memory "：" 1Gi "}、" requests "：{" cpu "：" 100m "、" memory "：" 70Mi " }}}]}}}} '

6
Richard Li

Kubernetesからloop関数を削除するだけでは、きれいなアプローチではないと思います。 CoreDNS Github は、実際にこの問題をトラブルシューティングするためのガイドラインを提供します。

彼らはガイドラインで3つのアプローチについて提案しています

  • 次をkubeletに追加します：--resolv-conf 「実際の」resolv.confは、アップストリームサーバーの実際のIPを含み、ローカル/ループバックアドレスを含まないものです。このフラグは、代替のresolv.confをPodsに渡すようkubeletに指示します。 systemd-resolvedを使用するシステムの場合、/ run/systemd/resolve/resolv.confは通常「実際の」resolv.confの場所ですが、これはディストリビューションによって異なる場合があります。
  • ホストノードのローカルDNSキャッシュを無効にし、/ etc/resolv.confを元の状態に復元します。
  • 迅速で汚れた修正方法は、プロキシを置き換えてCorefileを編集することです。 /etc/resolv.confにアップストリームDNSのIPアドレス（例：proxy）を指定します。 8.8.8.8。ただし、これはCoreDNSの問題を修正するだけです。kubeletは無効なresolv.confをすべてのデフォルトのdnsPolicyポッドに転送し続け、DNSを解決できなくなります。
1
Jiashen Cao

はい、あなたは正しいです。この問題は here および GitHubで で説明されました。解決策は、Dockerのアップグレード、SElinuxの無効化、またはallowPrivilegeEscalationからtrueへの変更です。しかし、今日、私はあなたの問題を再現しようとしましたが、これを行うことができませんでした。コマンドと出力を提供すれば、最初から作業バージョンを作成するのに役立つかもしれません。

Dockerバージョン17.03.2-ce、Kubernetes v1.12.0、Ubuntu 16.04、CoreDNS-1.2.2、GCPで作成されたインスタンス。

#apt-get update && apt-get install -y mc ebtables ethtool docker.io apt-transport-https curl
#curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

#cat <<EOF >/etc/apt/sources.list.d/kubernetes.list \
deb http://apt.kubernetes.io/ kubernetes-xenial main \
EOF

#apt-get update && apt-get install -y kubelet kubeadm kubectl

#kubeadm init
$mkdir -p $HOME/.kube
$Sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$Sudo chown $(id -u):$(id -g) $HOME/.kube/config
$kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"

serviceaccount/weave-netが作成されました

clusterrole.rbac.authorization.k8s.io/weave-netが作成されました

clusterrolebinding.rbac.authorization.k8s.io/weave-netが作成されました

role.rbac.authorization.k8s.io/weave-netが作成されました

rolebinding.rbac.authorization.k8s.io/weave-netが作成されました

daemonset.extensions/weave-netが作成されました

$kubectl get pods --all-namespaces
NAMESPACE     NAME                                              READY   STATUS              RESTARTS   AGE
kube-system   pod/coredns-576cbf47c7-6qbtq                      0/1     Pending             0          79s
kube-system   pod/coredns-576cbf47c7-jr6hb                      0/1     Pending             0          79s
kube-system   pod/etcd-kube-weave-master-1                      1/1     Running             0          38s
kube-system   pod/kube-apiserver-kube-weave-master-1            1/1     Running             0          28s
kube-system   pod/kube-controller-manager-kube-weave-master-1   1/1     Running             0          30s
kube-system   pod/kube-proxy-4p9l5                              1/1     Running             0          79s
kube-system   pod/kube-scheduler-kube-weave-master-1            1/1     Running             0          34s
kube-system   pod/weave-net-z6mhw                               0/2     ContainerCreating   0          8s

そして再び1分で：

$kubectl get pods --all-namespaces
NAMESPACE     NAME                                              READY   STATUS    RESTARTS   AGE
kube-system   pod/coredns-576cbf47c7-6qbtq                      1/1     Running   0          98s
kube-system   pod/coredns-576cbf47c7-jr6hb                      1/1     Running   0          98s
kube-system   pod/etcd-kube-weave-master-1                      1/1     Running   0          57s
kube-system   pod/kube-apiserver-kube-weave-master-1            1/1     Running   0          47s
kube-system   pod/kube-controller-manager-kube-weave-master-1   1/1     Running   0          49s
kube-system   pod/kube-proxy-4p9l5                              1/1     Running   0          98s
kube-system   pod/kube-scheduler-kube-weave-master-1            1/1     Running   0          53s
kube-system   pod/weave-net-z6mhw                               2/2     Running   0          27s

Corednsポッドの説明：

kubectl describe pod/coredns-576cbf47c7-6qbtq -n kube-system
Name:               coredns-576cbf47c7-6qbtq
Namespace:          kube-system
Priority:           0
PriorityClassName:  <none>
Node:               kube-weave-master-1/10.154.0.8
Start Time:         Fri, 05 Oct 2018 11:06:54 +0000
Labels:             k8s-app=kube-dns
                    pod-template-hash=576cbf47c7
Annotations:        <none>
Status:             Running
IP:                 10.32.0.3
Controlled By:      ReplicaSet/coredns-576cbf47c7
Containers:
  coredns:
    Container ID:  docker://db1712600b4c927b99063fa41bc36c3346c55572bd63730fc993f03379fa457b
    Image:         k8s.gcr.io/coredns:1.2.2
    Image ID:      docker-pullable://k8s.gcr.io/coredns@sha256:3e2be1cec87aca0b74b7668bbe8c02964a95a402e45ceb51b2252629d608d03a
    Ports:         53/UDP, 53/TCP, 9153/TCP
    Host Ports:    0/UDP, 0/TCP, 0/TCP
    Args:
      -conf
      /etc/coredns/Corefile
    State:          Running
      Started:      Fri, 05 Oct 2018 11:06:57 +0000
    Ready:          True
    Restart Count:  0
    Limits:
      memory:  170Mi
    Requests:
      cpu:        100m
      memory:     70Mi
    Liveness:     http-get http://:8080/health delay=60s timeout=5s period=10s #success=1 #failure=5
    Environment:  <none>
    Mounts:
      /etc/coredns from config-volume (ro)
      /var/run/secrets/kubernetes.io/serviceaccount from coredns-token-wp7tm (ro)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  config-volume:
    Type:      ConfigMap (a volume populated by a ConfigMap)
    Name:      coredns
    Optional:  false
  coredns-token-wp7tm:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  coredns-token-wp7tm
    Optional:    false
QoS Class:       Burstable
Node-Selectors:  <none>
Tolerations:     CriticalAddonsOnly
                 node-role.kubernetes.io/master:NoSchedule
                 node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type     Reason            Age                 From                          Message
  ----     ------            ----                ----                          -------
  Warning  FailedScheduling  23m (x12 over 24m)  default-scheduler             0/1 nodes are available: 1 node(s) had taints that the pod didn't tolerate.
  Normal   Scheduled         23m                 default-scheduler             Successfully assigned kube-system/coredns-576cbf47c7-6qbtq to kube-weave-master-1
  Normal   Pulled            23m                 kubelet, kube-weave-master-1  Container image "k8s.gcr.io/coredns:1.2.2" already present on machine
  Normal   Created           23m                 kubelet, kube-weave-master-1  Created container
  Normal   Started           23m                 kubelet, kube-weave-master-1  Started container

また、config.yamlによって使用されるkubeadm init --config config.yaml構成ファイルの場所の指定に関する問題をよりよく理解します。

1
VKR

私の解決策は、--network-plugin=cniの/var/lib/kubelet/kubeadm-flags.envを削除することでした

0
luisfernando

私も同じ問題を抱えています。

**Running**:
1 master + 2 nodes (all on Red Hat Enterprise Linux Server release 7.5 (Maipo))
**Docker**: 18.06.1-ce
**Kubernete**s-
 Client Version: v1.12.0
 Server Version: v1.12.0
**Core DNS**: CoreDNS-1.2.2
**Errors**:
[root@kubemast ~]# kubectl logs coredns-68fb79bcf6-2lk8k -n=kube-system
.:53
2018/10/05 15:14:30 [INFO] CoreDNS-1.2.2
2018/10/05 15:14:30 [INFO] linux/AMD64, go1.11, eb51e8b
CoreDNS-1.2.2
linux/AMD64, go1.11, eb51e8b
2018/10/05 15:14:30 [INFO] plugin/reload: Running configuration MD5 = f65c4821c8a9b7b5eb30fa4fbc167769
2018/10/05 15:14:36 [FATAL] plugin/loop: Seen "HINFO IN 5745769668098465527.4020143478923175228." more than twice, loop detected
[root@kubemast ~]#
0
Dean