我们在Kubernetes上使用Apache-Kafka部署,该部署基于在创建pod之后标记pod的能力(参见https://github.com/Yolean/kubernetes-kafka) . 代理窗格的初始容器利用此功能在其自身上设置标签,并将其自己的数字索引(例如"0","1"等)作为值 . 标签在服务描述符中用于精确选择一个pod .
这种方法适用于我们的DIND-Kubernetes环境 . 但是,当尝试将部署移植到Docker-EE Kubernetes环境时,我们遇到了麻烦,因为命令 kubectl label pod
生成了一个完全误导的运行时错误(另见https://github.com/fabric8io/kubernetes-client/issues/853) .
为了在最小设置中验证运行时错误,我们创建了以下部署脚本 .
第一步:使用Docker-EE-Host成功标记pod
# create a simple pod as a test target for labeling
> kubectl run -ti -n default --image alpine sh
# get the pod name for all further steps
> kubectl -n default get pods
NAME READY STATUS RESTARTS AGE
nfs-provisioner-7d49cdcb4f-8qx95 1/1 Running 1 7d
nginx-deployment-76dcc8c697-ng4kb 1/1 Running 1 7d
nginx-deployment-76dcc8c697-vs24j 1/1 Running 0 20d
sh-777f6db646-hrm65 1/1 Running 0 3m <--- This is the test pod
test-76bbdb4654-9wd9t 1/1 Running 2 6d
test4-76dbf847d5-9qck2 1/1 Running 0 5d
# get client and server versions
> kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.5",
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean",
BuildDate:"2018-06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"8+", GitVersion:"v1.8.11- docker-8d637ae", GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5",
GitTreeState:"clean", BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}
# set label
kubectl -n default label pod sh-777f6db646-hrm65 "mylabel=hallo"
pod "sh-777f6db646-hrm65" labeled <---- successful execution
一切都按预期工作正常 .
第二步:从pod中重现运行时错误
创建包含kubectl 1.10.5的Docker镜像
FROM debian:stretch-
slim@sha256:ea42520331a55094b90f6f6663211d4f5a62c5781673935fe17a4dfced777029
ENV KUBERNETES_VERSION=1.10.5
RUN set -ex; \
export DEBIAN_FRONTEND=noninteractive; \
runDeps='curl ca-certificates procps netcat'; \
buildDeps=''; \
apt-get update && apt-get install -y $runDeps $buildDeps --no-install- recommends; \
rm -rf /var/lib/apt/lists/*; \
\
curl -sLS -o k.tar.gz -k https://dl.k8s.io/v${KUBERNETES_VERSION}/kubernetes-client-linux-amd64.tar.gz; \
tar -xvzf k.tar.gz -C /usr/local/bin/ --strip-components=3 kubernetes/client/bin/kubectl; \
rm k.tar.gz; \
\
apt-get purge -y --auto-remove $buildDeps; \
rm /var/log/dpkg.log /var/log/apt/*.log
此映像在站点本地注册表中部署为 10.100.180.74:5000/test/kubectl-client-1.10.5
,将在下面引用 .
使用上面的容器创建一个pod
apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
name: pod-labeler
namespace: default
spec:
selector:
matchLabels:
app: pod-labeler
replicas: 1
serviceName: pod-labeler
updateStrategy:
type: OnDelete
template:
metadata:
labels:
app: pod-labeler
annotations:
spec:
terminationGracePeriodSeconds: 10
containers:
- name: check-version
image: 10.100.180.74:5000/test/kubectl-client-1.10.5
env:
- name: NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: POD_NAME
value: sh-777f6db646-hrm65
command: ["/usr/local/bin/kubectl", "version" ]
- name: label-pod
image: 10.100.180.74:5000/test/kubectl-client-1.10.5
env:
- name: NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: POD_NAME
value: sh-777f6db646-hrm65
command: ["/bin/bash", "-c", "/usr/local/bin/kubectl -n default label pod $POD_NAME 'mylabel2=hallo'" ]
记录输出
我们得到以下日志记录输出
# Log of the container "check-version"
2018-07-18T11:11:10.791011157Z Client Version: version.Info{Major:"1",
Minor:"10", GitVersion:"v1.10.5",
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean",
BuildDate:"2018-\
06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
2018-07-18T11:11:10.791058997Z Server Version: version.Info{Major:"1",
Minor:"8+", GitVersion:"v1.8.11-docker-8d637ae",
GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5", GitTreeState:"clean",
BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc",
Platform:"linux/amd64"}
和运行时错误
2018-07-18T11:24:15.448695813Z The Pod "sh-777f6db646-hrm65" is invalid:
spec.tolerations: Forbidden: existing toleration can not be modified except its tolerationSeconds
注意事项
-
这不是授权问题,因为我们收到了一条引用缺少权限的错误消息 .
-
客户端和服务器版本"outside"(例如在docker主机上)和"inside"(例如pod)在GIT提交标签下是相同的
-
我们使用的是通用控制平面3.0.2版
有任何想法吗?
1 回答
其中一条评论指出,该问题可能是由于缺少权限造成的,即使错误信息并未暗示如此 . 我们正式向Docker提交了一张票,实际上得到了这样的结果:为了能够在pod中设置/修改标签,必须在swarm资源上为该命名空间的默认用户赋予"Scheduler"角色(稍后会显示)如GUI中的
\
. 授予此权限可以解决问题 . 请参阅下面的Docker-EE-GUI中添加的grant .从我的观点来看,这远非显而易见 . Docker支持代表提供调查这是否是实际预期的行为或错误的结果 . 一旦我们对这个问题有了更多的了解,我就会把它包含在我们的答案中 .
至于使用更多的调试输出:不幸的是,在
kubectl
的调用中添加--v=9
不会返回任何有用的信息 . 这里显示的输出太多,但总体日志记录在两种情况下非常相似:它包含很多GET API请求,这些请求都是成功的,然后是最终的PATCH API请求,在一种情况下成功但在另一种情况下失败 . 如上所述 .