第十章 Secret&Configmap

应用启动过程中可能需要一些敏感信息，比如访问数据库的用户名密码或者秘钥。将这些信息直接保存在容器镜像中显然不妥，Kubernetes 提供的解决方案是 Secret。
Secret 会以密文的方式存储数据，避免了直接在配置文件中保存敏感信息。Secret 会以 Volume 的形式被 mount 到 Pod，容器可通过文件的方式使用 Secret 中的敏感数据；此外，容器也可以环境变量的方式使用这些数据。
Secret 可通过命令行或 YAML 创建。比如希望 Secret 中包含如下信息：
用户名 admin 密码 123456

10.1 创建 Secret方式

有四种方法创建 Secret：

1. 通过 --from-literal：

$ kubectl create secret generic mysecret --from-literal=username=admin --from-literal=password=123456
secret/mysecret created

#查看
 kubectl get secrets
NAME                  TYPE                                  DATA   AGE
default-token-mvhfz   kubernetes.io/service-account-token   3      11d
mysecret              Opaque                                2      3m30s
#删除
kubectl delete secret mysecret

每个 --from-literal 对应一个信息条目。

2. 通过 --from-file：

echo -n admin > ./username
echo -n 123456 > ./password
kubectl create secret generic mysecret --from-file=./username --from-file=./password

3.通过 --from-env-file：

cat << EOF > env.txt
username=admin
password=123456
EOF
#
$kubectl create secret generic mysecret --from-env-file=env.txt

文件 env.txt 中每行 Key=Value 对应一个信息条目。

4.通过 YAML 配置文件：

vim mysecret.yml
apiVersion: v1
kind: Secret
metadata:
  name: mysecret4
data:
  username: YWRtaW4=
  password: MTIzNDU2

#应用
$ kubectl apply -f mysecrete.yml 

#文件中的敏感数据必须是通过 base64 编码后的结果。
$echo -n admin |base64
YWRtaW4=
$echo -n 123456 |base64
MTIzNDU2

文件中的敏感数据必须是通过 base64 编码后的结果。

10.2 查看Secret:

1通过 kubectl get secret 查看存在的 secret

$kubectl get secret
NAME                  TYPE                                  DATA   AGE
mysecret              Opaque                                2      15m
#其中2表示有2条数据。

2通过kubectl describe secret 查看条目的 Key

$kubectl edit secret mysecret
apiVersion: v1
data:
  password: MTIzNDU2
  username: YWRtaW4=
kind: Secret

反编码查看结果

$echo -n YWRtaW4= | base64 --decode         
admin
$echo -n MTIzNDU2 | base64 --decode
123456

10.3 vloume方式secret的使用

Pod 可以通过 Volume 或者环境变量的方式使用 Secret，先学习 Volume 方式。

10.3.1 Volume方式

Pod 的配置文件如下所示：

vim mysecret_pod.yml
apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  volumes:
  - name: foo
    secret:
      secretName: mysecret
  containers:
  - image: busybox
    args:
    - /bin/sh
    - -c
    - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600
    name: mypod
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true

# 创建 Pod 并在容器中读取 Secret：
$ kubectl apply -f mysecret_pod.yml 
pod/mypod created

① 定义 volume foo，来源为 secret mysecret。
② 将 foo mount 到容器路径 /etc/foo，可指定读写权限为 readOnly。

查看

$kubectl exec -it mypod sh 
/ # ls /etc/foo/
password  username
/ # cat /etc/foo/password 
/ # cat /etc/foo/username 
admin/ # 

可以看到，Kubernetes 会在指定的路径 /etc/foo 下为每条敏感数据创建一个文件，文件名就是数据条目的 Key，这里是 /etc/foo/username 和 /etc/foo/password，Value 则以明文存放在文件中。
我们也可以自定义存放数据的文件名，比如将配置文件改为：

vim mysecret_pod2.yml 
apiVersion: v1
kind: Pod
metadata:
  name: mypod2
spec:
  containers:
  - name: mypod2 
    image: busybox
    args:
      - /bin/sh
      - -c
      - sleep 10; touch /tmp/healthy; sleep 60000
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true

  volumes:
  - name: foo
    secret:
      secretName: mysecret
      items:
      - key: username
        path: my-group/my-username
      - key: password
        path: my-group/my-password

这时数据将分别存放在 /etc/foo/my-group/my-username 和 /etc/foo/my-group/my-password 中。
以 Volume 方式使用的 Secret 支持动态更新：Secret 更新后，容器中的数据也会更新。
将 password 更新为 abcdef，base64 编码为 YWJjZGVm
查看

kubectl exec -it mypod2 sh 
cat /etc/foo/my-group/my-password 
123456
#修改secret  password =YWJjZGVm
# echo -n "abcdef" | base64
YWJjZGVm
kubectl apply -f mysecret.yml 
 $cat /etc/foo/my-group/my-password 
abcdef

10.3.2 环境变量中使用secret

通过 Volume 使用 Secret，容器必须从文件读取数据，会稍显麻烦，Kubernetes 还支持通过环境变量使用 Secret。

cat mysecret_pod3.yml 
apiVersion: v1
kind: Pod
metadata:
  name: mypod3
spec:
  containers:
  - name: mypod3 
    image: busybox
    args:
      - /bin/sh
      - -c
      - sleep 10; touch /tmp/healthy; sleep 60000
    env:
      - name: SECRET_USERNAME
        valueFrom:
          secretKeyRef:
            name: mysecret
            key: username
      - name: SECRET_PASSWORD
        valueFrom:
          secretKeyRef:
            name: mysecret
            key: password
#
$kubectl apply -f mysecret_pod3.yml  
$kubectl get pods mypod3       
NAME     READY   STATUS    RESTARTS   AGE
mypod3   1/1     Running   0          2m16s

查看环境变量

#
$kubectl exec -it mypod3 sh 
# 
$echo $SECRET_USERNAME
admin
/ 
$ echo $SECRET_PASSWORD
abcdef

通过环境变量 SECRET_USERNAME 和 SECRET_PASSWORD 成功读取到 Secret 的数据。
需要注意的是，环境变量读取 Secret 很方便，但无法支撑 Secret 动态更新。

10.4 ConfigMap

Secret 可以为 Pod 提供密码、Token、私钥等敏感数据；对于一些非敏感数据，比如应用的配置信息，则可以用 ConfigMap。

10.4.1 configMap创建

与 Secret 一样，ConfigMap 也支持四种创建方式：
1.1通过 --from-literal：

kubectl create configmap myconfigmap --from-literal=config1=xxx --from-literal=config2=yyy

1.2通过 --from-file：

echo -n xxx > ./config1
echo -n yyy > ./config2
kubectl create configmap myconfigmap --from-file=./config1 --from-file=./config2

1.3通过 --from-env-file：

cat << EOF > env.txt
config1=xxx
config2=yyy
EOF
kubectl create configmap myconfigmap --from-env-file=env.txt

1.4通过 YAML 配置文件：

vim myconfigmap.yml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: myconfigmap
data:
  config1: xxx
  config2: yyy

$kubectl apply -f myconfigmap.yml 
configmap/myconfigmap created

$ kubectl get configmap
NAME          DATA   AGE
myconfigmap   2      42s

10.4.2 configMap使用

1. volum方式

vim myconfigmap_pod.yml              
apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 10; touch /tmp/healthy;  sleep 60000
    name: mypod
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true
  volumes:
  - name: foo
    configMap:
      name: myconfigmap

$kubectl apply -f myconfigmap_pod.yml 
pod/mypod created

查看config

#进入pod
$exec -it mypod sh
/ # cat /etc/foo/config1 
/ # cat /etc/foo/config2
yyy/ # 

2. 环境变量方式
大多数情况下，配置信息都以文件形式提供，所以在创建 ConfigMap 时通常采用 --from-file 或 YAML 方式，读取 ConfigMap 时通常采用 Volume 方式。
比如给 Pod 传递如何记录日志的配置信息：
可以采用 --from-file 形式，则将其保存在文件 logging.conf 中，然后执行命令：

$kubectl create configmap myconfigmap --from-file=./logging.conf
#

如果采用 YAML 配置文件，其内容则为：

vim myconfigmap_logging.yml 
apiVersion: v1
kind: ConfigMap
metadata:
  name: myconfigmap
data:
  logging.conf: |
    class: logging.handlers.RotatingFileHandler
    formatter: precise
    level: INFO
    filename: %hostname-%timestamp.log  

应用

$kubectl apply -f myconfigmap_logging.yml 
configmap/myconfigmap configured

$kubectl edit configMap myconfigmap
kind: ConfigMap
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","data":{"logging.conf":"class: logging.handlers.RotatingFileHandler\nformatter: precise\nlevel: INFO\nfilename: %hostname-%timestamp.log  \n"},"kind":"ConfigMap","meta
data":{"annotations":{},"name":"myconfigmap","namespace":"default"}}

$kubectl describe configMap myconfigmap          
Name:         myconfigmap
Namespace:    default
Labels:       <none>
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","data":{"logging.conf":"class: logging.handlers.RotatingFileHandler\nformatter: precise\nlevel: INFO\nfilename: %hostna...

Data
====
logging.conf:
----
class: logging.handlers.RotatingFileHandler
formatter: precise
level: INFO
filename: %hostname-%timestamp.log  

Events:  <none>

pod中应用此configMap

$myconfigmap_pod.yml 
apiVersion: v1
kind: Pod
metadata:
  name: myconfigpod
spec:
  containers:
  - image: busybox
    args:
    - /bin/sh
    - -c
    - sleep 10; touch /tmp/healthy;  sleep 60000
    name: myconfigpod
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true
  volumes:
  - name: foo
    configMap:
      name: myconfigmap
      items:
        - key: logging.conf
          path: myapp/loggin.conf

$kubectl apply -f myconfigmap_pod.yml 

检查

$kubectl get configMap myconfigmap
$kubectl describe pod myconfigpod    
$ kubectl exec -it myconfigpod sh
cat /etc/foo/myapp/loggin.conf 
class: logging.handlers.RotatingFileHandler
formatter: precise
level: INFO
filename: %hostname-%timestamp.log  

说明：
.
错误信息如下：

$kubectl describe pod myconfigpod    
  Warning  Failed     2m9s                 kubelet, k8s-node-122132072  Error: failed to start container "myconfigpod": Error response from daemon: OCI runtime create failed: container_linux.go:348: starting container process caused "process_linux.go:402: container init caused \"rootfs_linux.go:58: mounting \\\"/data1/docker/containers/xx/resolv.conf\\\" to rootfs \\\"/data1/docker/overlay2/xx/merged\\\" at \\\"/data1/docker/overlay2/xx/merged/etc/resolv.conf\\\" caused \\\"open /data1/docker/overlay2/xx/merged/etc/resolv.conf: read-only file system\\\"\"": unknown

参考:

• 【目录】每天5分钟，玩转kubernetes
• https://jimmysong.io/kubernetes-handbook/concepts/secret.html
• YAML快速入门