Local Volume Openshift

  • 使用本地盘的方式的有三种：emptyDir、HostPath与Local Volume
  • Openshift针对Local Volume提供了一个local volume provisioner方便PV的自动创建，但目前它需要创建的PV对应的目录必须是挂载点。否则无法创建PV。
  • 除了自动创建PV的过程外，部分与正常使用Local Volume一样。

手动挂载目录使用Local Volume

我们先来看下通过手动的方式创建PV使用Local Volume是如何操作的。

1. 创建StorageClass

1
2
3
4
5
6
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-hdd
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

2. 创建PV

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
apiVersion: v1
 kind: PersistentVolume
 metadata:
   name: local-volume-1
 spec:
   accessModes:
   - ReadWriteOnce
   capacity:
     storage: 1Gi
   local:
     path: /root/hdd/vol1
   nodeAffinity:
     required:
       nodeSelectorTerms:
       - matchExpressions:
         - key: kubernetes.io/hostname
           operator: In
           values:
           - node01.example.com
   storageClassName: local-hdd

3. 创建PVC使用PV

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: v1
 kind: PersistentVolumeClaim
 metadata:
   name: local-pvc
 spec:
   accessModes:
   - ReadWriteOnce
   resources:
     requests:
       storage: 1Gi
   storageClassName: local-hdd
   volumeName: local-volume-1

4. 对于StatefulSet创建volumeClaimTemplates

1
2
3
4
5
6
7
8
9
volumeClaimTemplates:
  - metadata:
      name: local-pvc
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: local-hdd
      resources:
        requests:
          storage: 1Gi

使用Local Volume Provisioner方式自动挂载目录使用Local Volume

再次说明：目前它需要创建的PV对应的目录必须是挂载点。

1. 准备磁盘/分区，并将它挂载到指定目录下，每个Node节点都做一样的挂载点。如/etc/fstab配置如下

1
/dev/sdb1       /mnt/local-storage/hdd/disk1 ext4     defaults 1 2

2. 对挂载点目录设置权限，允许容器进行访问读写

1
$ chcon -R unconfined_u:object_r:svirt_sandbox_file_t:s0 /mnt/local-storage/

3. 创建一个新的Project，为部署Local Volume Provisioner准备

1
$ oc new-project local-storage.

4. 导入主机local volume的目录配置，即创建对应的configmap

1
2
3
4
5
6
7
8
9
10
$ cat  << EOF | create -f 
apiVersion: v1
kind: ConfigMap
metadata:
  name: local-volume-config
data:
    storageClassMap: |
        local-hdd:
            hostDir: /mnt/local-storage/hdd
            mountDir: /mnt/local-storage/hdd

local-hdd将为创建的StorageClass的名字
hostDir为主机挂载点的父目录，如果该目录下有新的挂载点，将会自动创建新的PV
mountDir为Provisioner Pod的挂载点，最好与hostDir一致

5. 准备serviceaccount等权限配置

1
2
$ oc create serviceaccount local-storage-admin
$ oc adm policy add-scc-to-user privileged -z local-storage-admin

6. 安装Local Volume Provisioner

1
2
3
4
5
6
$ oc create -f https://raw.githubusercontent.com/openshift/origin/release-3.11/examples/storage-examples/local-examples/local-storage-provisioner-template.yaml
$  oc new-app -p CONFIGMAP=local-volume-config \
  -p SERVICE_ACCOUNT=local-storage-admin \
  -p NAMESPACE=local-storage \
  -p PROVISIONER_IMAGE=docker.io/xhuaustc/openshift3-local-storage-provisioner:v3.11 \ 
  local-storage-provisioner

7. 创建对应的storageclass

1
2
3
4
5
6
7
8
$ cat << EOF | oc create -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: local-hdd
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
EOF

至此，部署完成。使用方式与手动创建PV一样。新加一块存储也非常容易，只需要在各个Node节点的hostDir目录下创建新挂载点，并更新好权限，Local Volume Provisioner将会自动创建PV以供使用。
需要注意的是，PVC的配置yaml中，storageClassName必须写在spec的配置中。而openshift console默认是将storageclass写在metadata->annotations->volume.beta.kubernetes.io/storage-class: local-hdd，所以通过openshift console创建的pvc是无法使用Local Volume创建的pv的。