首頁 > 軟體

k8s中job與cronjob使用範例詳解

2023-03-05 14:00:38

一、前言

job,顧名思義就是任務,job的概念在很多框架中都有,而且實際業務場景中也使用非常廣泛,比如大家熟悉的hadoop,使用者端可以向叢集提交一個job,然後叢集根據一定的排程策略來處理這個job;

k8s中的job,主要用於批次處理的業務場景,比如像那種短暫的一次性任務(每個任務僅執行一次就結束);

二、k8s中job特點

  • 當Job建立的pod執行成功結束時,Job將記錄成功結束的pod數量;
  • 當成功結束的pod達到指定的數量時,Job將完成執行;

job與pod的關係如下圖

三、Job模板組態檔核心設定引數

如下為job的一個模板設定yaml檔案中的部分核心設定引數

apiVersion: batch/v1 # 版本號
kind: Job # 型別       
metadata: # 後設資料
  name: # rs名稱 
  namespace: # 名稱空間 
  labels: 
    controller: job
spec: 
  completions: 6 # 指定job需要成功執行Pods的次數。預設值: 1
  parallelism: 3 # 指定job在任一時刻應該並行執行Pods的數量。預設值: 1
  ttlSecondsAfterFinished: 5
  activeDeadlineSeconds: 30 # 指定job可執行的時間期限,超過時間還未結束,系統將會嘗試進行終止。
  backoffLimit: 5 # 指定job失敗後進行重試的次數。預設是6
  manualSelector: true # 是否可以使用selector選擇器選擇pod,預設是false
  selector: # 選擇器,通過它指定該控制器管理哪些pod
    matchLabels:      # Labels匹配規則
      app: counter-pod
    matchExpressions: # Expressions匹配規則
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板,當副本數量不足時,會根據下面的模板建立pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重啟策略只能設定為Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以參照各個引數的備註加以理解,下面對其中部分引數做補充說明;

3.1 ttlSecondsAfterFinished

  • 當設定了ttlSecondsAfterFinished引數,job完成或者失敗後都會在ttlSecondsAfterFinished所設定的時間後被清理;
  • 假設ttlSecondsAfterFinished 設定成30。在job完成或者失敗後30s,job就會被自動清除,包括job和job所管理的pod都會被清除;
  • 假設沒有設定,job和job所管理的pod會一直存在,不管是失敗還是成功,不過好像有些k8s的版本ttlSecondsAfterFinished是不生效的,建議使用1.20以上的版本;

3.2 activeDeadlineSeconds

  • Job的超時時間,一旦一個Job執行的時間超出該限制,則Job失敗,所有執行中的Pod會被結束並刪除;
  • 該設定指定的值必須是個正整數,不指定則不會超時;
  • 但是經過實驗,job pod並不會自動刪除,所以如果希望超時後pod會自動刪除還是設定一下ttlSecondsAfterFinished;

3.3 backoffLimit

  • 允許執行失敗的次數,預設值是6,0表示不允許執行失敗;
  • 如果Pod是restartPolicy為Nerver,則失敗後會建立新的Pod,如果是OnFailed,則會重啟Pod,不管是哪種情況,只要Pod失敗一次就計算一次,而不是等整個Pod失敗後再計算一個;
  • 當失敗的次數達到該限制時,整個Job隨即結束,所有正在執行中的Pod都會被刪除;
  • 但是經過實驗,jobpod並不會自動刪除,所以如果希望超時後pod會自動刪除還是設定一下ttlSecondsAfterFinished;

3.4 parallelism

並行執行的Pod的個數,預設值為1,假如設定為3,就會同時開啟3個pod去執行任務

3.5 completions

  • 完成該Job需要執行成功的Pod數;
  • 指定需要完成的數量,預設值為1,假設設定為3,需要有三個pod成功完成任務,這個job才算是完成;

四、job案例操作演示

在當前目錄下建立一個jod-pod.yaml檔案,設定如下內容

apiVersion: batch/v1
kind: Job      
metadata:
  name: test-job
  namespace: default
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply建立pod

在另外的兩個視窗,我們提前開啟監控pod和job的執行情況,可以看到下面的完整執行過程;

從job的執行過程來看,經歷了從無到有以及到最終的STATUS狀態為Completed的過程,這個也和上文提到的job的生命週期描述吻合;

對於Pod的執行過程來看,從下面這張圖可以清晰看到STATUS的各個階段變化的完整過程;

其他的模板中的引數可以直接往裡面新增即可在job執行過程中看到效果,比如我們在該模板檔案中補充兩個引數;

再次執行這個job,通過job和pod的監控資訊,看到如下的效果;

五、cronjob 理論

CronJob其實就是在Job的基礎上加上了時間排程,我們可以:在給定的時間點執行一個任務,也可以週期性地在給定時間點執行。這個實際上和我們Linux中的crontab就非常類似了。

CronJob控制器以 Job控制器資源為其管控物件,並藉助它管理pod資源物件,Job控制器定義的作業任務在其控制器資源建立之後便會立即執行,但CronJob可以以類似於Linux作業系統的週期性任務作業計劃的方式控制其執行時間點重複執行的方式。也就是說,CronJob可以在特定的時間點(反覆的)去執行job任務

cronjob 執行原理圖

六、cronjob 模板組態檔核心設定引數

如下為cronjob模板組態檔中核心引數;

apiVersion: batch/v1beta1 # 版本號
kind: CronJob # 型別       
metadata: # 後設資料
  name: # rs名稱 
  namespace: # 名稱空間 
  labels: #標籤
    controller: cronjob
spec: # 詳情描述
  schedule: # cron格式的作業排程執行時間點,用於控制任務在什麼時間執行
  concurrencyPolicy: # 並行執行策略,用於定義前一次作業執行尚未完成時是否以及如何執行後一次的作業
  failedJobHistoryLimit: # 為失敗的任務執行保留的歷史記錄數,預設為1
  successfulJobHistoryLimit: # 為成功的任務執行保留的歷史記錄數,預設為3
  startingDeadlineSeconds: # 啟動作業錯誤的超時時長
  jobTemplate: # job控制器模板,用於為cronjob控制器生成job物件;下面其實就是job的定義
    metadata:
    spec:
      completions: 1
      parallelism: 1
      activeDeadlineSeconds: 30
      backoffLimit: 6
      manualSelector: true
      selector:
        matchLabels:
          app: counter-pod
        matchExpressions: 規則
          - {key: app, operator: In, values: [counter-pod]}
      template:
        metadata:
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never 
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

關於組態檔中的補充引數說明

concurrencyPolicy

concurrencyPolicy 設定策略

  • Allow: 允許Jobs並行執行(預設);
  • Forbid: 禁止並行執行,如果上一次執行尚未完成,則跳過下一次執行;
  • Replace: 替換,取消當前正在執行的作業並用新作業替它;

Cron排程語法

注意K8S的定時任務僅支援5位,從minute開始


# ┌───────────── minute (0 - 59)
# │ ┌───────────── hour (0 - 23)
# │ │ ┌───────────── day of the month (1 - 31)
# │ │ │ ┌───────────── month (1 - 12)
# │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *

七、cronjob 案例操作演示

在當前目錄建立一個cron-job.yaml的組態檔,設定內容如下:

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: test-cronjob
  namespace: default
  labels:
    controller: cronjob
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    metadata:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply(或create命令)建立cronjob

通過開啟其他使用者端視窗,可以監控cronjob,job以及pod的執行過程中的狀態;

cronjob的執行狀態

上面的設定策略是每分鐘執行,從下圖的執行效果中也可以看出來;

job的執行狀態

pod的執行狀態

cronjob使用場景

Cron 作業對於建立週期性和重複性任務很有用,例如執行備份或傳送電子郵件。Cron 作業還可以將單個任務安排在特定時間,例如,你想將作業安排在業務低峰期執行。

到此這篇關於k8s中job與cronjob使用範例詳解的文章就介紹到這了,更多相關k8s job與cronjob使用內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com