<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
定時任務觸發方式有幾種型別,日常的工作中,研發同學運用比較多的就是cron方式
查了一下APScheduler框架內支援多種定時任務方式
首先先安裝apscheduler模組
$ pip install apscheduler
程式碼如下:(在方法內註釋了各種時間引數的定義與範圍)
from apscheduler.schedulers.blocking import BlockingScheduler class Timing: def __init__(self, start_date, end_date, hour=None): self.start_date = start_date self.end_date = end_date self.hour = hour def cron(self, job, *value_list): """cron格式 在特定時間週期性地觸發""" # year (int 或 str) – 年,4位元數位 # month (int 或 str) – 月 (範圍1-12) # day (int 或 str) – 日 (範圍1-31) # week (int 或 str) – 周 (範圍1-53) # day_of_week (int 或 str) – 周內第幾天或者星期幾 (範圍0-6 或者 mon,tue,wed,thu,fri,sat,sun) # hour (int 或 str) – 時 (範圍0-23) # minute (int 或 str) – 分 (範圍0-59) # second (int 或 str) – 秒 (範圍0-59) # start_date (datetime 或 str) – 最早開始日期(包含) # end_date (datetime 或 str) – 分 最晚結束時間(包含) # timezone (datetime.tzinfo 或str) – 指定時區 scheduler = BlockingScheduler() scheduler.add_job(job, 'cron', start_date=self.start_date, end_date=self.end_date, hour=self.hour, args=[*value_list]) scheduler.start() def interval(self, job, *value_list): """interval格式 週期觸發任務""" # weeks (int) - 間隔幾周 # days (int) - 間隔幾天 # hours (int) - 間隔幾小時 # minutes (int) - 間隔幾分鐘 # seconds (int) - 間隔多少秒 # start_date (datetime 或 str) - 開始日期 # end_date (datetime 或 str) - 結束日期 # timezone (datetime.tzinfo 或str) - 時區 scheduler = BlockingScheduler() # 在 2019-08-29 22:15:00至2019-08-29 22:17:00期間,每隔1分30秒 執行一次 job 方法 scheduler.add_job(job, 'interval', minutes=1, seconds=30, start_date=self.start_date, end_date=self.end_date, args=[*value_list]) scheduler.start() @staticmethod def date(job, *value_list): """date格式 特定時間點觸發""" # run_date (datetime 或 str) - 作業的執行日期或時間 # timezone (datetime.tzinfo 或 str) - 指定時區 scheduler = BlockingScheduler() # 在 2019-8-30 01:00:01 執行一次 job 方法 scheduler.add_job(job, 'date', run_date='2019-8-30 01:00:00', args=[*value_list]) scheduler.start()
封裝的方法不是很通用,後面會優化一下程式碼,但最起碼現在是能用的,哈哈哈哈哈哈
思考了一下思路,巡檢觸發任務,然後觸發釘釘,所以定時任務應該是在最上層
之前分享的釘釘封裝的程式碼內底部繼續完善一下
if __name__ == '__main__': file_list = ["test_shiyan.py", "MeetSpringFestival.py"] # run_py(file_list) case_list = ["test_case_01", "test_case_02"] # run_case(test_sample, case_list) dingDing_list = [2, case_list, test_sample] # run_dingDing(*dingDing_list) Timing('2022-02-15 00:00:00', '2022-02-16 00:00:00', '0-23').cron(run_dingDing, *dingDing_list)
把run_dingDing()的函數我們放在已經封裝好的Timing().cron(run_dingDing,*dingDing_list)內,那麼run_dingDing()內的引數我們通過元組的方式傳入
就是我們上面寫的這裡能看到
def cron(self, job, *value_list): """cron格式 在特定時間週期性地觸發""" scheduler.add_job(job, 'cron', start_date=self.start_date, end_date=self.end_date, hour=self.hour, args=[*value_list])
時間範圍的填寫我放在了Timing()初始化內,看著舒服一點
在執行Timing().cron()後就可以觸發定時了,但是必須要開著電腦才可以,等後面開始研究平臺,儲存在伺服器內就美吱吱了~
apscheduler 執行過程中出現類似如下報錯:
Run time of job "9668_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.387821Run time of job "9668_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.392574Run time of job "9669_deep (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.397622Run time of job "9669_hack (trigger: interval[1:00:00], next run at: 2018-10-29 22:00:00 CST)" was missed by 0:01:47.402938Run time of job "9669_index (trigger: interval[0:30:00], next run at: 2018-10-29 21:30:00 CST)" was missed by 0:01:47.407996
針對該問題百度是基本上指不上了,google到了關鍵設定,但仍然出現該報錯,於是繼續找資料,刨根問底這到是什麼鬼問題導致的。
google 到的是github上的一個issue:https://github.com/agronholm/apscheduler/issues/146
裡面說到了一個引數:misfire_grace_time,但是這個引數到底是幹嘛用的,在其他地方找到了解釋,其中涉及到幾個其他引數,但是結合自己的理解綜合總結一下
coalesce
:當由於某種原因導致某個job積攢了好幾次沒有實際執行(比如說系統掛了5分鐘後恢復,有一個任務是每分鐘跑一次的,按道理說這5分鐘內本來是“計劃”執行5次的,但實際沒有執行),如果coalesce為True,下次這個job被submit給executor時,只會執行1次,也就是最後這次,如果為False,那麼會執行5次(不一定,因為還有其他條件,看後面misfire_grace_time的解釋)max_instance
:就是說同一個job同一時間最多有幾個範例再跑,比如一個耗時10分鐘的job,被指定每分鐘執行1次,如果我們max_instance值為5,那麼在第6~10分鐘上,新的執行範例不會被執行,因為已經有5個範例在跑了misfire_grace_time
:設想和上述coalesce類似的場景,如果一個job本來14:00有一次執行,但是由於某種原因沒有被排程上,現在14:01了,這個14:00的執行範例被提交時,會檢查它預訂執行的時間和當下時間的差值(這裡是1分鐘),大於我們設定的30秒限制,那麼這個執行範例不會被執行。範例:
15分鐘一次的的任務,misfire_grace_time 設定100秒,在0:06分的時候提示:
Run time of job "9392_index (trigger: interval[0:15:00], next run at: 2018-10-27 00:15:00 CST)" was missed by 0:06:03.931026
解釋:
於是我修改了設定如下:
class Config(object): SCHEDULER_JOBSTORES = { 'default': RedisJobStore(db=3,host='0.0.0.0', port=6378,password='******'), } SCHEDULER_EXECUTORS = { 'default': {'type': 'processpool', 'max_workers': 50} #用程序池提升任務處理效率 } SCHEDULER_JOB_DEFAULTS = { 'coalesce': True, #積攢的任務只跑一次 'max_instances': 1000, #支援1000個範例並行 'misfire_grace_time':600 #600秒的任務超時容錯 } SCHEDULER_API_ENABLED = True
我本以為這樣應該就沒什麼問題了,設定看似完美,但是現實是殘忍的,盯著apscheduler紀錄檔看了一會,熟悉的“was missed by”又出現了,這時候就需要懷疑這個設定到底有沒有生效了,然後發現果然沒有生效,從/scheduler/jobs中可以看到任務:
{ "id": "9586_site_status", "name": "9586_site_status", "func": "monitor_scheduler:monitor_site_status", "args": [ 9586, "http://sl.jxcn.cn/", 1000, 100, 200, "", 0, 2 ], "kwargs": {}, "trigger": "interval", "start_date": "2018-09-14T00:00:00+08:00", "end_date": "2018-12-31T00:00:00+08:00", "minutes": 15, "misfire_grace_time": 10, "max_instances": 3000, "next_run_time": "2018-10-24T18:00:00+08:00" }
可以看到任務中預設就有misfire_grace_time設定,沒有改為600,折騰一會發現修改設定,重啟與修改任務都不會生效,只能修改設定後刪除任務重新新增(才能把這個預設設定用上),或者修改任務的時候把這個值改掉
scheduler.modify_job(func=func, id=id, args=args, trigger=trigger, minutes=minutes,start_date=start_date,end_date=end_date,misfire_grace_time=600)
然後就可以了?圖樣圖森破,missed 依然存在。
其實從後來的報錯可以發現這個容錯時間是用上的,因為從執行時間加上600秒後才出現的報錯。
那麼還是回到這個超時根本問題上,即使容錯時間足夠長,沒有這個報錯了,但是一個任務執行時間過長仍然是個根本問題,所以終極思路還在於如何優化executor的執行時間上。
當然這裡根據不同的任務處理方式是不一樣的,在於各自的程式碼了,比如更改連結方式、程式碼是否有冗餘請求,是否可以改為非同步執行,等等。
而我自己的任務解決方式為:由介面請求改為python模組直接傳參,redis連結改為內網,極大提升執行效率,所以也就控制了執行超時問題。
以上為個人經驗,希望能給大家一個參考,也希望大家多多支援it145.com。
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45