首頁 > 軟體

Python中PyAutoGUI幫助檔案(推薦!)

2022-03-23 13:03:09
import pyperclip
import pyautogui
 
#  PyAutoGUI中文輸入需要用貼上實現
#  Python 2版本的pyperclip提供中文複製
def paste(foo):
    pyperclip.copy(foo)
    pyautogui.hotkey('ctrl', 'v')
 
foo = u'學而時習之'
#  移動到文字方塊
pyautogui.click(130,30)
paste(foo)

1.簡介

1.1 目的

PyAutoGUI是一個純Python的GUI自動化工具,其目的是可以用程式自動控制滑鼠和鍵盤操作,多平臺支援(Windows,OS X,Linux)。可以用pip安裝,Github上有原始碼

下面的程式碼讓滑鼠移到螢幕中央。

import pyautogui
screenWidth, screenHeight = pyautogui.size()
pyautogui.moveTo(screenWidth / 2, screenHeight / 2)

PyAutoGUI可以模擬滑鼠的移動、點選、拖拽,鍵盤按鍵輸入、按住操作,以及滑鼠+鍵盤的熱鍵同時按住等操作,可以說手能動的都可以。

 1.2 例子

import pyautogui
screenWidth, screenHeight = pyautogui.size()
currentMouseX, currentMouseY = pyautogui.position()
pyautogui.moveTo(100, 150)
pyautogui.click()
#  滑鼠向下移動10畫素
pyautogui.moveRel(None, 10)
pyautogui.doubleClick()
#  用緩動/漸變函數讓滑鼠2秒後移動到(500,500)位置
#  use tweening/easing function to move mouse over 2 seconds.
pyautogui.moveTo(1800, 500, duration=2, tween=pyautogui.easeInOutQuad)
#  在每次輸入之間暫停0.25秒
pyautogui.typewrite('Hello world!', interval=0.25)
pyautogui.press('esc')
pyautogui.keyDown('shift')
pyautogui.press(['left', 'left', 'left', 'left', 'left', 'left'])
pyautogui.keyUp('shift')
pyautogui.hotkey('ctrl', 'c')
distance = 200
while distance > 0:
    pyautogui.dragRel(distance, 0, duration=0.5) # 向右
    distance -= 5
    pyautogui.dragRel(0, distance, duration=0.5) # 向下
    pyautogui.draIn gRel(-distance, 0, duration=0.5) # 向左
    distance -= 5
    pyautogui.dragRel(0, -distance, duration=0.5) # 向上

1.4 保護措施(Fail-Safes)

就像《魔法師的學徒》(Sorcerer’s Apprentice)會擔水的掃帚,可以擔水,卻無力阻止水漫浴室。你的程式也可能會失控(即使是按照你的意思執行的),那時就需要中斷。如果滑鼠還在自動操作,就很難在程式視窗關閉它。

為了能夠及時中斷,PyAutoGUI提供了一個保護措施。當pyautogui.FAILSAFE = True時,如果把滑鼠遊標在螢幕左上角,PyAutoGUI函數就會產生pyautogui.FailSafeException異常。如果失控了,需要中斷PyAutoGUI函數,就把滑鼠遊標在螢幕左上角。要禁用這個特性,就把FAILSAFE設定成False:

import pyautogui
pyautogui.FAILSAFE = False

通過把pyautogui.PAUSE設定成float或int時間(秒),可以為所有的PyAutoGUI函數增加延遲。預設延遲時間是0.1秒。在函數迴圈執行的時候,這樣做可以讓PyAutoGUI執行的慢一點,非常有用。例如:

import pyautogui
pyautogui.PAUSE = 2.5
pyautogui.moveTo(100,100); pyautogui.click()

所有的PyAutoGUI函數在延遲完成前都處於阻塞狀態(block)。(未來計劃增加一個可選的非阻塞模式來呼叫函數。)

建議PAUSE和FAILSAFE一起使用。

2 安裝與依賴

PyAutoGUI支援Python 2.x和Python 3.x

Windows:PyAutoGUI沒有任何依賴,因為它用Python的ctypes模組所以不需要pywin32

pip3 install pyautogui

OS X:PyAutoGUI需要PyObjC執行AppKit和Quartz模組。這個模組在PyPI上的按住順序是pyobjc-core和pyobjc

sudo pip3 install pyobjc-core
sudo pip3 install pyobjc
sudo pip3 install pyautogui

Linux:PyAutoGUI需要python-xlib(Python 2)、python3-Xlib(Python 3)

sudo pip3 install python3-xlib
sudo apt-get scrot
sudo apt-get install python-tk
sudo apt-get install python3-dev
sudo pip3 install pyautogui

3.速查表(小抄,Cheat Sheet)

3.1 常用函數

import pyautogui
#  當前滑鼠的座標
pyautogui.position()
(123, 372)
#  當前螢幕的解析度(寬度和高度)
pyautogui.size()
(1920, 1080)
#  (x,y)是否在螢幕上
x, y = 122, 244
pyautogui.onScreen(x, y)
True

3.2 保護措施

PyAutoGUI函數增加延遲為2.5秒:

import pyautogui
pyautogui.PAUSE = 2.5

當pyautogui.FAILSAFE = True時,如果把滑鼠遊標在螢幕左上角,PyAutoGUI函數就會產生pyautogui.FailSafeException異常。

import pyautogui
pyautogui.FAILSAFE = True

3.3 滑鼠函數

座標系的原點是左上角。X軸(水平)座標向右增大,Y軸(豎直)座標向下增大。

 num_seconds = 1.2
#  用num_seconds秒的時間把遊標移動到(x, y)位置
pyautogui.moveTo(x, y, duration=num_seconds)
#  用num_seconds秒的時間把遊標的X軸(水平)座標移動xOffset,
#  Y軸(豎直)座標向下移動yOffset。
xOffset, yOffset = 50, 100
pyautogui.moveRel(xOffset, yOffset, duration=num_seconds)

click()函數就是讓滑鼠點選,預設是單擊左鍵,引數可以設定:

pyautogui.click(x=moveToX, y=moveToY, clicks=num_of_clicks, interval=secs_between_clicks, button='left')

其中,button屬性可以設定成left,middle和right。

所有的點選都可以用這個函數,不過下面的函數可讀性更好:

yautogui.rightClick(x=moveToX, y=moveToY)
pyautogui.middleClick(x=moveToX, y=moveToY)
pyautogui.doubleClick(x=moveToX, y=moveToY)
pyautogui.tripleClick(x=moveToX, y=moveToY)

scroll函數控制滑鼠滾輪的捲動,amount_to_scroll參數列示捲動的格數。正數則頁面向上捲動,負數則向下捲動:

pyautogui.scroll(clicks=amount_to_scroll, x=moveToX, y=moveToY)

每個按鍵按下和鬆開兩個事件可以分開處理:

pyautogui.mouseDown(x=moveToX, y=moveToY, button='left')
pyautogui.mouseUp(x=moveToX, y=moveToY, button='left')

3.4 鍵盤函數

鍵盤上可以按的鍵都可以呼叫:

 #  每次鍵入的時間間隔
secs_between_keys = 0.1
pyautogui.typewrite('Hello world!n', interval=secs_between_keys)

多個鍵也可以:

pyautogui.typewrite(['a', 'b', 'c', 'left', 'backspace', 'enter', 'f1'], interval=secs_between_keys)

按鍵名稱列表:

pyautogui.KEYBOARD_KEYS[:10]
['t', 'n', 'r', ' ', '!', '"', '#', '$', '%', '&']

鍵盤的一些熱鍵像Ctrl-S或Ctrl-Shift-1都可以用hotkey()函數來實現:

pyautogui.hotkey('ctrl', 'a') # 全選
pyautogui.hotkey('ctrl', 'c') # 複製
pyautogui.hotkey('ctrl', 'v') # 貼上

每個按鍵的按下和鬆開也可以單獨呼叫:

pyautogui.keyDown(key_name)
pyautogui.keyUp(key_name)

3.5 訊息彈窗函數

如果你需要訊息彈窗,通過單擊OK暫停程式,或者向用戶顯示一些資訊,訊息彈窗函數就會有類似JavaScript的功能:

pyautogui.alert('這個訊息彈窗是文字+OK按鈕')
pyautogui.confirm('這個訊息彈窗是文字+OK+Cancel按鈕')
pyautogui.prompt('這個訊息彈窗是讓使用者輸入字串,單擊OK')

在prompt()函數中,如果使用者什麼都不輸入,就會返回None。

3.6 截圖函數

PyAutoGUI用Pillow/PIL庫實現圖片相關的識別和操作。

在Linux裡面,你必須執行sudo apt-get install scrot來使用截圖特性。

#  返回一個Pillow/PIL的Image物件
pyautogui.screenshot()
pyautogui.screenshot('foo.png')

如果你有一個圖片檔案想在上面做點選操作,你可以用locateOnScreen()函數來定位。

#  返回(最左x座標,最頂y座標,寬度,高度)
pyautogui.locateOnScreen('pyautogui/looks.png')
(0, 1040, 48, 40)

locateAllOnScreen()函數會尋找所有相似圖片,返回一個生成器:

for i in pyautogui.locateAllOnScreen('pyautogui/looks.png'):
    print(i)
 
(0, 1040, 48, 40)
list(pyautogui.locateAllOnScreen('pyautogui/looks.png'))
 
[(0, 1040, 48, 40)]

locateCenterOnScreen()函數會返回圖片在螢幕上的中心XY軸座標值:

pyautogui.locateCenterOnScreen('pyautogui/looks.png')
 
(24, 1060)

如果沒找到圖片會返回None。

定位比較慢,一般得用1~2秒

4 常用函數

  • position():返回整數元組(x, y),分別表示滑鼠遊標所在位置的XY軸座標
  • size():返回顯示器的尺寸整數元組(x, y)。未來將加入多屏支援

5 滑鼠控制函數

5.1 螢幕與滑鼠位置

螢幕位置使用X和Y軸的笛卡爾座標系。原點(0,0)在左上角,分別向右、向下增大。

如果螢幕畫素是$1920 times 1080$,那麼右下角的座標是(1919, 1079)。

解析度大小可以通過size()函數返回整數元組。遊標的位置用position()返回。例如:

pyautogui.size()
 
(1920, 1080)
pyautogui.position()
 
(272, 688)

下面是Python 3版本的遊標位置記錄程式:

# ! python 3
import pyautogui
print('Press Ctrl-C to quit')
try:
    while True:
        x, y = pyautogui.position()
        positionStr = 'X: {} Y: {}'.format(*[str(x).rjust(4) for x in [x, y]])
        print(positionStr, end='')
        print('b' * len(positionStr), end='', flush=True)
except KeyboardInterrupt:
    print('n')

Python 2版本是:

# ! python
import pyautogui, sys
print('Press Ctrl-C to quit.')
try:
    while True:
        x, y = pyautogui.position()
        positionStr = 'X: ' + str(x).rjust(4) + ' Y: ' + str(y).rjust(4)
        print positionStr,
        print 'b' * (len(positionStr) + 2),
        sys.stdout.flush()
except KeyboardInterrupt:
    print 'n'

要檢查XY座標是否在螢幕上,需要用onScreen()函數來檢驗,如果在螢幕上返回True:

import pyautogui
pyautogui.onScreen(0, 0)
 
True
pyautogui.onScreen(0, -1)
 
False
pyautogui.onScreen(0, 2080)
 
False
pyautogui.onScreen(1920, 1080) 

False
pyautogui.onScreen(1919, 1079)
 
True

5.2 滑鼠行為

moveTo()函數會把滑鼠遊標移動到指定的XY軸座標處。如果傳入None值,則表示使用當前遊標的物件軸座標值。

pyautogui.moveTo(100, 200)     # 遊標移動到(100, 200)位置
pyautogui.moveTo(None, 500)   # 遊標移動到(100, 500)位置
pyautogui.moveTo(600, None)   # 遊標移動到(600, 500)位置

一般滑鼠遊標都是瞬間移動到指定的位置,如果你想讓滑鼠移動的慢點,可以設定持續時間:

pyautogui.moveTo(100, 200, duration=2)     # 用2秒把遊標移動到(100, 200)位置

預設的持續時間pyautogui.MINIMUM_DURATION是0.1秒,如果你設定的時間比預設值還短,那麼就會瞬間執行。

如果你想讓遊標以當前位置為原點,進行相對移動,就用pyautogui.moveRel()函數。例如:

pyautogui.moveTo(100, 200) #把遊標移動到(100, 200)位置
pyautogui.moveRel(0, 50)   #向下移動50
pyautogui.moveRel(30, 0, 2)   #向右移動30
pyautogui.moveRel(30, None)   #向右移動30

5.3 滑鼠拖拽

PyAutoGUI的dragTo()和dragRel()函數與moveTo()和moveRel()函數類似。另外,他們有一個button引數可以設定成left,middle和right三個鍵。例如:

# 按住滑鼠左鍵,把滑鼠拖拽到(100, 200)位置
pyautogui.dragTo(100, 200, button='left')
# 按住滑鼠左鍵,用2秒鐘把滑鼠拖拽到(300, 400)位置
pyautogui.dragTo(300, 400, 2, button='left')
# 按住滑鼠右鍵,用2秒鐘把滑鼠拖拽到(30,0)位置
pyautogui.dragTo(30, 0, 2, button='right')

5.4 緩動/漸變(Tween / Easing)函數

緩動/漸變函數的作用是讓遊標的移動更炫。如果你不需要用到的話,你可以忽略這些。

緩動/漸變函數可以改變遊標移動過程的速度和方向。通常滑鼠是勻速直線運動,這就是線性緩動/漸變函數。PyAutoGUI有30種緩動/漸變函數,可以通過pyautogui.ease*?檢視。其中,pyautogui.easeInQuad()函數可以用於moveTo(),moveRel(),dragTo()和dragRel()函數,遊標移動呈現先慢後快的效果,整個過程的時間還是和原來一樣。而pyautogui.easeOutQuad函數的效果相反:遊標開始移動很快,然後慢慢減速。pyautogui.easeOutElastic是彈簧效果,首先越過終點,然後再反彈回來。例如:

#  開始很慢,不斷加速
pyautogui.moveTo(100, 100, 2, pyautogui.easeInQuad)
#  開始很快,不斷減速
pyautogui.moveTo(100, 100, 2, pyautogui.easeOutQuad)
#  開始和結束都快,中間比較慢
pyautogui.moveTo(100, 100, 2, pyautogui.easeInOutQuad)
#  一步一徘徊前進
pyautogui.moveTo(100, 100, 2, pyautogui.easeInBounce)
#  徘徊幅度更大,甚至超過起點和終點
pyautogui.moveTo(100, 100, 2, pyautogui.easeInElastic)

這些效果函數是模仿Al Sweigart的PyTweening模組,可以直接使用,不需要額外安裝。

如果你想建立自己的效果,也可以定義一個函數,其引數是(0.0,1.0),表示起點和終點,返回值是介於[0.0,1.0]之間的數。

5.5 滑鼠單擊

click()函數模擬單擊滑鼠左鍵一次的行為。例如:

pyautogui.click()

如果單機之前要先移動,可以把目標的XY座標值傳入函數:

#  先移動到(100, 200)再單擊
pyautogui.click(x=100, y=200, duration=2)

可以通過button引數設定left,middle和right三個鍵。例如:

pyautogui.click(button='right')

要做多次單擊可以設定clicks引數,還有interval引數可以設定每次單擊之間的時間間隔。例如:

#  雙擊左鍵
pyautogui.click(clicks=2)
#  兩次單擊之間停留0.25秒
pyautogui.click(clicks=2, interval=0.25)
#  三擊右鍵
pyautogui.click(button='right', clicks=2, interval=0.25)

為了操作方便,PyAutoGUI提供了doubleClick(),tripleClick()和rightClick()來實現雙擊、三擊和右擊操作。

5.6 滑鼠按下和鬆開函數

mouseDown()和mouseUp()函數可以實現滑鼠按下和滑鼠鬆開的操作。兩者引數相同,有x,y和button。例如:

#  滑鼠左鍵按下再鬆開
pyautogui.mouseDown(); pyautogui.mouseUp() 
#  按下滑鼠右鍵
pyautogui.mouseDown(button='right') 
#  移動到(100, 200)位置,然後鬆開滑鼠右鍵
pyautogui.mouseUp(button='right', x=100, y=200) 

5.7 滾輪捲動函數

滑鼠滾輪捲動可以用scroll()函數和clicks次數引數來模擬。不同平臺上的clicks次數不太一樣。還有x和y引數可以在捲動之前定位到(x, y)位置。例如:

#  向上捲動10格
pyautogui.scroll(10)
#  向下捲動10格
pyautogui.scroll(-10)
#  移動到(100, 100)位置再向上捲動10格
pyautogui.scroll(10, x=100, y=100)

在OS X和Linux平臺上,PyAutoGUI還可以用hscroll()實現水平捲動。例如:

#  向右捲動10格
pyautogui.hscroll(10)
#  向左捲動10格
pyautogui.hscroll(-10)

scroll()函數是vscroll()的一個包裝(wrapper),執行豎直捲動。

6 鍵盤控制函數

6.1 typewrite()輸入函數

鍵盤控制的主要函數就是typewrite()。這個函數可以實現字元輸入。要在兩次輸入間增加時間間隔,可以用interval引數。例如:

#  輸入Hello world!
pyautogui.typewrite('Hello world!')
#  每次輸入間隔0.25秒,輸入Hello world!
pyautogui.typewrite('Hello world!', interval=0.25)

typewrite()函數只能用於單個字元鍵,不能按SHITF和F1這些功能鍵。

6.2 press(),keyDown()和keyUp()函數

要按那些功能鍵,可以用press()函數把pyautogui.KEYBOARD_KEYS裡面按鍵對應的字串輸入進去。例如:

#  ENTER鍵
pyautogui.press('enter')
#  F1鍵
pyautogui.press('f1')
#  左方向鍵
pyautogui.press('left')

press()函數其實是keyDown()和keyUp()函數的包裝,模擬的按下然後鬆開兩個動作。這兩個函數可以單獨呼叫。例如,按下shift鍵的同時按3次左方向鍵:

#  按下`shift`鍵
pyautogui.keyDown('shift')
pyautogui.press('left')
pyautogui.press('left')
pyautogui.press('left')
#  鬆開`shift`鍵
pyautogui.keyUp('shift')

和typewrite()函數一樣,可以用陣列把一組鍵傳入press()。例如:

pyautogui.press(['left', 'left', 'left'])

6.3 hotkey()函數

為了更高效的輸入熱鍵,PyAutoGUI提供了hotkey()函數來繫結若干按鍵:

pyautogui.hotkey('ctrl', 'shift', 'ese')

等價於:

pyautogui.keyDown('ctrl')
pyautogui.keyDown('shift')
pyautogui.keyDown('esc')
pyautogui.keyUp('esc')
pyautogui.keyUp('shift')
pyautogui.keyUp('ctrl')

6.4 KEYBOARD_KEYS

下面就是press(),keyDown(),keyUp()和hotkey()函數可以輸入的按鍵名稱:

print(pyautogui.KEYBOARD_KEYS)
 
['t', 'n', 'r', ' ', '!', '"', '#', '$', '%', '&', "'", '(', ')', '*', '+', ',', '-', '.', '/', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', ':', ';', '<', '=', '>', '?', '@', '[', '\', ']', '^', '_', '`', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '{', '|', '}', '~', 'accept', 'add', 'alt', 'altleft', 'altright', 'apps', 'backspace', 'browserback', 'browserfavorites', 'browserforward', 'browserhome', 'browserrefresh', 'browsersearch', 'browserstop', 'capslock', 'clear', 'convert', 'ctrl', 'ctrlleft', 'ctrlright', 'decimal', 'del', 'delete', 'divide', 'down', 'end', 'enter', 'esc', 'escape', 'execute', 'f1', 'f10', 'f11', 'f12', 'f13', 'f14', 'f15', 'f16', 'f17', 'f18', 'f19', 'f2', 'f20', 'f21', 'f22', 'f23', 'f24', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'final', 'fn', 'hanguel', 'hangul', 'hanja', 'help', 'home', 'insert', 'junja', 'kana', 'kanji', 'launchapp1', 'launchapp2', 'launchmail', 'launchmediaselect', 'left', 'modechange', 'multiply', 'nexttrack', 'nonconvert', 'num0', 'num1', 'num2', 'num3', 'num4', 'num5', 'num6', 'num7', 'num8', 'num9', 'numlock', 'pagedown', 'pageup', 'pause', 'pgdn', 'pgup', 'playpause', 'prevtrack', 'print', 'printscreen', 'prntscrn', 'prtsc', 'prtscr', 'return', 'right', 'scrolllock', 'select', 'separator', 'shift', 'shiftleft', 'shiftright', 'sleep', 'stop', 'subtract', 'tab', 'up', 'volumedown', 'volumemute', 'volumeup', 'win', 'winleft', 'winright', 'yen', 'command', 'option', 'optionleft', 'optionright']

7 訊息彈窗函數

PyAutoGUI通過Tkinter實現了4種純Python的訊息彈窗函數,和JavaScript類似。

7.1 alert()函數

pyautogui.alert(text='', title='', button='OK')
 
'OK'

顯示一個簡單的帶文字和OK按鈕的訊息彈窗。使用者點選後返回button的文字。

 7.2 The confirm() Function

#  OK和Cancel按鈕的訊息彈窗
pyautogui.confirm(text='', title='', buttons=['OK', 'Cancel'])
#  10個按鍵0-9的訊息彈窗
pyautogui.confirm(text='', title='', buttons=range(10))
 
'0'

顯示一個簡單的帶文字、OK和Cancel按鈕的訊息彈窗,使用者點選後返回被點選button的文字,支援自定義數位、文字的列表。

 7.3 The prompt() Function

pyautogui.prompt(text='', title='' , default='')

可以輸入的訊息彈窗,帶OK和Cancel按鈕。使用者點選OK按鈕返回輸入的文字,點選Cancel按鈕返回None。

 7.4 The password() Function

pyautogui.password(text='', title='', default='', mask='*')

樣式同prompt(),用於輸入密碼,訊息用*表示。帶OK和Cancel按鈕。使用者點選OK按鈕返回輸入的文字,點選Cancel按鈕返回None。

8 截圖函數

PyAutoGUI可以截圖並儲存為圖片檔案,然後定位這些截圖在螢幕上的位置。與sikuli類似,把螢幕上的按鍵擷取下來,然後定位,就可以執行點選等操作了。

截圖功能需要安裝Pillow模組。OS X用screencapture命令,是系統自帶的。Linux使用者用scrot命令,可以通過sudo apt-get install scrot安裝。

8.1 Ubuntu注意事項

由於Ubuntu上安裝Pillow時缺少PNG和JPEG依賴,所以安裝比較複雜,具體可以看 Ubuntu論壇。不過用 miniconda可以解決這些問題,如果Ubuntu或Mint上安裝了miniconda,可以直接conda install pillow來安裝。

8.2 screenshot()函數

screenshot()函數會返回Image物件(參考Pillow或PIL模組檔案),也可以設定檔名:

import pyautogui
im1 = pyautogui.screenshot()
im2 = pyautogui.screenshot('my_screenshot.png')

在一個$1920 times 1080$的螢幕上,screenshot()函數要消耗100微秒——不快也不慢。

如果你不需要擷取整個螢幕,還有一個可選的region引數。你可以把擷取區域的左上角XY座標值和寬度、高度傳入擷取。

im = pyautogui.screenshot(region=(0, 0, 300 ,400))

8.3 定位函數 

可以定位截圖在螢幕上的座標位置。比如,你需要在計算器裡輸入:

如果你不知道按鈕的位置,就不能用moveTo()定位和click()點選。而且每次計算器的位置可能會變化,這時即使有來座標也不好用了。但是如果你有要點選按鈕的截圖,比如數位7:

你可以呼叫pyautogui.locateOnScreen('calc7key.png')函數來獲得7的螢幕座標。返回的是一個元組(top, left, width, height)。這個元組可以用pyautogui.center()函數來獲取截圖螢幕的中心座標。如果截圖沒找到,pyautogui.locateOnScreen()函數返回None:

import pyautogui
button7location = pyautogui.locateOnScreen('pyautogui/calc7key.png')
button7location
 
(1226, 546, 29, 28)
button7x, button7y = pyautogui.center(button7location)
button7x, button7y
 
(1240, 560)
pyautogui.click(button7x, button7y) 

locateCenterOnScreen()等價於上面的前兩布操作,直接獲得截圖螢幕中心座標:

import pyautogui
x, y = pyautogui.locateCenterOnScreen('pyautogui/calc7key.png')
pyautogui.click(x, y)

在$1920 times 1080$的螢幕上,定位函數需要1~2秒時間。對電動遊戲(LOL、DOTA)來說就太慢了,但是上班幹活還是綽綽有餘。

還是幾個定位函數。都是從左上角原點開始向右向下搜尋截圖位置:

  • locateOnScreen(image, grayscale=False):返回找到的第一個截圖Image物件在螢幕上的座標(left, top, width, height),如果沒找到返回None
  • locateCenterOnScreen(image, grayscale=False):返回找到的第一個截圖Image物件在螢幕上的中心座標(x, y),如果沒找到返回None
  • locateAllOnScreen(image, grayscale=False):返回找到的所有相同截圖Image物件在螢幕上的座標(left, top, width, height)的生成器
  • locate(needleImage, haystackImage, grayscale=False):返回找到的第一個截圖Image物件在haystackImage裡面的座標(left, top, width, height),如果沒找到返回None
  • locateAll(needleImage, haystackImage, grayscale=False):返回找到的所有相同截圖Image物件在haystackImage裡面的座標(left, top, width, height)的生成器

兩個locateAll*函數都可以用for迴圈和list()輸出:

 for pos in pyautogui.locateAllOnScreen('pyautogui/calc7key.png'):
    print(pos)
 
(1227, 546, 29, 28)
list(pyautogui.locateAllOnScreen('pyautogui/calc7key.png'))
 
[(1227, 546, 29, 28)]

8.3.1 灰度值匹配

可以把grayscale引數設定為True來加速定位(大約提升30%),預設為False。這種去色(desaturate)方法可以加速定位,但是也可能導致假陽性(false-positive)匹配:

import pyautogui
button7location = pyautogui.locateOnScreen('pyautogui/calc7key.png', grayscale=True)
button7location
 
(1227, 546, 29, 28)

8.3.2 畫素匹配

要獲取截圖某個位置的RGB畫素值,可以用Image物件的getpixel()方法:

 import pyautogui
im = pyautogui.screenshot()
im.getpixel((100, 200))
 
(255, 255, 255)

也可以用PyAutoGUI的pixel()函數,是之前呼叫的包裝:

pyautogui.pixel(100, 200)
 
(255, 255, 255)

如果你只是要檢驗一下指定位置的畫素值,可以用pixelMatchesColor()函數,把X、Y和RGB元組值穿入即可:

pyautogui.pixelMatchesColor(100, 200, (255, 255, 255))
 
True
pyautogui.pixelMatchesColor(100, 200, (255, 255, 245))
 
False

tolerance引數可以指定紅、綠、藍3種顏色誤差範圍:

pyautogui.pixelMatchesColor(100, 200, (255, 255, 245), tolerance=10)
 
True
pyautogui.pixelMatchesColor(100, 200, (248, 250, 245), tolerance=10)
 
True
pyautogui.pixelMatchesColor(100, 200, (205, 255, 245), tolerance=10)
 
False

總結

到此這篇關於Python中PyAutoGUI幫助檔案的文章就介紹到這了,更多相關PyAutoGUI幫助檔案內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com