pyppeteer執行js繞過webdriver監測方法下

2022-04-12 19:01:09

官方檔案

https://miyakogi.github.io/pyppeteer/reference.html

啟動pyppteer

import asyncio
from pyppeteer import launch
async def main():
    # headless引數設為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 開啟一個頁面
    page = await browser.newPage()
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html程式碼
    resp_headers = res.headers  # 響應頭
    resp_status = res.status  # 響應狀態
# 程式啟動入口
asyncio.get_event_loop().run_until_complete(main())

切圖

# 設定頁面檢視大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否啟用JS，enabled設為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截圖 儲存圖片
await page.screenshot({'path': 'cnblog.png'})

獲取響應頭，響應頭狀態，cookies

async def main():
    # headless引數設為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 開啟一個頁面
    page = await browser.newPage()
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
	resp_headers = res.headers  # 響應頭
    resp_status = res.status  # 響應狀態
    cookies = page.cookies()
    print(resp_headers)
    print(resp_status)
    print(page.cookies())
# 程式啟動入口
asyncio.get_event_loop().run_until_complete(main())

獲取當前頁面標題

print(await page.title())

獲取頁面html

import asyncio
from pyppeteer import launch
async def main():
    # headless引數設為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
     # 開啟一個頁面
    page = await browser.newPage()
	# 是否啟用JS，enabled設為False，則無渲染效果
    await page.setJavaScriptEnabled(enabled=True)
    # 超時間見 10000 毫秒
    res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
    # 等待
    await asyncio.sleep(2)
    print(await page.content())  # 返回html程式碼

第一種：獲取整個頁面html

 res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
 # 等待
 await asyncio.sleep(2)
print(await page.content())  # 返回html程式碼

第二種：只獲取文字

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)

注入JS，控制上下捲動

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100)  # 向下滑動100
window.scrollTo(0,500)  # 向下滑動500
window.scrollTo(0,document.body.scrollHeight)  # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500

選擇器

Page.querySelector()  # CSS選擇器
Page.querySelectorAll()  # CSS選擇器選所有
Page.xpath()  # xpath選擇器
# 簡寫方式為：
Page.J(), Page.JJ(), and Page.Jx()

獲取元素內部的文字、屬性

res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：獲取h2標籤內容--執行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：獲取文字
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：獲取屬性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()

get_html

async def get_html(url):
    browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
    page = await  browser.newPage()
    res = await page.goto(url, options={'timeout': 3000})
    data = await page.content()
    title = await page.title()
    resp_cookies = await page.cookies()  # cookie
    resp_headers = res.headers  # 響應頭
    resp_status = res.status  # 響應狀態
    print(data)
    print(title)
    print(resp_headers)
    print(resp_status)
    return xxx

模擬輸入，滑鼠點選

# 模擬輸入 賬號密碼  {'delay': rand_int()} 為輸入時間
await page.type('#fm-login-id', "使用者名稱")
await page.type('#fm-login-password', "密碼", )
await page.waitFor(1000) # 等待時間
await page.click("#J_SubmitStatic")  # 點選

taobao登入

import asyncio
from pyppeteer import launch
async def main():
    # headless引數設為False，則變成有頭模式
    browser = await launch(
        {'headless': False}
    )
    # 開啟一個頁面
    page = await browser.newPage()
    await page.setViewport(viewport={'width': 1280, 'height': 800})
    res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
    await page.type('#fm-login-id', "123456")
    await page.type('#fm-login-password', "aaa", )
    await page.waitFor(1000)  # 等待時間
    slider = await page.querySelector('#nc_1_n1z') # 是否有滾軸
    if slider:
        try:
            print('有滾軸')
            await page.hover('#nc_1_n1z')  # 不同場景的驗證碼模組能名字不同。
            await page.mouse.down()
            # X，Y座標，steps 是指分成幾步來完成，steps越大，滑動速度越慢。(在原始碼中，steps是指移動到指定x,y 分段滑動的次數，但是每次啟動滑動都會花費一定時間，可以認為steps是滑動的速度)
            # 如果是每次移動的距離，可以用for迴圈嘗試正負移動
            await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
            await page.mouse.up()
        except Exception as e:
            print(e)
            input('驗證失敗，人工登入：')
    else:
        print('沒有滾軸')
        input()
    await page.click("#login-form > div.fm-btn > button")  # 點選登入
# 程式啟動入口
asyncio.get_event_loop().run_until_complete(main())

taobao修改檢測瀏覽器

await page.evaluate(
        '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')  # 以下為插入中間js，將淘寶會為了檢測瀏覽器而呼叫的js修改其結果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {},  }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type選定頁面元素，並修改其數值，用於輸入賬號密碼，修改的速度仿人類操作，因為有個輸入速度的檢測機制
# 因為 pyppeteer 框架需要轉換為js操作，而js和python的型別定義不同，所以寫法與引數要用字典，型別匯入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'})    # 截圖測試
def input_time_random():
    return random.randint(100, 151)

滑鼠事件

.click()  # 點選按鈕
.down()   # 按下按鈕
.up()     # 釋放按鈕
.move()   # 移動遊標

鍵盤事件

您可以使用down()，up()和 sendCharacter()手動觸發事件，就好像事件是由真實鍵盤生成的一樣。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
    await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.

按下鍵盤A：

await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')

注意
修飾鍵確實會影響down()。按住shift 將以大寫形式鍵入文字。

引數：

key（str）–要按鍵的名稱，例如ArrowLeft。

options（dict）–選項可以具有text欄位，如果指定了此選項，則使用此文字生成輸入事件。

使用ip代理ua

import asyncio
from pyppeteer import launch
async def register():
    browser = await launch({
        'headless': False,
        # 代理ip
        'args': ['--proxy-server=47.105.111.124:15525', ]
    })
    page = await browser.newPage()
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多引數
args: [
            '--disable-setuid-sandbox',
            '--no-sandbox',
            '--proxy-server=10.24.51.125:8411',
            '--ignore-certificate-errors',
            '--window-size=375,812',
            '--remote-debugging-port=9222'
        ],

以上就是pyppeteer執行js並繞過webdriver監測的常見方法下篇的詳細內容，更多關於pyppeteer執行js繞過webdriver監測的資料請關注it145.com其它相關文章！