C#使用CefSharp控制元件實現爬蟲

2022-06-08 18:03:15

一、CefSharp介紹

CEF 全稱是Chromium Embedded Framework（Chromium嵌入式框架），是個基於Google Chromium專案的開源Web browser控制元件，支援Windows, Linux, Mac平臺。CEFSharp就是CEF的C#移植版本。

就是一款.Net編寫的瀏覽器包，方便你在Winform和WPF中內嵌的Chrome瀏覽器元件

GitHub地址：https://github.com/cefsharp/CefSharp

安裝

使用Nuget包參照

把專案改成64位元

切換到X64

安裝完之後工具列應該會多出來這個控制元件（直接拖動用不了!）

二、使用

1、獲得頁面原始碼

注意：

1、GetSourceAsync獲取原始碼的方法是非同步操作

2、判斷頁面載入完成，會觸發FrameLoadEnd頁面載入完成事件。使用CEF無法確定一個網站是否已經完全載入完成，我們只能在它每一次載入完成時，處理它的頁面原始碼。（如果需要主動等待網站載入完成，可以試試使用Selenium）

public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        ChromiumWebBrowser WebBrowser;

        private void Form1_Load(object sender, EventArgs e)
        {
            var settings = new CefSettings()
            {
                UserAgent = "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Mobile Safari/537.36",
            };

            //Perform dependency check to make sure all relevant resources are in our output directory.
            Cef.Initialize(settings, performDependencyCheck: true, browserProcessHandler: null);

            // cefsharp提供的瀏覽器控制元件，一般用它充滿視窗就搞定了
            WebBrowser = new ChromiumWebBrowser("http://www.163.com")
            {
                // 填充整個父控制元件
                Dock = DockStyle.Fill
            };
            WebBrowser.FrameLoadEnd += new EventHandler<FrameLoadEndEventArgs>(FrameEndFunc);

            // 新增到視窗的控制元件列表中
            this.panel1.Controls.Add(WebBrowser);

        }
        private void FrameEndFunc(object sender, FrameLoadEndEventArgs e)
        {
            MessageBox.Show("載入完畢");
            this.BeginInvoke(new Action(() =>
            {
                String html = WebBrowser.GetSourceAsync().Result;
                richTextBox1.Text = html;
            }));
        }

        private void Form1_FormClosed(object sender, FormClosedEventArgs e)
        {
            // 結束時要銷燬
            Cef.Shutdown();
        }
    }
}

效果：可以載入很多原生webbrowser不能載入的內容可以適應iframe

2、執行頁面中的js函數

測試的js程式碼

<html>
<body>
<button type="button" onclick="test(1,2)">測試按鈕</button>
</body>
<script type="text/javascript">
function test(a,b)
{
   var c = testfunc(a,b);
   alert(c);
}
function testfunc(a,b)
{
    return a+b;
}

</script>
<html>

呼叫頁面中的testfunc函數

private void button3_Click(object sender, EventArgs e)
{
    using (StreamReader sr = new StreamReader("JavaScript1.html"))
    {
        string html = sr.ReadToEnd();
        WebBrowser.LoadHtml(html, "http://testpage/");
    }
}

private void button4_Click(object sender, EventArgs e)
{
    String script = "testfunc(99,1)";
    var result = this.WebBrowser.EvaluateScriptAsync(script).Result.Result;
    MessageBox.Show(result.ToString());
}

效果

3、常用方法

//瀏覽網址：
WebBrowser = new ChromiumWebBrowser("https://www.baidu.com");
// 或
WebBrowser.Load("https://www.baidu.com");

// 獲取HTML(整體): 
WebBrowser.GetSourceAsync().Result;

 // 獲取HTML(特定Frame):
 WebBrowser.GetBrowser().GetFrame(「SI2_mem_index」).GetSourceAsync().Result；

//執行網頁上的JavaScript:
 ExecuteJavaScriptAsync("document.getElementById('username').onkeydown();");

 //模擬左鍵點選:
 WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, false, 1, CefEventFlags.None);
 Thread.Sleep(50);
 WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, true, 1, CefEventFlags.None);

範例地址：https://github.com/zhaotianff/CSharpCrawler

到此這篇關於C#使用CefSharp控制元件實現爬蟲的文章就介紹到這了。希望對大家的學習有所幫助，也希望大家多多支援it145.com。