突破神奇的Cloudflare防火牆的網路安全學習

2022-07-23 10:00:05

背景

最近碰到一個神奇的網站，在瀏覽器可以開啟，但是通過 curl 或者程式碼存取就直接 403，我估摸著這肯定是做了UA校驗，於是請求的時候把瀏覽器的 UA 給帶上，然後存取發現還是 403，不過這也難不倒我，肯定是還有校驗其它的請求頭，直接瀏覽器開啟 network，把所有的請求頭複製過來並且帶上，確保我和瀏覽器在 http 協定層面的請求完全一樣，這樣不可能會失敗了吧，然而執行完發現還是 403。

放個地址: https://pixabay.com

思考

伺服器端校驗使用者端沒有什麼黑魔法，因為都是通過 TCP 協定通訊，不可能存在瀏覽器傳送一個 HTTP 報文和我傳送一個同樣的 HTTP 報文伺服器能識別出來，既然不是校驗的 HTTP 層，那隻可能是在 TLS 層校驗的，於是祭出wireshark抓包，看看能不能找到 TLS 握手中差異化的東西，眾所周知在 TLS 握手時有一個使用者端傳送給伺服器端的Client Hello報文，很有可能就是根據它來辨別瀏覽器和非瀏覽器請求的，因為在這個報文中，使用者端要告訴伺服器端支援的加密套件，TLS 版本等等資訊，而這些資訊根據使用者端的實現都會有所差異，先抓個正常瀏覽器請求的報文看看，如下圖：

然後再通過 curl 存取抓包，如下圖；

可以看到兩邊的報文確實存在很大的差異，逐一對比排查之後發現很有可能是因為 curl 的請求報文裡缺少supported_versions擴充套件資訊導致的 403，瀏覽器那邊在此擴充套件資訊內容如圖：

表示支援TLSv1.2和TLSv1.3，而且最終握手之後的協定也是切換到了TLSv1.3，在上面兩個對比圖可以看到，瀏覽器走的是TLSv1.3，而 curl 走的是TLSv1.2，可能是一定要使用TLSv1.3才能存取成功。

驗證

馬上 google 了下如何指定 curl 的 TLS 版本，發現只需要加上--tlsv1.3引數就可以了，如下：

$ curl -I --tlsv1.3 'https://pixabay.com/'  
> -H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' 
> -H 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.49'
HTTP/2 200
date: Fri, 22 Jul 2022 02:40:35 GMT
content-type: text/html; charset=utf-8
cf-ray: 72e8cffc18c73d5a-HKG
cache-control: s-maxage=86400
content-language: en
vary: Accept-Encoding, Cookie, Accept-Language
cf-cache-status: MISS
content-security-policy: frame-ancestors none
expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
referrer-policy: strict-origin-when-cross-origin
x-frame-options: DENY
set-cookie: __cf_bm=Cy4a751rDND6kHhu.RzEr5DpqnaxRdpUxaMfNfkya0A-1658457635-0-AS1DaewDqNjWHZ/m74A88bNyEG0EFsZAwmsm/ON5QQEuh8B6XOS7PkSnhGgXPLV+LtEvzOKTy/WWHmwY63uGlD0=; path=/; expires=Fri, 22-Jul-22 03:10:35 GMT; domain=.pixabay.com; HttpOnly; Secure; SameSite=None
server: cloudflare
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400

經過反覆驗證，發現除了要指定tlsv1.3之外，還需要加上accept-language和user-agent頭，並且一定得是 http2 協定，三個條件缺一不可。

nodejs 存取

上面說到了一定要走 http2 協定，而現在市面上流行的 http client 基本都是隻支援 http1.1，所以只能直接從基礎庫入手了，官方有一個http2的庫，一番調教之後也是成功請求了，程式碼如下：

const http2 = require("http2");
function get(host, path) {
  return new Promise((resolve, reject) => {
    const session = http2.connect(`https://${host}`, {
      minVersion: "TLSv1.3",
      maxVersion: "TLSv1.3",
    });
    session.on("error", (err) => {
      reject(err);
    });
    const req = session.request({
      [http2.constants.HTTP2_HEADER_AUTHORITY]: host,
      [http2.constants.HTTP2_HEADER_METHOD]: http2.constants.HTTP2_METHOD_GET,
      [http2.constants.HTTP2_HEADER_PATH]: path,
      "user-agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50",
    });
    req.setEncoding("utf8");
    let data = "";
    req.on("data", (chunk) => {
      data += chunk;
    });
    req.on("end", () => {
      session.close();
      if (data) {
        try {
          resolve(data);
        } catch (e) {
          reject(e);
        }
      }
    });
    req.on("error", (err) => {
      reject(err);
    });
    req.end();
  });
}
(async function () {
  const data = await get("pixabay.com", "/");
  console.log(data);
})();

深入

雖然已經成功請求了，但是本著探索的精神繼續深入發現 cloudflare 官方有一篇部落格就是專門介紹這個 TLS 攔截技術的，連結如下：
https://blog.cloudflare.com/monsters-in-the-middleboxes/

其中有一段內容也證明了我的猜想，翻譯後如下：

也就是說 cloudflare 會維護一組瀏覽器的 TLS 指紋，當收到一個 Client Hello 請求時，會檢查這組指紋，如果匹配不上，就會攔截這個請求，這樣可以攔截掉大部分不是來自瀏覽器的請求了。

以上就是突破神奇的Cloudflare防火牆的網路安全學習的詳細內容，更多關於Cloudflare防火牆的資料請關注it145.com其它相關文章！

突破神奇的Cloudflare防火牆的網路安全學習

目錄

背景

思考

驗證

nodejs 存取

深入

熱門文章