Fastjson反序列化隨機性失敗範例詳解

2022-08-03 14:03:45

前言

本文主要講述了一個具有"隨機性"的反序列化錯誤！

Fastjson作為一款高效能的JSON序列化框架，使用場景眾多，不過也存在一些潛在的bug和不足。本文主要講述了一個具有"隨機性"的反序列化錯誤！

問題程式碼

為了清晰地描述整個報錯的來龍去脈，將相關程式碼貼出來，同時也為了可以本地執行，看一下實際效果。

StewardTipItem

package test;
import java.util.List;
public class StewardTipItem {
    private Integer type;
    private List<String> contents;
    public StewardTipItem(Integer type, List<String> contents) {
        this.type = type;
        this.contents = contents;
    }
}

StewardTipCategory

反序列化時失敗，此類有兩個特殊之處：

返回StewardTipCategory的build方法(忽略返回null值)。
建構函式『C1』Map<Integer, List> items引數與List items屬性同名，但型別不同！

package test;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
public class StewardTipCategory {
    private String category;
    private List<StewardTipItem> items;
    public StewardTipCategory build() {
        return null;
    }
    //C1 下文使用C1參照該建構函式
    public StewardTipCategory(String category, Map<Integer,List<String>> items) {          
        List<StewardTipItem> categoryItems = new ArrayList<>();
    for (Map.Entry<Integer, List<String>> item : items.entrySet()) { 
        StewardTipItem tipItem = new StewardTipItem(item.getKey(), item.getValue());                   categoryItems.add(tipItem);
    }
    this.items = categoryItems;
    this.category = category; 
}
    // C2 下文使用C2參照該建構函式
    public StewardTipCategory(String category, List<StewardTipItem> items) {        
        this.category = category;
        this.items = items;
    }
    public String getCategory() {
        return category;
    }
    public void setCategory(String category) {
        this.category = category;
    }
    public List<StewardTipItem> getItems() {
        return items; 
    }
    public void setItems(List<StewardTipItem> items) {
        this.items = items; 
    }
}

StewardTip

package test;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
public class StewardTip {
    private List<StewardTipCategory> categories;
    public StewardTip(Map<String, Map<Integer, List<String>>> categories) {          
        List<StewardTipCategory> tipCategories = new ArrayList<>();
        for (Map.Entry<String, Map<Integer, List<String>>> category : categories.entrySet()) {             StewardTipCategory tipCategory = new StewardTipCategory(category.getKey(), category.getValue());
            tipCategories.add(tipCategory);
        }
        this.categories = tipCategories; 
    }
    public StewardTip(List<StewardTipCategory> categories) {
        this.categories = categories;
    }
    public List<StewardTipCategory> getCategories() { 
        return categories;
    }
    public void setCategories(List<StewardTipCategory> categories) {
        this.categories = categories;
    }
}

JSON字串

{
    "categories":[
        {
             "category":"工藝類",
             "items":[
                 {
                     "contents":[
                         "工藝類-提醒項-內容1", 
                         "工藝類-提醒項-內容2"
                     ],
                     "type":1
                }, 
                { 
                     "contents":[ 
                         "工藝類-疑問項-內容1" 
                     ], 
                     "type":2
                }
            ]
        }
    ]
}

FastJSONTest

package test;
import com.alibaba.fastjson.JSONObject;
public class FastJSONTest {
    public static void main(String[] args) {
        String tip = "{"categories":[{"category":"工藝類","items":[{"contents":["工藝類-提醒項-內容1","工藝類-提醒項-內容2"],"type":1},{"contents":["工藝類-疑問項-內容1"],"type":2}]}]}";        
        try {
            JSONObject.parseObject(tip, StewardTip.class); 
        } catch (Exception e) {
            e.printStackTrace(); 
        }
    }
}

堆疊資訊

當執行FastJSONTest的main方法時報錯：

com.alibaba.fastjson.JSONException: syntax error, expect {, actual [
    at com.alibaba.fastjson.parser.deserializer.MapDeserializer.parseMap(MapDeserializer.java:228)
    at com.alibaba.fastjson.parser.deserializer.MapDeserializer.deserialze(MapDeserializer.java:67)  
    at com.alibaba.fastjson.parser.deserializer.MapDeserializer.deserialze(MapDeserializer.java:43)  
    at com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer.parseField(DefaultFieldDeserializer.java:85)
    at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:838)
    at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:288)
    at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:284)
    at com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer.parseArray(ArrayListTypeFieldDeserializer.java:181)
    at com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer.parseField(ArrayListTypeFieldDeserializer.java:69) 
    at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:838)
    at com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer.deserialze(JavaBeanDeserializer.java:288)
    at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:672)  at com.alibaba.fastjson.JSON.parseObject(JSON.java:396) 
    at com.alibaba.fastjson.JSON.parseObject(JSON.java:300)
    at com.alibaba.fastjson.JSON.parseObject(JSON.java:573)
    at test.FastJSONTest.main(FastJSONTest.java:17)

問題排查

排查過程有兩個難點：

不能根據報錯資訊得到異常時JSON字串的key，position或者其他有價值的提示資訊。
報錯並不是每次執行都會發生，存在隨機性，執行十次可能報錯兩三次，沒有統計失敗率。

經過多次執行之後還是找到了一些蛛絲馬跡！下面結合原始碼對整個過程進行簡單地敘述，最後也會給出怎麼能在報錯的時候debug到程式碼的方法。

JavaBeanInfo:285行

clazz是StewardTipCategory.class的情況下，提出以下兩個問題：

Q1：Constructor[] constructors陣列的返回值是什麼？

Q2：constructors陣列元素的順序是什麼？

參考java.lang.Class#getDeclaredConstructors的註釋，可得到A1：

public test.StewardTipCategory(java.lang.String,java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)『C1』

public test.StewardTipCategory(java.lang.String,java.util.List<test.StewardTipItem>)『C2』

build()方法，C1建構函式，C2建構函式三者在Java原始檔的順序決定了constructors陣列元素的順序！

下表是經過多次實驗得到的一組資料，因為是手動觸發，並且次數較少，所以不能保證100%的準確性，只是一種大概率事件。

java.lang.Class#getDeclaredConstructors底層實現是native getDeclaredConstructors0，JVM的這部分程式碼沒有去閱讀，所以目前無法解釋產生這種現象的原因。

前	中	後	陣列元素順序
build()	C1	C2	隨機
C1	build()	C2	C2,C1
C1	C2	build()	C2,C1
build()	C2	C1	隨機
C2	build()	C1	C1,C2
C2	C1	build()	C1,C2
C1		C2	C2,C1
C2	C1	C1,C2

正是因為java.lang.Class#getDeclaredConstructors返回陣列元素順序的隨機性，才導致反序列化失敗的隨機性！

[C2,C1]反序列化成功！
[C1,C2]反序列化失敗！

[C1,C2]順序下探尋反序列化失敗時程式碼執行的路徑。

JavaBeanInfo:492行

com.alibaba.fastjson.util.JavaBeanInfo#build()方法體程式碼量比較大，忽略執行路徑上的無關程式碼。

[C1,C2]順序下程式碼會執行到492行，並執行兩次(StewardTipCategory#category, StewardTipCategory#items各執行一次)。
結束後建立一個com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer。

JavaBeanDeserializer:49行

JavaBeanDeserializer兩個重要屬性:

private final FieldDeserializer[] fieldDeserializers;

protected final FieldDeserializer[] sortedFieldDeserializers;

反序列化test.StewardTipCategory#items時fieldDeserializers的詳細資訊。

com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializercom.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer#fieldValueDeserilizer(屬性值null,執行時會根據fieldType獲取具體實現類)com.alibaba.fastjson.util.FieldInfo#fieldType(java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)

建立完成執行

com.alibaba.fastjson.parser.deserializer.JavaBeanDeserializer#deserialze(com.alibaba.fastjson.parser.DefaultJSONParser, java.lang.reflect.Type, java.lang.Object, java.lang.Object, int, int[])

JavaBeanDeserializer:838行

DefaultFieldDeserializer:53行

com.alibaba.fastjson.parser.ParserConfig#getDeserializer(java.lang.Class<?>, java.lang.reflect.Type)根據欄位型別設定

com.alibaba.fastjson.parser.deserializer.DefaultFieldDeserializer#fieldValueDeserilizer的具體實現類。

DefaultFieldDeserializer:34行

test.StewardTipCategory#items屬性的實際型別是List。

反序列化時根據C1建構函式得到的fieldValueDeserilizer的實現類是com.alibaba.fastjson.parser.deserializer.MapDeserializer。

執行

com.alibaba.fastjson.parser.deserializer.MapDeserializer#deserialze(com.alibaba.fastjson.parser.DefaultJSONParser, java.lang.reflect.Type, java.lang.Object)時報錯。

MapDeserializer:228行

JavaBeanDeserializer:838行

java.lang.Class#getDeclaredConstructors返回[C2,C1]順序，反序列化時根據C2建構函式得到的fieldValueDeserilizer的實現類是

com.alibaba.fastjson.parser.deserializer.ArrayListTypeFieldDeserializer，反序列化成功。

問題解決

程式碼

刪除C1建構函式，使用其他方式建立StewardTipCategory。
修改C1建構函式引數名稱，型別，避免誤導Fastjson。

偵錯

package test;
import com.alibaba.fastjson.JSONObject;
import java.lang.reflect.Constructor;
public class FastJSONTest {
    public static void main(String[] args) { 
        Constructor<?>[] declaredConstructors = StewardTipCategory.class.getDeclaredConstructors(); 
        // if true must fail！
       if ("public test.StewardTipCategory(java.lang.String,java.util.Map<java.lang.Integer, java.util.List<java.lang.String>>)".equals(declaredConstructors[0].toGenericString())) {                 
           String tip = "{"categories":[{"category":"工藝類","items":[{"contents":["工藝類-提醒項-內容1","工藝類-提醒項-內容2"],"type":1},{"contents":["工藝類-疑問項-內容1"],"type":2}]}]}";                   
           try { 
                JSONObject.parseObject(tip, StewardTip.class);
            } catch (Exception e) {  
                e.printStackTrace();
            }
        }
    }
}

總結

開發過程中儘量遵照規範/規約，不要特立獨行

StewardTipCategory建構函式C1方法簽名明顯不是一個很好的選擇，方法體除了屬性賦值，還做了一些額外的型別/資料轉換，也應該儘量避免。

專業有深度

開發人員對於使用的技術與框架要有深入的研究，尤其是底層原理，不能停留在使用層面。一些不起眼的事情可能導致不可思議的問題：java.lang.Class#getDeclaredConstructors。

Fastjson

框架實現時要保持嚴謹，報錯資訊儘可能清晰明瞭，StewardTipCategory反序列化失敗的原因在於，fastjson只檢驗了屬性名稱，建構函式引數個數而沒有進一步校驗屬性型別。

<<重構：改善既有程式碼的設計>>提倡程式碼方法塊儘量短小精悍，Fastjson某些模組的方法過於臃腫。

以上就是Fastjson反序列化隨機性失敗範例詳解的詳細內容，更多關於Fastjson反序列化隨機性的資料請關注it145.com其它相關文章！

Fastjson反序列化隨機性失敗範例詳解

目錄

前言

問題程式碼

StewardTipItem

StewardTipCategory

StewardTip

JSON字串

FastJSONTest

堆疊資訊

問題排查

JavaBeanInfo:285行

JavaBeanInfo:492行

JavaBeanDeserializer:49行

JavaBeanDeserializer:838行

DefaultFieldDeserializer:53行

DefaultFieldDeserializer:34行

MapDeserializer:228行

JavaBeanDeserializer:838行

問題解決

程式碼

偵錯

總結

開發過程中儘量遵照規範/規約，不要特立獨行

專業有深度

Fastjson

熱門文章