亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

為什么 json.RawMessage 會放大 mongoDb 文檔大???

為什么 json.RawMessage 會放大 mongoDb 文檔大???

Go
長風秋雁 2023-07-31 10:45:14
以下代碼嘗試通過以下方式將新文檔插入到 mongoDB 中go.mongodb.org/mongo-driver    data := "this is test string blablablablablablabla"    type Doc struct {        Version int "json:version, bson:version"        Data   string   "json:data, bson:data"    }    dd := Doc{Version: 21, Data: data}    dObj, _ := json.Marshal(dd)    queryFilter := bson.M{"version": 1}    update1 := bson.M{"$set": bson.M{"version": 1, "data": json.RawMessage(dObj)}}    // insert data with json.RawMessage    _, err := db.Mongo("test").Collection("test_doc1").UpdateOne(context.Background(), queryFilter, update1, options.Update().SetUpsert(true))    if err != nil {        fmt.Println("failed to insert doc1")    }    update2 := bson.M{"$set": bson.M{"version": 1, "data": (dObj)}}    // insert data without json.RawMessage    _, err = db.Mongo("test").Collection("test_doc2").UpdateOne(context.Background(), queryFilter, update2, options.Update().SetUpsert(true))    if err != nil {        fmt.Println("failed to insert doc2")    }的內容test_doc1是"data": json.RawMessage(dObj),而 的內容test_doc2是"data": (dObj)。文檔內容如下db.test_doc1.find(){ "_id" : ObjectId("5da164a950d625a5b2e5d23e"), "version" : 1, "data" : [ 123, 34, 86, 101, 114, 115, 105, 111, 110, 34, 58, 50, 49, 44, 34, 68, 97, 116, 97, 34, 58, 34, 116, 104, 105, 115, 32, 105, 115, 32, 116, 101, 115, 116, 32, 115, 116, 114, 105, 110, 103, 32, 98, 108, 97, 98, 108, 97, 98, 108, 97, 98, 108, 97, 98, 108, 97, 98, 108, 97, 98, 108, 97, 34, 125 ] }db.test_doc2.find(){ "_id" : ObjectId("5da164a950d625a5b2e5d249"), "version" : 1, "data" : BinData(0,"eyJWZXJzaW9uIjoyMSwiRGF0YSI6InRoaXMgaXMgdGVzdCBzdHJpbmcgYmxhYmxhYmxhYmxhYmxhYmxhYmxhIn0=") }檢查以上兩個文件的大小后Object.bsonsize(db.test_doc2.findOne())111Object.bsonsize(db.test_doc1.findOne())556的尺寸test_doc1比 的尺寸更大test_doc2。為什么?每個bson 文檔數組 - 數組的文檔是一個普通的 BSON 文檔,其鍵為整數值,從 0 開始并按順序繼續。例如,數組 ['red', 'blue'] 將被編碼為文檔 {'0': 'red', '1': 'blue'}。鍵必須按數字升序排列。Bson數組可以占用更多的磁盤空間嗎?我對嗎?MongoDB 版本:4.0
查看完整描述

1 回答

?
藍山帝景

TA貢獻1843條經驗 獲得超7個贊

test_doc1 使用json.RawMessagewhich 本質上是[]byte為了將其存儲為表示字符串(文檔的原始表示形式)的整數數組。


test_doc2 將數據存儲為二進制數據,這是一種更緊湊的形式。


Go Mongo 驅動程序使用WriteBinaryWithSubtypejson 編碼數據的方法,但WriteArray使用RawMessage.


不同之處在于 mongo 端用于存儲這些數據的數據類型。一種是將字節切片存儲為整數數組,另一種是將數據存儲為具有子類型的二進制數據。與整數相比,二進制形式占用的空間更少。


深入挖掘后,我注意到 Go 驅動程序使用注冊表來確定如何將值編碼為 BSON。有一種專用于字節片的方法。


// ByteSliceEncodeValue is the ValueEncoderFunc for []byte.

func (dve DefaultValueEncoders) ByteSliceEncodeValue(ec EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {

該方法使用WriteBinary()將字節片編碼為二進制數據的方法。


如果有自定義類型(即使它是底層[]byte),它將被視為切片類型并觸發切片的“默認編碼器”。


// SliceEncodeValue is the ValueEncoderFunc for slice types.

func (dve DefaultValueEncoders) SliceEncodeValue(ec EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {

WriteArray()該方法依次使用該方法。


摘要:調用直接json.Marshal獲取 use[]byte類型,因此它們被視為 bson 二進制類型并以緊湊二進制形式存儲。json.RawMessage即使[]byte內部存儲數據被視為一個切片,一個整數切片,因此作為整數數組存儲在 mongo 中。


查看完整回答
反對 回復 2023-07-31
  • 1 回答
  • 0 關注
  • 227 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號