亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

將幾個 []byte 連接在一起的最快方法是什么?

將幾個 []byte 連接在一起的最快方法是什么?

Go
開滿天機 2021-11-01 17:34:33
現在我正在使用下面的代碼(如 中所示BenchmarkEncoder())并且速度很快,但我想知道是否有更快、更有效的方法。我用GOMAXPROCS=1和作為基準:sudo -E nice -n -20 go test -bench . -benchmem -benchtime 3s.package blackbirdimport (    "testing"    "encoding/hex"    "log"    "bytes"    "encoding/json")var (    d1, d2, d3, d4, outBytes []byte    toEncode [][]byte)func init() {    var err interface{}    d1, err = hex.DecodeString("6e5438fd9c3748868147d7a4f6d355dd")    d2, err = hex.DecodeString("0740e2dfa4b049f2beeb29cc304bdb5f")    d3, err = hex.DecodeString("ab6743272358467caff7d94c3cc58e8c")    d4, err = hex.DecodeString("7411c080762a47f49e5183af12d87330e6d0df7dd63a44808db4e250cdea0a36182fce4a309842e49f4202eb90184dd5b621d67db4a04940a29e981a5aea59be")    if err != nil {        log.Fatal("hex decoding failed: %v", err)    }    toEncode = [][]byte{d1, d2, d3, d4}}func Encode(stuff [][]byte) []byte {    return bytes.Join(stuff, nil)}func BenchmarkEncoderDirect(b *testing.B) {    for i := 0; i < b.N; i++ {        bytes.Join(toEncode, nil)    }}func BenchmarkEncoder(b *testing.B) {    for i := 0; i < b.N; i++ {        Encode(toEncode)    }}func BenchmarkJsonEncoder(b *testing.B) {    for i := 0; i < b.N; i++ {        outBytes, _ = json.Marshal(toEncode)    }}將多個連接[]byte在一起的最快方法是什么?
查看完整描述

2 回答

?
jeck貓

TA貢獻1909條經驗 獲得超7個贊

bytes.Join()非??欤隽艘恍╊~外的工作,在可附加的字節片之間附加分隔符。即使分隔符為空或nil切片,它也會這樣做。


因此,如果您關心最佳性能(盡管它會略有改進),您可以bytes.Join()在不附加(空)分隔符的情況下執行以下操作:分配一個足夠大的字節切片,并使用內置的將每個切片復制到結果中copy()功能。


在Go Playground上試試:


func Join(s ...[]byte) []byte {

    n := 0

    for _, v := range s {

        n += len(v)

    }


    b, i := make([]byte, n), 0

    for _, v := range s {

        i += copy(b[i:], v)

    }

    return b

}

使用它:


concatenated := Join(d1, d2, d3, d4)

改進:


如果您事先知道總大小(或者您可以比循環切片更快地計算它),提供它,您可以避免必須循環切片以計算所需的大?。?/p>


func JoinSize(size int, s ...[]byte) []byte {

    b, i := make([]byte, size), 0

    for _, v := range s {

        i += copy(b[i:], v)

    }

    return b

}

在您的情況下使用它:


concatenated := JoinSize(48 + len(d4), d1, d2, d3, d4)

筆記:


但是,如果您最終的目標是將連接的字節切片寫入一個io.Writer,性能方面最好不要連接它們,而是將每個切片單獨寫入。


查看完整回答
反對 回復 2021-11-01
?
慕標5832272

TA貢獻1966條經驗 獲得超4個贊

總的來說,@icza 的回答是正確的。但是,對于您的特定用例,您可以分配一次并更有效地解碼到該緩沖區:


像這樣:


package main


import (

    "encoding/hex"

)


func main() {

    h1 := []byte("6e5438fd9c3748868147d7a4f6d355dd")

    h2 := []byte("0740e2dfa4b049f2beeb29cc304bdb5f")

    h3 := []byte("ab6743272358467caff7d94c3cc58e8c")

    h4 := []byte("7411c080762a47f49e5183af12d87330e6d0df7dd63a44808db4e250cdea0a36182fce4a309842e49f4202eb90184dd5b621d67db4a04940a29e981a5aea59be")


    tg := make([]byte, 16+16+16+(1024*1024)) // allocate enough space for the 3 IDs and a max 1MB of extra data


    hex.Decode(tg[:16], h1)

    hex.Decode(tg[16:32], h2)

    hex.Decode(tg[32:48], h3)

    l, _ := hex.Decode(tg[48:], h4)


    tg = tg[:48+l]

}

在該代碼的末尾,tg保存 3 個 ID 加上可變長度的第 4 個數據塊,連續解碼。


查看完整回答
反對 回復 2021-11-01
  • 2 回答
  • 0 關注
  • 569 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號