我正在解析二進制文件格式（OpenType 字體文件）。該格式是許多不同結構類型的復雜樹，但一個重復出現的模式是具有特定格式的記錄數組。我已經編寫struct.unpack了用于一次獲取一條記錄的代碼。但我想知道是否有一種方法可以解析整個記錄數組？以下是一種特定記錄數組的解壓縮結果示例：[{'glyphID': 288, 'paletteIndex': 0}, {'glyphID': 289, 'paletteIndex': 1}, {'glyphID': 518, 'paletteIndex': 0}, ...] list這就是我目前正在做的事情：我創建了一個通用函數來解壓縮任意記錄數組（在任何給定調用中的記錄格式一致）。def tryReadRecordsArrayFromBuffer(buffer, numRecords, format, fieldNames): recordLength = struct.calcsize(format) array = [] index = 0 for i in range(numRecords): record = {} vals = struct.unpack(format, buffer[index : index + recordLength]) for k, v in zip(fieldNames, vals): record[k] = v array.append(record) index += recordLength return array該buffer參數是一個字節序列，大小至少為數組的大小，第一個記錄在序列的開頭被解包。根據正在讀取的記錄數組的類型，format參數是格式字符串。struct在一種情況下，格式字符串可能是">3H"；在另一種情況下，它可能是">4s2H"；等。對于上面的結果示例，它是">2H"。該fieldNames參數是給定記錄類型中字段名稱的字符串序列。對于上面的結果示例，這是("glyphID", "paletteIndex").因此，我正在遍歷緩沖區（字節序列數據），獲取順序切片并一次一個地解壓縮記錄，為每條記錄創建一個字典并將它們附加到array列表中。有沒有更好的方法來做到這一點，比如unpack某些模塊中的方法允許將格式定義為結構數組并立即解壓整個 shebang？
1 回答
慕絲7291255
TA貢獻1859條經驗 獲得超6個贊
看看 kaitai - https://kaitai.io/，這是一個用于跨多種語言解析二進制文件的庫，具有以獨立于語言的方式定義文件格式的框架。
它能夠在文件格式中定義條件，并根據需要調整解析。雖然學習曲線并非立即微不足道，但也不是太難。
假設您想自己做而不是使用外部庫，則需要考慮一些可以提高性能/代碼的事情：
使用
struct.unpack_from(format, buffer, offset=0)而不是當前方法，因為buffer[index : index + recordLength]可能會創建新對象并復制不需要的內存如果你想解包相同格式的數組，你可以進一步改進它
struct.iter_unpack(format, buffer)，然后迭代結果：
import itertools
import struct
def tryReadRecordsArrayFromBuffer(buffer, numRecords, format, fieldNames):
unpack_iter = struct.iter_unpack(buffer, format)
return [
# I like this better than dict(zip(...)) but you can also do that
{k: v for k, v in zip(fieldNames, vals)}
# We use `islice` to only take the first numRecords values
for vals in itertools.islice(unpack_iter, numRecords)
]
添加回答
舉報
0/150
提交
取消