我正在嘗試在 Go 中編寫一個掃描儀,它掃描連續行并在返回之前清理該行,以便您可以返回邏輯行。因此,給定以下 SplitLine 函數 ( Play ):func ScanLogicalLines(data []byte, atEOF bool) (int, []byte, error) { if atEOF && len(data) == 0 { return 0, nil, nil } i := bytes.IndexByte(data, '\n') for i > 0 && data[i-1] == '\\' { fmt.Printf("i: %d, data[i] = %q\n", i, data[i]) i = i + bytes.IndexByte(data[i+1:], '\n') } var match []byte = nil advance := 0 switch { case i >= 0: advance, match = i + 1, data[0:i] case atEOF: advance, match = len(data), data } token := bytes.Replace(match, []byte("\\\n"), []byte(""), -1) return advance, token, nil}func main() { simple := `Just a test.See what is returned. \when you have empty lines.Followed by a newline.` scanner := bufio.NewScanner(strings.NewReader(simple)) scanner.Split(ScanLogicalLines) for scanner.Scan() { fmt.Printf("line: %q\n", scanner.Text()) }}我希望代碼返回如下內容:line: "Just a test."line: ""line: "See what is returned, when you have empty lines."line: ""line: "Followed by a newline."但是,它在返回第一行后停止。第二次調用 return 1, "", nil。任何人有任何想法,還是一個錯誤?
1 回答

精慕HU
TA貢獻1845條經驗 獲得超8個贊
我認為這是一個錯誤,因為提前值 > 0 并不打算進行進一步的讀取調用,即使返回的令牌為零(bufio.SplitFunc):
如果數據還沒有一個完整的標記,例如如果它在掃描行時沒有換行符,SplitFunc 可以返回 (0, nil) 以通知掃描器將更多數據讀入切片并再次嘗試使用更長的切片從輸入中的相同點。
這是怎么回事
輸入緩沖區bufio.Scanner
默認為 4096 字節。這意味著如果可以,它會立即讀取到這個數量,然后執行 split 函數。在您的情況下,掃描儀可以一次讀取您的所有輸入,因為它遠低于 4096 字節。這意味著下一次讀取它將導致EOF
這里的主要問題。
一步步
你尋找一個令牌,你找到第一個換行符,它只有一個換行符
您
nil
通過從匹配中刪除換行符作為令牌返回你發現
"Just a test."
你尋找一個標記,你會發現第三行只有一個換行符
您
nil
通過從匹配中刪除換行符作為令牌返回執行結束
如何規避
任何非零的令牌都會阻止這種情況。只要您返回非 nil 令牌,掃描器就不會檢查EOF
并繼續執行您的令牌生成器。
您的代碼返回nil
令牌的原因是在無事可做時bytes.Replace
返回 。. 您可以通過返回一個有容量但沒有元素的切片來防止這種情況,因為這將是非 nil: 。nil
append([]byte(nil), nil...) == nil
make([]byte, 0, 1) != nil
- 1 回答
- 0 關注
- 238 瀏覽
添加回答
舉報
0/150
提交
取消