亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

有效地列出具有非常多條目的目錄中的文件

有效地列出具有非常多條目的目錄中的文件

Go
開滿天機 2021-11-29 19:41:00
我需要遞歸讀取目錄結構,但我還需要在閱讀每個目錄的所有條目后執行額外的步驟。因此,我需要編寫自己的遞歸邏輯(并且不能使用簡單的filepath.Walk例程)。但是,ioutil.ReadDir和filepath.Glob例程只返回切片。如果我要突破 ext4或xfs的限制,并且有一個包含數十億個文件的目錄怎么辦?我希望golang有一個函數,它os.FileInfo通過一個通道而不是一個排序的切片返回一系列未排序的(或者甚至更好的原始字符串)。在這種情況下,我們如何有效地讀取文件條目?上面引用的所有函數似乎都依賴readdirnames于os/dir_unix.go,并且由于某種原因,它只是在看起來很容易產生一個gothread并將值推入通道時才創建一個數組. 這樣做可能有合理的邏輯,但尚不清楚它是什么。我是 Go 的新手,所以我也很容易錯過一些對其他人顯而易見的原則。這是源代碼,為方便起見:func (f *File) readdirnames(n int) (names []string, err error) {    // If this file has no dirinfo, create one.    if f.dirinfo == nil {        f.dirinfo = new(dirInfo)        // The buffer must be at least a block long.        f.dirinfo.buf = make([]byte, blockSize)    }    d := f.dirinfo    size := n    if size <= 0 {        size = 100        n = -1    }    names = make([]string, 0, size) // Empty with room to grow.    for n != 0 {        // Refill the buffer if necessary        if d.bufp >= d.nbuf {            d.bufp = 0            var errno error            d.nbuf, errno = fixCount(syscall.ReadDirent(f.fd, d.buf))            if errno != nil {                return names, NewSyscallError("readdirent", errno)            }            if d.nbuf <= 0 {                break // EOF            }        }        // Drain the buffer        var nb, nc int        nb, nc, names = syscall.ParseDirent(d.buf[d.bufp:d.nbuf], n, names)        d.bufp += nb        n -= nc    }    if n >= 0 && len(names) == 0 {        return names, io.EOF    }    return names, nil}
查看完整描述

1 回答

?
楊__羊羊

TA貢獻1943條經驗 獲得超7個贊

ioutil.ReadDir并且filepath.Glob只是圍繞讀取目錄條目的便利功能。

如果提供的參數 > 0 ,則可以直接使用ReaddirReaddirnames方法批量讀取目錄條目n。

對于像讀取目錄條目這樣基本的事情,不需要添加 goroutine 和通道的開銷,并且還提供了返回錯誤的替代方法。如果您愿意,您始終可以使用自己的 goroutine 和通道模式包裝批量調用。


查看完整回答
反對 回復 2021-11-29
  • 1 回答
  • 0 關注
  • 191 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號