亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 sdk 計算 AWS S3 存儲桶中的對象時計數不正確

使用 sdk 計算 AWS S3 存儲桶中的對象時計數不正確

慕田峪7331174 2021-11-24 15:45:42
我正在AWS S3使用 Scala計算存儲桶中的對象數量,如下所示:val reqAws:ListObjectsV2Request = new ListObjectsV2Request().withBucketName(awsBucketName).withPrefix(prefixForAws);var resultAws:ListObjectsV2Result = null;var totalFilesInAws:Int = 0;do {  resultAws = awsS3Client.listObjectsV2(reqAws);  val summariesForAws:java.util.List[S3ObjectSummary] = resultAws.getObjectSummaries()  totalFilesInAws = totalFilesInAws + summariesForAws.size().toInt  val token:String = resultAws.getNextContinuationToken();  reqAws.setContinuationToken(token);} while (resultAws.isTruncated());但是,它也為我count提供了那些不包含任何對象的前綴。例如,如果我的前綴是a/b/c并且我的 S3 具有以下結構:bucketName/a/b/c/d/obj1bucketName/a/b/c/e/obj2bucketName/a/b/c/f/現在,在這里我們可以看到a/b/c/f沒有對象,但a/b/c/d并a/b/c/e沒有有對象,所以count應該是2,但我的代碼使計為3。如何修改我的代碼以獲得正確的count?
查看完整描述

2 回答

?
元芳怎么了

TA貢獻1798條經驗 獲得超7個贊

Amazon S3 實際上沒有文件夾/目錄。

例如,您可以運行以下命令:

aws s3 cp foo.txt s3://my-bucket/a/b/c/foo.txt

即使路徑a/b/c不存在,這也有效。

然后,如果該對象隨后被刪除,則路徑消失。

這是因為每個對象的文件名 ('Key') 是完整路徑。Amazon S3 使它“看起來”有目錄,但實際上沒有。

那么,當你創建一個文件夾時會發生什么?答案是系統創建了一個與路徑同名的零長度對象。

在您的情況下,有一個零長度對象稱為/a/b/c/f/. 這使目錄出現(即使沒有目錄這樣的東西)。

雖然a/b/c/f/可能不包含對象,但一個名為a/b/c/f/.

如何解決這個問題?以下是一些選項:

  • 不要創建目錄。通過在給定路徑中創建對象,讓它們自動“出現”。這樣,就不會出現目錄名稱的零長度文件。

  • 更改您的代碼以忽略零長度對象。


查看完整回答
反對 回復 2021-11-24
?
慕斯709654

TA貢獻1840條經驗 獲得超5個贊

我做了以下代碼更改,現在我得到了正確的計數


val reqAws:ListObjectsV2Request = new ListObjectsV2Request().withBucketName(awsBucketName).withPrefix(prefixForAws);

var resultAws:ListObjectsV2Result = null;

var totalFilesInAws:Int = 0;

do {

  resultAws = awsS3Client.listObjectsV2(reqAws);

  val summariesForAws:java.util.List[S3ObjectSummary] = resultAws.getObjectSummaries()

  for(k <- summariesForAws.asScala) {

    if(!(k.getKey.toString().endsWith("/"))) {

      totalFilesInAws+= 1;

    }

  }

  val token:String = resultAws.getNextContinuationToken();

  reqAws.setContinuationToken(token);

} while (resultAws.isTruncated());


查看完整回答
反對 回復 2021-11-24
  • 2 回答
  • 0 關注
  • 262 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號