我正在嘗試從 s3 Buckets 中的特定文件夾中獲取文件：我在 s3 中有 4 個桶，名稱如下：1 - 'PDF'2 - 'TXT'3 - 'PNG'4 - 'JPG'所有 s3 存儲桶的文件夾結構如下所示：1- PDF/analysis/pdf-to-img/processed/files2- TXT/report/processed/files3- PNG/analysis/reports/png-to-txt/processed/files4- JPG/jpg-to-txt/empty我必須檢查此文件夾前綴processed/files是否存在于存儲桶中，如果存在，我將讀取這些目錄中存在的文件，否則我將忽略它們。代碼：buckets = ['PDF','TXT','PNG','JPG']client = boto3.client('s3')for i in bucket: result = client.list_objects(Bucket=i,Prefix = 'processed/files', Delimiter='/') print(result)如果文件夾結構相同，我可以進入每個目錄，但是當每個存儲桶的文件夾結構不同時，我該如何處理？
2 回答
慕虎7371278
TA貢獻1802條經驗 獲得超4個贊
這也許是一個漫長的過程。
buckets = ['PDF','TXT','PNG','JPG']
s3_client = getclient('s3')
for i in buckets:
result = s3_client.list_objects(Bucket= i, Prefix='', Delimiter ='')
contents = result.get('Contents')
for content in contents:
if 'processed/files/' in content.get('Key'):
print("Do the process")
您可以從 s3 存儲桶中獲取目錄列表。如果它包含所需的文件夾，請執行所需的過程。
Qyouu
TA貢獻1786條經驗 獲得超11個贊
import boto3
client = boto3.client('s3')
bucket_name = "bucket_name"
prefix = ""
s3 = boto3.client("s3")
result = client.list_objects(Bucket=bucket_name, Delimiter='/')
for obj in result.get('CommonPrefixes'):
prefix = obj.get('Prefix')
file_list = ListFiles(client,bucket_name,prefix)
for file in file_list:
if "processed/files" in file:
print("Found",file)
def ListFiles(client, bucket_name, prefix):
_BUCKET_NAME = bucket_name
_PREFIX = prefix
"""List files in specific S3 URL"""
response = client.list_objects(Bucket=_BUCKET_NAME, Prefix=_PREFIX)
for content in response.get('Contents', []):
#print(content)
yield content.get('Key')
添加回答
舉報
0/150
提交
取消