1 回答

TA貢獻1784條經驗 獲得超9個贊
我們可以在著陸文件夾上配置一個 Lambda S3 事件觸發器,當文件上傳時,我們可以在 Lambda 中有一個簡短的腳本來觸發 Glue 作業。膠水 python 腳本應該具有將輸入文本文件轉換為 CSV 文件所需的邏輯。這樣,當文件上傳到 S3 時,您的作業可以運行任意次數。
您的賬單也只在作業運行期間計費。請注意,由于其托管服務功能,Glue 的成本并不高。
創建事件觸發器,觸發膠水作業。請在此處找到 AWS Lambda 的代碼片段:
from __future__ import print_function
import json
import boto3
import time
import sys
import time
from datetime import datetime
s3 = boto3.client('s3')
glue = boto3.client('glue')
def lambda_handler(event, context):
gluejobname="<< THE GLUE JOB NAME >>"
try:
runId = glue.start_job_run(JobName=gluejobname)
status = glue.get_job_run(JobName=gluejobname, RunId=runId['JobRunId'])
print("Job Status : ", status['JobRun']['JobRunState'])
except Exception as e:
print(e)
print('Error getting object {} from bucket {}. Make sure they exist '
'and your bucket is in the same region as this '
'function.'.format(source_bucket, source_bucket))
raise e
添加回答
舉報