亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

從技術上講,s3n,s3a和s3有什么區別?

從技術上講,s3n,s3a和s3有什么區別?

湖上湖 2019-12-12 13:48:59
我知道存在https://wiki.apache.org/hadoop/AmazonS3和以下字詞:S3本機文件系統(URI方案:s3n)用于在S3上讀寫常規文件的本機文件系統。該文件系統的優點是您可以訪問S3上用其他工具編寫的文件。相反,其他工具可以訪問使用Hadoop編寫的文件。缺點是S3施加的文件大小限制為5GB。S3A(URI方案:s3a)S3a:系統是S3本機s3n fs的后繼產品,它使用Amazon的庫與S3進行交互。這使S3a支持更大的文件(沒有更多的5GB限制),更高性能的操作等等。該文件系統旨在替代S3本機/替代S3本機:從s3n:// URL訪問的所有對象也應該僅通過替換URL架構就可以從s3a訪問。S3塊文件系統(URI方案:s3)由S3支持的基于塊的文件系統。文件存儲為塊,就像它們在HDFS中一樣。這樣可以有效地執行重命名。此文件系統要求您為文件系統專用存儲桶-您不應使用包含文件的現有存儲桶,也不應將其他文件寫入同一存儲桶。該文件系統存儲的文件可以大于5GB,但不能與其他S3工具互操作。為什么URI上的字母更改會產生這種變化?例如val data = sc.textFile("s3n://bucket-name/key")至val data = sc.textFile("s3a://bucket-name/key")此更改的技術差異是什么?有什么好的文章可以閱讀嗎?
查看完整描述

2 回答

?
侃侃無極

TA貢獻2051條經驗 獲得超10個贊

URI方案上的字母更改有很大的不同,因為它導致使用不同的軟件來連接到S3。有點像http和https之間的區別-只是一個字母的更改,但它會觸發行為上的很大區別。


s3和s3n / s3a之間的區別在于s3是Amazon S3之上的基于塊的覆蓋,而s3n / s3a不是(它們是基于對象的)。


s3n和s3a之間的區別在于s3n支持最大5GB的對象,而s3a支持最大5TB的對象并具有更高的性能(這都是因為它使用分段上傳)。s3a是s3n的后繼者。


如果您在這里是因為想要了解應該與Amazon EMR一起使用哪個S3文件系統,請從Amazon 閱讀本文(僅在Wayback機器上可用)。網絡是:使用s3://,因為s3://和s3n://在EMR的上下文中在功能上是可互換的,而s3a://與EMR不兼容。


查看完整回答
反對 回復 2019-12-12
  • 2 回答
  • 0 關注
  • 1466 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號