我知道存在https://wiki.apache.org/hadoop/AmazonS3和以下字詞:S3本機文件系統(URI方案:s3n)用于在S3上讀寫常規文件的本機文件系統。該文件系統的優點是您可以訪問S3上用其他工具編寫的文件。相反,其他工具可以訪問使用Hadoop編寫的文件。缺點是S3施加的文件大小限制為5GB。S3A(URI方案:s3a)S3a:系統是S3本機s3n fs的后繼產品,它使用Amazon的庫與S3進行交互。這使S3a支持更大的文件(沒有更多的5GB限制),更高性能的操作等等。該文件系統旨在替代S3本機/替代S3本機:從s3n:// URL訪問的所有對象也應該僅通過替換URL架構就可以從s3a訪問。S3塊文件系統(URI方案:s3)由S3支持的基于塊的文件系統。文件存儲為塊,就像它們在HDFS中一樣。這樣可以有效地執行重命名。此文件系統要求您為文件系統專用存儲桶-您不應使用包含文件的現有存儲桶,也不應將其他文件寫入同一存儲桶。該文件系統存儲的文件可以大于5GB,但不能與其他S3工具互操作。為什么URI上的字母更改會產生這種變化?例如val data = sc.textFile("s3n://bucket-name/key")至val data = sc.textFile("s3a://bucket-name/key")此更改的技術差異是什么?有什么好的文章可以閱讀嗎?
2 回答

侃侃無極
TA貢獻2051條經驗 獲得超10個贊
URI方案上的字母更改有很大的不同,因為它導致使用不同的軟件來連接到S3。有點像http和https之間的區別-只是一個字母的更改,但它會觸發行為上的很大區別。
s3和s3n / s3a之間的區別在于s3是Amazon S3之上的基于塊的覆蓋,而s3n / s3a不是(它們是基于對象的)。
s3n和s3a之間的區別在于s3n支持最大5GB的對象,而s3a支持最大5TB的對象并具有更高的性能(這都是因為它使用分段上傳)。s3a是s3n的后繼者。
如果您在這里是因為想要了解應該與Amazon EMR一起使用哪個S3文件系統,請從Amazon 閱讀本文(僅在Wayback機器上可用)。網絡是:使用s3://,因為s3://和s3n://在EMR的上下文中在功能上是可互換的,而s3a://與EMR不兼容。
- 2 回答
- 0 關注
- 1466 瀏覽
添加回答
舉報
0/150
提交
取消