s3和s3n / s3a之间的区别在于s3是Amazon S3上的基于块的叠加,而s3n / s3a则是基于对象存储的。
s3n和s3a之间的区别在于s3n支持高达5GB的对象,而s3a支持高达5TB的对象,并具有更高的性能(两者都是因为它使用多部分上传)。
我知道https://wiki.apache.org/hadoop/AmazonS3和以下单词的存在:
s3:基于Block块的文件系统
S3 Block FileSystem(URI scheme:s3)由S3支持的基于块的文件系统。 文件存储为块,就像HDFS一样。 这样可以有效地实现重命名。 此文件系统需要您为文件系统专用一个存储桶 - 您不应使用包含文件的现有存储桶,或将其他文件写入同一存储区。 此文件系统存储的文件大于5GB,但不能与其他S3工具进行互操作。
s3n:基于对象存储的文件系统
S3 Native FileSystem(URI scheme:s3n)用于在S3上读取和写入常规文件的本机文件系统。 这个文件系统的优点是您可以访问使用其他工具编写的S3上的文件。 相反,其他工具可以访问使用Hadoop编写的文件。 缺点是S3的文件大小限制为5GB。
s3a:基于对象存储的文件系统
S3A(URI方案:s3a)是S3 Native,s3n fs的继承者,S3a:系统使用Amazon的库与S3进行交互。 这允许S3A支持较大的文件(不超过5GB的限制),更高的性能操作等等。 文件系统旨在替代S3 Native:从s3n:// URL可访问的所有对象也应该通过替换URL模式从s3a访问。