HDFS の代わりに Hadoop ストレージに Amazon S3 を使用できますか?

解決方法

Hadoop ストレージレイヤーに HDFS の代わりに Amazon S3 を使用するように Amazon EMR を設定することはできません。HDFS と Amazon S3 を使用する EMR ファイルシステム (EMRFS) は、いずれも Amazon EMR と互換性がありますが、互換性はありません。HDFS は、POSIX ファイルシステムの動作をモデル化する Hadoop FileSystem API の実装です。EMRFS はファイルシステムではなくオブジェクトストアです。詳細については、Hadoop ドキュメントの「Object Stores vs.Filesystems」を参照してください。

Amazon EMR のストレージレイヤーの概要については、「Amazon EMR アーキテクチャの概要」を参照してください。

個々のファイルシステムを使用するときの推奨事項に関しては、「ストレージとファイルシステムを操作する」を参照してください。

関連情報

EMR ファイルシステム (EMRFS)

HDFS 構成