HDFS の代わりに Hadoop ストレージに Amazon S3 を使用できますか?
所要時間1分
0
Hadoop Distributed File System (HDFS) の代わりに Amazon Simple Storage Service (Amazon S3) を Apache Hadoop ストレージシステムとして使用するように Amazon EMR を設定したいと考えています。
解決方法
Hadoop ストレージレイヤーに HDFS の代わりに Amazon S3 を使用するように Amazon EMR を設定することはできません。HDFS と Amazon S3 を使用する EMR ファイルシステム (EMRFS) は、いずれも Amazon EMR と互換性がありますが、互換性はありません。HDFS は、POSIX ファイルシステムの動作をモデル化する Hadoop FileSystem API の実装です。EMRFS はファイルシステムではなくオブジェクトストアです。詳細については、Hadoop ドキュメントの「Object Stores vs.Filesystems」を参照してください。
Amazon EMR のストレージレイヤーの概要については、「Amazon EMR アーキテクチャの概要」を参照してください。
個々のファイルシステムを使用するときの推奨事項に関しては、「ストレージとファイルシステムを操作する」を参照してください。
関連情報
コメントはありません
