是否可以將 Amazon S3 而不是 HDFS 作為 Hadoop 儲存使用?

1 分的閱讀內容
0

我想將 Amazon EMR 設定為使用 Amazon Simple Storage Service (Amazon S3) 作為 Apache Hadoop 存儲系統,而不是 Hadoop 分散式檔案系統 (HDFS)。

解決方法

您無法將 Amazon EMR 設定為使用 Amazon S3 而不是 HDFS 作為 Hadoop 存儲層。HDFS 和使用 Amazon S3 的 EMR 檔案系統 (EMRFS) 都與Amazon EMR 相容,但兩者不能互換。HDFS 是 Hadoop 檔案系統 API 實作,用於 POSIX 檔案系統行為建模。EMRFS 是一個物件儲存空間,而不是檔案系統。如需詳細資訊,請參閱 Hadoop 文件關於 物件儲存空間與 檔案系統

如需 Amazon EMR 中儲存層的概觀,請參閱 Amazon EMR 架構概觀

如需何時使用每個檔案系統的建議,請參閱使用儲存空間和檔案系統


相關資訊

EMR 檔案系統 (EMRFS)

HDFS 組態

AWS 官方
AWS 官方已更新 2 年前