Ich möchte Amazon EMR so konfigurieren, dass Amazon Simple Storage Service (Amazon S3) als Apache Hadoop-Speichersystem anstelle des Hadoop Distributed File System (HDFS) verwendet wird.
Auflösung
Sie können Amazon EMR nicht so konfigurieren, dass Amazon S3 anstelle von HDFS für die Hadoop-Speicherschicht verwendet wird. HDFS und das EMR File System (EMRFS), das Amazon S3 verwendet, sind beide mit Amazon EMR kompatibel, aber nicht austauschbar. HDFS ist eine Implementierung der Hadoop FileSystem-API, die das Verhalten von POSIX-Dateisystemen modelliert. EMRFS ist ein Objektspeicher, kein Dateisystem. Weitere Informationen finden Sie in der Hadoop-Dokumentation für Object Stores vs. Dateisysteme.
Eine Übersicht über die Speicherschichten in Amazon EMR finden Sie unter Übersicht über die Amazon EMR-Architektur.
Empfehlungen zur Verwendung der einzelnen Dateisysteme finden Sie unter Arbeiten mit Speicher- und Dateisystemen.
Verwandte Informationen
EMR-Dateisystem (EMRFS)
HDFS-Konfiguration