Kann ich Amazon S3 als Hadoop-Speicher anstelle von HDFS verwenden?

Lesedauer: 1 Minute
0

Ich möchte Amazon EMR so konfigurieren, dass Amazon Simple Storage Service (Amazon S3) als Apache Hadoop-Speichersystem anstelle des Hadoop Distributed File System (HDFS) verwendet wird.

Auflösung

Sie können Amazon EMR nicht so konfigurieren, dass Amazon S3 anstelle von HDFS für die Hadoop-Speicherschicht verwendet wird. HDFS und das EMR File System (EMRFS), das Amazon S3 verwendet, sind beide mit Amazon EMR kompatibel, aber nicht austauschbar. HDFS ist eine Implementierung der Hadoop FileSystem-API, die das Verhalten von POSIX-Dateisystemen modelliert. EMRFS ist ein Objektspeicher, kein Dateisystem. Weitere Informationen finden Sie in der Hadoop-Dokumentation für Object Stores vs. Dateisysteme.

Eine Übersicht über die Speicherschichten in Amazon EMR finden Sie unter Übersicht über die Amazon EMR-Architektur.

Empfehlungen zur Verwendung der einzelnen Dateisysteme finden Sie unter Arbeiten mit Speicher- und Dateisystemen.


Verwandte Informationen

EMR-Dateisystem (EMRFS)

HDFS-Konfiguration

AWS OFFICIAL
AWS OFFICIALAktualisiert vor 2 Jahren