Posso usare Amazon S3 per lo storage Hadoop anziché HDFS?

1 minuti di lettura
0

Desidero configurare Amazon EMR per utilizzare Amazon Simple Storage Service (Amazon S3) come sistema di storage Apache Hadoop anziché File System distribuito Hadoop (HDFS).

Risoluzione

Non puoi configurare Amazon EMR per utilizzare Amazon S3 anziché HDFS per il livello di storage Hadoop. HDFS e EMR File System (EMRFS), che utilizza Amazon S3, sono entrambi compatibili con Amazon EMR, ma non sono intercambiabili. HDFS è un'implementazione dell'API Hadoop FileSystem, che modella il comportamento del file system POSIX. EMRFS è un archivio di oggetti, non un file system. Per ulteriori informazioni, consulta la documentazione di Hadoop per archivi di oggetti vs. file system.

Per una panoramica dei livelli di storage in Amazon EMR, consulta Panoramica dell'architettura di Amazon EMR.

Per consigli su quando utilizzare ciascun file system, vedere Utilizzo di archiviazione e file system.


Informazioni correlate

File system EMR (EMRFS)

Configurazione HDFS

AWS UFFICIALE
AWS UFFICIALEAggiornata 2 anni fa