Puis-je utiliser Amazon S3 pour le stockage Hadoop, au lieu de HDFS ?

Lecture de 1 minute(s)
0

Je souhaite configurer Amazon EMR pour utiliser Amazon Simple Storage Service (Amazon S3) comme système de stockage Apache Hadoop, au lieu du système de fichiers distribué Hadoop (HDFS).

Solution

Vous ne pouvez pas configurer Amazon EMR pour utiliser Amazon S3 au lieu de HDFS pour la couche de stockage Hadoop. HDFS et le système de fichiers EMR (EMRFS), qui utilise Amazon S3, sont tous deux compatibles avec Amazon EMR mais pas interchangeables. HDFS est une implémentation de l'API Hadoop FileSystem, qui modélise le comportement du système de fichiers POSIX. EMRFS est un magasin d'objets, et non un système de fichiers. Pour plus d'informations, consultez la documentation Hadoop pour les magasins d'objets vs . Systèmes de fichiers.

Pour une présentation des couches de stockage dans Amazon EMR, consultez Présentation de l'architecture Amazon EMR.

Pour savoir quand utiliser l'un ou l'autre système de fichiers, consultez Gestion du stockage et des systèmes de fichiers.


Informations connexes

Système de fichiers EMR (EMRFS)

HDFS configuration

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a 2 ans