Posso usar o Amazon S3 para armazenamento Hadoop em vez do HDFS?

Resolução

Você não pode configurar o Amazon EMR para usar o Amazon S3 em vez do HDFS para a camada de armazenamento do Hadoop. O HDFS e o EMR File System (EMRFS), que usa o Amazon S3, são compatíveis com o Amazon EMR, mas não são intercambiáveis. O HDFS é uma implementação da API Hadoop FileSystem, que modela o comportamento do sistema de arquivos POSIX. O EMRFS é um armazenamento de objetos, não um sistema de arquivos. Para obter mais informações, consulte a documentação do Hadoop para Object Stores vs. Sistemas de arquivos.

Para ter uma visão geral das camadas de armazenamento no Amazon EMR, consulte Visão geral da arquitetura do Amazon EMR.

Para ter recomendações sobre quando usar cada sistema de arquivos, consulte Trabalhar com armazenamento e sistemas de arquivos.

Informações relacionadas

Sistema de arquivos EMR (EMRFS)

Configuração HDFS