Quando uso o Amazon EMR para transformar ou mover dados para dentro ou para fora do Amazon Simple Storage Service (Amazon S3), vários arquivos vazios com o sufixo “_$folder$” aparecem nos meus buckets do S3. Quero saber quais são esses arquivos e se posso excluí-los.
Resolução
Os arquivos “_$folder$” são espaços reservados. O Apache Hadoop cria esses arquivos quando você usa o comando -mkdir para criar uma pasta em um bucket do S3. O Hadoop não cria a pasta até você COLOCAR o primeiro objeto. Se você excluir os arquivos “_$folder$” antes de colocar pelo menos um objeto, o Hadoop não poderá criar a pasta. Isso resulta em um erro “Este arquivo ou diretório não existe”.
Em geral, é uma prática recomendada não excluir os arquivos “_$folder$”. Isso pode causar problemas de desempenho no trabalho do Amazon EMR. A exceção é se você excluir manualmente a pasta do Amazon S3 e depois tentar recriá-la em um trabalho do Amazon EMR ou com comandos do Hadoop. Se você não excluir os arquivos “_$folder$” antes de tentar recriar a pasta, receberá o erro “O arquivo existe”.
Informações relacionadas
Carregar dados no Amazon S3
Configurar um local de saída