¿Puedo eliminar de forma segura los archivos vacíos con el sufijo _$folder$ que aparecen en mi bucket de Amazon S3 cuando utilizo Amazon EMR con Amazon S3?

Solución

Los archivos «\ _$folder$» son marcadores de posición. Apache Hadoop crea estos archivos cuando se usa el comando -mkdir para crear una carpeta en un bucket de S3. Hadoop no crea la carpeta hasta que ejecute PUT para el primer objeto. Si elimina los archivos «_$folder$» antes de ejecutar PUT para un objeto como mínimo, Hadoop no podrá crear la carpeta. Esto da lugar al error «No existe ese archivo o directorio».

En general, se recomienda no eliminar los archivos «_$folder$». Hacerlo podría provocar problemas de rendimiento en el trabajo de Amazon EMR. Hay una excepción: si elimina manualmente la carpeta de Amazon S3 y, a continuación, intenta volver a crearla en un trabajo de Amazon EMR o con comandos de Hadoop. Si no elimina los archivos «_$folder$» antes de intentar volver a crear la carpeta, aparecerá el error «El archivo existe».

Información relacionada

Carga de datos en Amazon S3

Configuración de una ubicación de salida