Quando utilizzo Amazon EMR per trasformare o spostare dati da o verso Amazon Simple Storage Service (Amazon S3), nei miei bucket S3 vengono visualizzati diversi file vuoti con il suffisso "_$folder$". Cosa sono questi file ed è sicuro eliminarli?
Risoluzione
I file "_$folder$" sono segnaposti. Apache Hadoop crea questi file quando utilizzi il comando -mkdir per creare una cartella in un bucket S3. Hadoop non crea la cartella finché non INSERISCI il primo oggetto. Se elimini i file "_$folder$" prima di INSERIRE almeno un oggetto, Hadoop non può creare la cartella. Ciò si traduce nell’errore "No such file or directory".
In generale, è consigliabile non eliminare i file "_$folder$". Ciò potrebbe causare problemi di prestazioni per il lavoro Amazon EMR. L'eccezione è se elimini manualmente la cartella da Amazon S3 e poi provi a ricrearla in un lavoro Amazon EMR o con i comandi Hadoop. Se non elimini i file "_$folder$" prima di provare a ricreare la cartella, ottieni l'errore "File exists".
Informazioni correlate
Carica dati su Amazon S3
Configura una posizione di uscita