Glue Table and Athena: What if some files are compressed and others are not in S3, will it break anything?

I have a glue table specified that refers to a location in S3. I noticed that when Firehose puts data there in parquet format it might be not always compressed.

Will it cause issues for Glue table, crawler or Athena to access the data (both compressed and not compressed)?

Tópicos

Análise

Tags

Amazon Athena Amazon Data Firehose AWS Glue

Idioma

English

hRed

feita há 6 meses297 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Resposta aceita

parquet files are self descriptive, it's even possible to use different compression inside a file for different columns/pages. Therefore it should work, but since it's not the normal case, it's possible that some tool has a bug and assume a single code is used.

ESPECIALISTA

Gonzalo Herreros

respondido há 6 meses

Conteúdo relevante

Por que minha consulta MSCK REPAIR TABLE não adiciona partições ao catálogo de dados do AWS Glue?
AWS OFICIALAtualizada há 2 anos
Como falo para acessar os buckets Solicitante paga do Amazon S3 do AWS Glue, Amazon EMR ou Amazon Athena?
AWS OFICIALAtualizada há 2 anos
Como posso solucionar o erro “FAILED: SemanticException table is not partitioned but partition spec exists” (FALHA: a tabela SemanticException não está particionada, mas existe uma especificação de partição) no Athena?
AWS OFICIALAtualizada há um ano
Why can't I detach or delete an elastic network interface that Lambda created?
AWS OFICIALAtualizada há 2 meses