Optimizing ICEBERG table

We're using ICEBERG table and we see that each update increase the number of folders and PARQUET files in S3, although data itself wasn't change. Is there an option to compacting and optimizing ICEBERG tables?

Thanks

Tópicos

Análise Banco de dados

Tags

Amazon Athena Banco de dados

Idioma

English

moshe

feita há 5 meses392 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Resposta aceita

I see there are OPTIMIZE AND VACUUM options. Thanks https://docs.aws.amazon.com/athena/latest/ug/querying-iceberg-data-optimization.html

moshe

respondido há 5 meses

ESPECIALISTA

MaxCloud

avaliado há 5 meses

ESPECIALISTA

Didier_Durand

avaliado há 5 meses

Conteúdo relevante

Como posso resolver o erro “You have exceeded the allowed number of AWS accounts” (Você excedeu o número permitido de contas da AWS) para o AWS Organizations?
AWS OFICIALAtualizada há um ano
Como posso solucionar o erro do AWS STS “the security token included in the request is expired” (o token de segurança incluído na solicitação expirou) ao usar a AWS CLI para assumir uma função do IAM?
AWS OFICIALAtualizada há 2 anos
Como posso usar o Apache Iceberg com um catálogo de dados do AWS Glue entre contas no Spark?
AWS OFICIALAtualizada há um ano
Como posso solucionar o erro “FAILED: SemanticException table is not partitioned but partition spec exists” (FALHA: a tabela SemanticException não está particionada, mas existe uma especificação de partição) no Athena?
AWS OFICIALAtualizada há um ano