Redshift super datatype not enough to store json data type column from Postgres

We are encountering a issue where we're utilizing the "super" datatype. The column in the Parquet file we receive has a maximum length of 192K. How should we handle this data? Are there alternative datatypes we can use to accommodate such large data sizes?

Tópicos

Análise Banco de dados

Tags

AWS Glue Extrair, transformar e carregar dados Amazon Redshift

Idioma

English

msve

feita há um mês233 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Is the parquet file the one you are ingesting? One option would be to keep the file as parquet and read it via Redshift Spectrum. https://docs.aws.amazon.com/redshift/latest/dg/c-spectrum-external-tables.html. You could then query it joined with all the other data in Redshift and not have make alterations to the file itself.

evaleah

respondido há um mês

ESPECIALISTA

Osvaldo Marte

avaliado há um mês

Conteúdo relevante

Como resolvo o erro “The provided key element does not match the schema” ao importar tabelas do DynamoDB usando o Hive no Amazon EMR?
AWS OFICIALAtualizada há 2 anos
Como soluciono o erro “The security token included in the request is expired” (O token de segurança incluído na solicitação está expirado) ao executar aplicações Java no Amazon EC2?
AWS OFICIALAtualizada há 2 anos
Como posso solucionar o erro do AWS STS “the security token included in the request is expired” (o token de segurança incluído na solicitação expirou) ao usar a AWS CLI para assumir uma função do IAM?
AWS OFICIALAtualizada há 2 anos
Por que recebi o erro de IAM “AWS was not able to validate the provided access credentials” (A AWS não pôde validar as credenciais de acesso fornecidas) em algumas regiões da AWS?
AWS OFICIALAtualizada há 2 anos