Redshift super datatype not enough to store json data type column from Postgres

We are encountering a issue where we're utilizing the "super" datatype. The column in the Parquet file we receive has a maximum length of 192K. How should we handle this data? Are there alternative datatypes we can use to accommodate such large data sizes?

Argomenti

Analisi Database

Tag

AWS Glue Estrazione trasformazione e caricamento dati Amazon Redshift

Lingua

English

msve

posta un mese fa231 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

Is the parquet file the one you are ingesting? One option would be to keep the file as parquet and read it via Redshift Spectrum. https://docs.aws.amazon.com/redshift/latest/dg/c-spectrum-external-tables.html. You could then query it joined with all the other data in Redshift and not have make alterations to the file itself.

evaleah

con risposta un mese fa

ESPERTO

Osvaldo Marte

verificato un mese fa

Contenuto pertinente

Come posso risolvere l'errore: "The following parameters are not defined for the specified group” quando aggiorno la versione del motore del cluster RDS utilizzando CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
Come faccio a evitare l'errore "Unable to validate the following destination configurations" con le notifiche degli eventi Lambda in CloudFormation?
AWS UFFICIALEAggiornata 3 anni fa
Come faccio a correggere l'errore "Unable to validate the following destination configurations" in AWS CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
In che modo posso risolvere l'errore "Waiting for the slave SQL thread to free enough relay log space" in Amazon Aurora MySQL?
AWS UFFICIALEAggiornata 3 anni fa