copy 2TB data from s3 to redshift take more than 2 days is hung

0

the data set is 2 Tera Bytes with 30Billow rows and 80 columns for 20 years history. our redshift cluster is 2 ra3.4xlarge I have successfully loaded 5 years (1/4) of the data set in 6 hours any advice?

Winston
gefragt vor 4 Monaten135 Aufrufe
1 Antwort
0
Akzeptierte Antwort

just talked to AWS Support, they advised to load by chunk by chunk, not all the data in one big load.

Winston
beantwortet vor 4 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen