Glue transform columns limit

0

A customer has a schema with 183 columns, When running a transform job on Glue we are faced with an error:

"Number of columns in schema exceeded the maximum allowed number"

I was able to re-produce.
I can't find in the Glue documentation such a limit.
Is there a way to increase. the limit or a workaround?

Themen

Tags

Sprache

English

MODERATOR

AWS-User-3380374

gefragt vor 4 Jahren1529 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

0

Akzeptierte Antwort

As stated here: https://docs.aws.amazon.com/glue/latest/dg/machine-learning.html

The data source table that you choose for the job can't have more than 100 columns.

AWS-User-8730979

beantwortet vor 4 Jahren

Relevanter Inhalt

Wie verwende ich externe Python-Bibliotheken in meinem AWS-Glue-2.0-ETL-Job?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den AWS-KMS-Schlüsselrichtlinienfehler „Policy contains a statement with one or more invalid principals“ (Richtlinie enthält Aussage mit einem oder mehreren ungültigen Pinzipalen)?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich den Fehler „You have exceeded the allowed number of AWS accounts.“ (Sie haben die zulässige Anzahl von AWS-Konten überschritten.) für AWS-Organisationen beheben?
AWS OFFICIALAktualisiert vor einem Jahr
Wie erkennt der AWS-Glue-Crawler das Schema?
AWS OFFICIALAktualisiert vor 2 Jahren