Available SQL Functions in Glue

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

Themen

Analysen Datenbank

Tags

Analysen AWS Glue Daten extrahieren, transformieren & laden

Sprache

English

blanchma

gefragt vor einem Jahr341 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Akzeptierte Antwort

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

acmanjon

beantwortet vor einem Jahr

EXPERTE

Sedat Salman

überprüft vor einem Jahr

blanchma
vor einem Jahr
The goal is to use "Derived Column" and not dabble with the script itself.
blanchma
vor einem Jahr
Actually that list is correct. Thanks, @acmanjon
Gonzalo Herreros EXPERTE
vor einem Jahr
Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

Relevanter Inhalt

Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie kann ich den Fehler „Waiting for the slave SQL thread to free enough relay log space“ in Amazon Aurora MySQL beheben?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie behebe ich die Fehler „Weder der globale Service-Prinzipal „states.amazonaws.com“ noch der regionale Service-Prinzipal sind berechtigt, die bereitgestellte Rolle zu übernehmen“ in AWS Step Functions?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie kann ich Step Functions verwenden, um eine Amazon RDS-Instance für mehr als 7 Tage zu stoppen?
AWS OFFICIALAktualisiert vor einem Jahr