Available SQL Functions in Glue

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

Argomenti

Analisi Database

Tag

Analisi AWS Glue Estrazione trasformazione e caricamento dati

Lingua

English

blanchma

posta un anno fa343 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Risposta accettata

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

acmanjon

con risposta un anno fa

ESPERTO

Sedat Salman

verificato un anno fa

blanchma
un anno fa
The goal is to use "Derived Column" and not dabble with the script itself.
blanchma
un anno fa
Actually that list is correct. Thanks, @acmanjon
Gonzalo Herreros ESPERTO
un anno fa
Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

Contenuto pertinente

Come faccio a risolvere gli errori "Né il responsabile globale del servizio states.amazonaws.com, né quello regionale sono autorizzati ad assumere il ruolo fornito" in AWS Step Functions?
AWS UFFICIALEAggiornata 2 anni fa
Come posso utilizzare Step Functions per interrompere un'istanza Amazon RDS per più di 7 giorni?
AWS UFFICIALEAggiornata un anno fa
In che modo posso risolvere l'errore "Waiting for the slave SQL thread to free enough relay log space" in Amazon Aurora MySQL?
AWS UFFICIALEAggiornata 3 anni fa
Come posso risolvere gli errori di eccezione SQL con origini dei dati SQL personalizzate in QuickSight?
AWS UFFICIALEAggiornata 2 anni fa