Available SQL Functions in Glue

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

Tópicos

Análise Banco de dados

Tags

Análise AWS Glue Extrair, transformar e carregar dados

Idioma

English

blanchma

feita há um ano343 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Resposta aceita

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

acmanjon

respondido há um ano

ESPECIALISTA

Sedat Salman

avaliado há um ano

blanchma
há um ano
The goal is to use "Derived Column" and not dabble with the script itself.
blanchma
há um ano
Actually that list is correct. Thanks, @acmanjon
Gonzalo Herreros ESPECIALISTA
há um ano
Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

Conteúdo relevante

Como solucionar erros de “Nem a entidade principal do serviço global states.amazonaws.com, nem a do serviço regional estão autorizados a assumir o perfil fornecido” no AWS Step Functions?
AWS OFICIALAtualizada há 2 anos
Como resolvo erros de exceção SQL com fontes de dados SQL personalizadas no QuickSight?
AWS OFICIALAtualizada há 2 anos
Como posso usar o Step Functions para interromper uma instância do Amazon RDS por mais de 7 dias?
AWS OFICIALAtualizada há um ano
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos