Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso
AWS re:Postre:Post

Available SQL Functions in Glue

0

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

Temas
AnálisisBase de datos
Etiquetas
AnálisisAWS GlueExtraer datos de transformación y carga
Idioma
English
blanchma
preguntada hace un año343 visualizaciones
1 Respuesta
2
Respuesta aceptada

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

profile pictureAWS
acmanjon
respondido hace un año
profile picture
EXPERTO
Sedat Salman
revisado hace un año
  • blanchma
    hace un año

    The goal is to use "Derived Column" and not dabble with the script itself.

  • blanchma
    hace un año

    Actually that list is correct. Thanks, @acmanjon

  • Gonzalo Herreros EXPERTO
    hace un año

    Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas

Contenido relevante