En utilisant AWS re:Post, vous acceptez les AWS re:Post Conditions d’utilisation
AWS re:Postre:Post

Available SQL Functions in Glue

0

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

Sujets
AnalytiqueBase de données
Balises
AnalytiqueAWS GlueExtraire, transformer et charger des données
Langue
English
blanchma
demandé il y a un an343 vues
1 réponse
2
Réponse acceptée

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

profile pictureAWS
acmanjon
répondu il y a un an
profile picture
EXPERT
Sedat Salman
vérifié il y a un an
  • blanchma
    il y a un an

    The goal is to use "Derived Column" and not dabble with the script itself.

  • blanchma
    il y a un an

    Actually that list is correct. Thanks, @acmanjon

  • Gonzalo Herreros EXPERT
    il y a un an

    Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions

Contenus pertinents