Available SQL Functions in Glue

0

Using the step: "Derived Column" where I can use SQL functions to derive new columns I found SUBSTRING works but CHARINDEX it doesn't. And as usual with AWS documentation, there's no place or indication which functions are available in this particular kind of glue node.

질문됨 일 년 전341회 조회
1개 답변
2
수락된 답변

Are you using DynamicFrames?

You can convert it to DataFrame and then use SparkSQL functions.

https://spark.apache.org/docs/latest/api/sql/index.html

profile pictureAWS
답변함 일 년 전
profile picture
전문가
검토됨 일 년 전
  • The goal is to use "Derived Column" and not dabble with the script itself.

  • Actually that list is correct. Thanks, @acmanjon

  • Yes, that node allows using SparkSQL functions based on the Glue version you are using (3.3.0 for Glue 4 and 3.1.1 for Glue 3)

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인

관련 콘텐츠