1 réponse
- Le plus récent
- Le plus de votes
- La plupart des commentaires
0
Hello,
For hudi you need to use KryoSerializer. Please use below code to add KryoSerializer using SparkSession :
import sys
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.dynamicframe import DynamicFrame
from pyspark.sql.functions import col, to_timestamp, monotonically_increasing_id, to_date, when
from awsglue.utils import getResolvedOptions
from pyspark.sql.types import *
from datetime import datetime
args = getResolvedOptions(sys.argv, ['JOB_NAME','curated_bucket'])
spark = SparkSession.builder.config('spark.serializer','org.apache.spark.serializer.KryoSerializer').config('spark.sql.hive.convertMetastoreParquet','false').getOrCreate()
sc = spark.sparkContext
glueContext = GlueContext(sc)
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
--Reference:
répondu il y a 2 ans
Contenus pertinents
- demandé il y a un an
- demandé il y a 2 mois
- Réponse acceptéedemandé il y a un an
- AWS OFFICIELA mis à jour il y a 3 ans
- AWS OFFICIELA mis à jour il y a 3 ans
- Comment puis-je résoudre les erreurs de connexion à AWS Marketplace dans mes tâches ETL d’AWS Glue ?AWS OFFICIELA mis à jour il y a 3 mois