在从Glue数据库导入S3数据到QuickSight时,出现“HIVE_PARTITION_SCHEMA_MISMATCH”错误。

0

【以下的问题经过翻译处理】 在从Glue数据库导入S3数据到QuickSight时,出现“HIVE_PARTITION_SCHEMA_MISMATCH”错误。错误内容如下: HIVE_PARTITION_SCHEMA_MISMATCH: There is a mismatch between the table and partition schemas. The types are incompatible and cannot be coerced. The column 'attributes' in table 'clickstream-ctr-database.care_events_dev1' is declared as type 'structaid:string,kvstriggerlambdaresult:string,sak:string,savecallrecording:string,sst:string,startstreamingaudiostatus:string,transcribecall:string,getlang:string,getaeroplanno:string,getemergency:string,getholiday:string,getlanguage:string,getlanguageselected:string,getpin:string,getpriority:string,language:string,userlanguage:string', but partition 'partition_0=ctr/partition_1=2022/partition_2=04/partition_3=04/partition_4=12' declared column 'attributes' as type 'structgetaeroplanno:string,getemergency:string,getholiday:string,getlanguage:string,getlanguageselected:string,getpin:string,getpriority:string'.

profile picture
EXPERTE
gefragt vor 5 Monaten27 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 日志所提到的问题是,虽然网页爬虫在表中发现了一个包含某个嵌套值数量的架构,该值位于 struct 字段中,但至少一个分区在相同的 struct 内具有不同的值集合。

为了避免这种情况,你可以尝试删除表并重新运行网页爬虫,修改它以防止模式变化,如此处所述,具体来说,你可以尝试配置它以“更新所有新的和现有分区中的元数据” 。

此外,QuickSight不支持 struct 数据类型,因此您需要在控制台或通过API将数据类型修改为字符串。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen