EMR主节点无法在端口8020上为HUE HADOOP和Core节点进行RPC通信

0

【以下的问题经过翻译处理】 尝试将HUE作为EMR服务器上托管的Web界面,用于发出HIVE QL查询。文件连接能够正常工作,可以轻松探索S3文件(这可能不需要托管的Core节点)。但任何尝试使用HIVE QL创建表格的操作(这可能需要托管的Core节点以获得效率)都会导致远程过程调用错误:“java.net.NoRouteToHostException No Route to Host from ip-xxx-xx-xx-xxx.us-west-1.compute.internal/172.31.29.217 to ip-yyy-yy-yy-yyy.us-west-1.compute.internal:8020 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host”。但根据EMR服务端口列表(https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-service-ports.html),8020由namenode用于rpc通信,并且会自动启动,用户不应设置用于访问的端口,这会违反安全规定,我该怎么做才能解决这个错误?

profile picture
EXPERTE
gefragt vor 6 Monaten53 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 首先需要确定这些IP/FQDN属于同一个EMR集群,并且它们之间有路由。

ip-xxx-xx-xx-xxx.us-west-1.compute.internal/172.31.29.217 ip-yyy-yy-yy-yyy.us-west-1.compute.internal:8020

由于这是在“CREATE table”语句中发生的,因此怀疑可能在指向不同集群的HDFS的HIVE数据库上创建了一个HIVE表。你是否在这个集群和之前终止的EMR集群中使用了共同的HIVE元数据存储?可以通过使用DESCRIBE DATABASE EXTENDED your_database_name查看数据库/数据表的“LOCATION”信息或转到元数据库并检查相关模式来验证这一点。

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen