SparkR无法执行

0

【以下的问题经过翻译处理】 我正在尝试从Sagemaker笔记本控制一个Spark集群(使用SparkR)。我遵循了这些说明:https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/并使其正常工作。

今天,当我尝试运行SageMaker笔记本(使用与之前完全相同的代码)时,但遇到以下错误:

遇到错误:
[1] “在调用J方法(sparkSession,\"read\")时出错:无效的jobj 1。如果重新启动SparkR,则需要重新执行Spark操作。”

有人知道这是为什么吗?我终止了SparkR核心,仍然遇到了这个错误。

profile picture
專家
已提問 5 個月前檢視次數 50 次
1 個回答
0

【以下的回答经过翻译处理】 在一个JVM中不能拥有多个SparkContexts。这个问题被解决为“不会修复”。您必须停止生成sparkcontext的spark session(您已经完成了这一步)。

sparkR.session.stop()

https://issues.apache.org/jira/browse/SPARK-2243

profile picture
專家
已回答 5 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南

相關內容