SparkR无法执行

0

【以下的问题经过翻译处理】 我正在尝试从Sagemaker笔记本控制一个Spark集群(使用SparkR)。我遵循了这些说明:https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/并使其正常工作。

今天,当我尝试运行SageMaker笔记本(使用与之前完全相同的代码)时,但遇到以下错误:

遇到错误:
[1] “在调用J方法(sparkSession,\"read\")时出错:无效的jobj 1。如果重新启动SparkR,则需要重新执行Spark操作。”

有人知道这是为什么吗?我终止了SparkR核心,仍然遇到了这个错误。

profile picture
EXPERT
asked 5 months ago50 views
1 Answer
0

【以下的回答经过翻译处理】 在一个JVM中不能拥有多个SparkContexts。这个问题被解决为“不会修复”。您必须停止生成sparkcontext的spark session(您已经完成了这一步)。

sparkR.session.stop()

https://issues.apache.org/jira/browse/SPARK-2243

profile picture
EXPERT
answered 5 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions