SparkR无法执行

0

【以下的问题经过翻译处理】 我正在尝试从Sagemaker笔记本控制一个Spark集群(使用SparkR)。我遵循了这些说明:https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/并使其正常工作。

今天,当我尝试运行SageMaker笔记本(使用与之前完全相同的代码)时,但遇到以下错误:

遇到错误:
[1] “在调用J方法(sparkSession,\"read\")时出错:无效的jobj 1。如果重新启动SparkR,则需要重新执行Spark操作。”

有人知道这是为什么吗?我终止了SparkR核心,仍然遇到了这个错误。

profile picture
EXPERT
demandé il y a 5 mois50 vues
1 réponse
0

【以下的回答经过翻译处理】 在一个JVM中不能拥有多个SparkContexts。这个问题被解决为“不会修复”。您必须停止生成sparkcontext的spark session(您已经完成了这一步)。

sparkR.session.stop()

https://issues.apache.org/jira/browse/SPARK-2243

profile picture
EXPERT
répondu il y a 5 mois

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions