aws-glue-libs:glue_libs_3.0.0_image_01 镜像问题

Question

【以下的问题经过翻译处理】 我在aws-glue-libs:glue\_libs\_3.0.0\_image\_01镜像中遇到问题。
在本地启动正常，但在尝试读取本地存储的csv文件时出现错误：
遇到错误：
路径不存在：file:/home/glue\_user/workspace/employees.csv
Traceback (most recent call last):
File "/home/glue\_user/spark/python/pyspark/sql/readwriter.py", line 737, in csv
return self.\_df(self.\_jreader.csv(self.\_spark.\_sc.\_jvm.PythonUtils.toSeq(path)))
File "/home/glue\_user/spark/python/lib/py4j-0.10.9-src.zip/py4j/java\_gateway.py", line 1305, in **call**
answer, self.gateway\_client, self.target\_id, self.name)
File "/home/glue\_user/spark/python/pyspark/sql/utils.py", line 117, in deco
raise converted from None
pyspark.sql.utils.AnalysisException: 路径不存在：file:/home/glue\_user/workspace/employees.csv

或者当我尝试使用以下命令启动时：

docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE\_SSL="true" -v C:/Docker/jupyter\_workspace\*\*\*\*:/home/glue\_user/workspace\*\* \*\* --name glue\_jupyter amazon/aws-glue-libs:glue\_libs\_3.0.0\_image\_01 /home/glue\_user/jupyter/jupyter\_start.sh

则容器无法启动，出现以下错误：

初始化期间遇到错误的配置：无此目录：''/home/glue\_user/workspace/jupyter\_workspace''

Answer

【以下的回答经过翻译处理】 你好，

假设你的文件**employees.csv**存在于你本地路径**C:/Docker/jupyter_workspace**中，我可以看到你希望使用以下命令将其挂载到docker容器中的位置**/home/glue_user/workspace/jupyter_workspace/**。

```
docker run -it -p 8888:8888 -p 4040:4040 -e DISABLE_SSL="true" -v C:/Docker/jupyter_workspace:/home/glue_user/workspace/jupyter_workspace/ --name glue_jupyter amazon/aws-glue-libs:glue_libs_3.0.0_image_01 /home/glue_user/jupyter/jupyter_start.sh
```

然而，当你尝试使用下面的语句读取文件时：

```
df = spark.read.csv("employees.csv")
```

根据错误消息，Spark似乎在位置**/home/glue_user/workspace/**中查找文件。因此，你可以尝试使用完整路径或以下语句：

```
df = spark.read.csv("jupyter_workspace/employees.csv")
```

aws-glue-libs:glue_libs_3.0.0_image_01 镜像问题

相关内容