Amazon EMR에서 작업 영역 디렉터리를 마운트하거나 "작업 영역을 마운트할 수 없음" 오류를 해결하려면 어떻게 해야 합니까?

해결 방법

작업 영역 디렉터리 마운트

클러스터에 작업 영역 디렉터리를 마운트하려면 Amazon EMR에서 %mount_workspace_dir 매직 명령을 사용합니다. 이 명령을 사용하면 작업 영역 디렉터리를 마운트할 때 작업 영역의 다른 파일에서 코드를 가져와 실행할 수 있습니다.

작업 영역을 마운트할 수 없음 오류 해결

%mount_workspace_dir 매직 명령을 사용하여 작업 영역을 마운트할 때 다음 오류가 발생할 수 있습니다.

"UsageError: Unable to mount the Workspace. stdout= stderr=fuse: unknown option compat_dir"

"UsageError: S3-fuse is not installed"

위 오류를 해결하려면 다음 방법 중 하나를 사용하십시오.

s3fs-fuse 설치

Amazon EMR 릴리스 버전 5.3.x 또는 6.x를 사용하는 경우 다음 단계를 완료하십시오.

1. Spark, Livy 및 Jupyter Enterprise Gateway 애플리케이션을 사용하여 Amazon EMR 클러스터, 작업 영역, Spark 매직을 설정합니다. 자세한 내용은 매직 명령으로 커널 개선을 참조하십시오.
2. SSH를 사용하여 Amazon EMR 클러스터 노드에 연결합니다.
3. s3fs-fuse 설치:

   sudo amazon-linux-extras install epel -y
   sudo yum install s3fs-fuse -y

Amazon EMR 릴리스 버전 7.x를 사용하는 경우 다음 단계를 완료하십시오.

1. s3fs-fuse를 설치하려면 GitHub 웹사이트에서 s3fs-fuse를 참조하십시오. 또는 다음 명령을 실행합니다.

   sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y
   
   git clone https://github.com/s3fs-fuse/s3fs-fuse.git
   cd s3fs-fuse
   ./autogen.sh
   ./configure --prefix=/usr --with-openssl
   make
   sudo make install

2. emr-notebooks-magics 설치:
   참고: Amazon EMR Notebooks 매직을 설치하기 전에 매직 명령으로 커널 개선을 참조하십시오.

   %pip install emr-notebooks-magics --upgrade

3. 노트북에 작업 영역 디렉터리를 마운트합니다.

   %mount_workspace_dir.

   참고: Amazon EMR 릴리스 6.06.9.0 및 5.05.36.0의 경우 emr-notebooks-magics 버전 0.2.0 이상에서만 %mount_workspace_dir 매직 명령을 지원합니다.

4. 작업 영역 디렉터리가 성공적으로 마운트되었는지 확인합니다.

   %%sh
   ls

s3fs 패키지 설치

s3fs 패키지를 설치하려면 다음 명령을 실행합니다.

wget https://rpmfind.net/linux/epel/8/Everything/aarch64/Packages/s/s3fs-fuse-1.93-1.el8.aarch64.rpm -P /home/hadoop/;sudo yum localinstall /home/hadoop/s3fs-fuse-1.93-1.el8.aarch64.rpm -y;rm /home/hadoop/s3fs-fuse-1.93-1.el8.aarch64.rpm  

다음과 같은 출력이 표시됩니다.

--2024-05-12 15:49:13-- https://rpmfind.net/linux/epel/8/Everything/aarch64/Packages/s/s3fs-fuse-1.93-1.el8.aarch64.rpm
Resolving rpmfind.net (rpmfind.net)... 195.220.108.108
Connecting to rpmfind.net (rpmfind.net)|195.220.108.108|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 292036 (285K) [application/x-rpm]
Saving to: "/home/hadoop/s3fs-fuse-1.93-1.el8.aarch64.rpm"

위 명령은 EPEL 저장소에서 s3fs-fuse 패키지 버전을 다운로드하고 다운로드한 버전을 설치한 다음 다운로드한 파일을 정리합니다. 자세한 내용은 RPM 찾기 웹사이트의 RPM 리소스 s3fs-fuse(aarch-64)를 참조하십시오. 또한 Red Hat 웹사이트의 yum을 사용하여 로컬 rpm 파일을 설치하려면 어떻게 해야 합니까?도 참조하십시오.

참고: 위 단계를 완료한 후에도 문제가 계속되면 인스턴스 유형을 x86_64 아키텍처를 기반으로 구축된 인스턴스로 변경하십시오. 또는 s3fs-fuse 패키지의 최신 버전을 설치하십시오.