Amazon EMR 클러스터를 업그레이드할 때 어떤 계획 단계를 수행할 수 있습니까?

5분 분량

빠르게 변화하는 기술에 뒤쳐지지 않도록 Amazon EMR 업그레이드를 계획해야 합니다.

간략한 설명

빅 데이터의 빠른 변화에 뒤쳐지지 않으려면 Amazon EMR 버전을 업그레이드해야 합니다. 새 버전의 Amazon EMR로 마이그레이션하면 워크로드의 운영 우수성과 효율성이 향상됩니다. 하지만 Amazon EMR을 업그레이드하기 전에 계획을 세우고 준비해야 합니다. 검토해야 하는 정보와 따라야 하는 절차가 있습니다.

Amazon EMR 버전 업그레이드의 이점

Amazon EMR 업그레이드의 이점은 다음과 같습니다.

최신 기능을 활용하여 생산성을 높이고 비용을 절감합니다.
업데이트된 애플리케이션이 더 빠르게 실행됩니다.
최신 버그 수정이 안정적인 인프라를 제공합니다.
최신 보안 패치로 보안을 강화합니다.
오픈 소스 소프트웨어 기능에 대한 최신 액세스를 제공합니다.

예를 들어, Amazon EMR 버전 6.6 이상에서는 Log4j 1.x 및 Log4j 2.x가 각각 Log4j 1.2.17 및 Log4j 2.17.1(또는 그 이상) 으로 업그레이드됩니다. 상위 버전에서는 일반적인 취약성 및 노출(CVE)을 완화하기 위한 부트스트랩 작업이 필요하지 않습니다.

해결 방법

오픈 소스 애플리케이션을 위한 Amazon EMR 성능 최적화 기능

Amazon EMR은 많은 오픈 소스 애플리케이션을 위한 성능 최적화 기능을 제공합니다.

Spark:

적응형 쿼리 실행
동적 파티션 프루닝
스칼라 서브쿼리 평면화
INTERSECT 전의 DISTINCT
블룸 필터 조인
최적화된 조인 리오더
Amazon Simple Storage Service(Amazon S3)를 통한 Spark 성능 향상
Spark 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에서 Spark 버전과 설치된 구성 요소를 확인합니다.

델타 레이크:

Spark와 함께 델타 레이크 클러스터 사용
Trino와 함께 델타 레이크 클러스터 사용
델타 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에서 델타 레이크 버전과 설치된 구성 요소를 확인합니다.

Flink:

Flink는 YARN 애플리케이션으로 지원됩니다.
Flink 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Flink의 버전과 Amazon EMR 릴리스에 설치된 구성 요소를 확인합니다.

Hadoop:

Hadoop 분산 파일 시스템(HDFS)의 투명한 암호화
YARN 컨테이너에 대한 불균일한 메모리 액세스 인식
Hadoop 버전 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에서 Hadoop 버전과 설치된 구성 요소를 확인합니다.

HBase:

Amazon S3에서의 HBase
HBase 읽기 전용 복제본 클러스터
HBase 스냅샷
HBase 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에서 HBase와 해당 구성 요소의 버전을 확인합니다.

HCatalog:

Amazon EMR 릴리스와의 통합
AWS Glue 데이터 카탈로그를 Apache Hive의 메타스토어로 사용
HCatalog 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 HCatalog의 버전과 Amazon EMR 릴리스에 설치된 구성 요소를 확인합니다.

Hive:

ACID 트랜잭션 및 Amazon S3
Hive Live Long and Process(LLAP)
Hive 성능 개선
Hive EMR 파일 시스템(EMRFS) S3 최적화 커미터 시작
Hive와 함께 S3 셀렉트를 사용하여 성능 개선
메타스토어 검사 명령(MSCK) 최적화
Hive 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Hive 버전과 Amazon EMR 릴리스에 설치된 구성 요소를 확인합니다.

Hudi:

Amazon EMR 릴리스와의 통합
Hudi 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에 Hudi 버전과 설치된 구성 요소를 확인합니다.

Iceberg:

Amazon EMR 릴리스와의 통합
Iceberg 릴리스 기록: Amazon EMR을 업그레이드하기로 결정하기 전에 Amazon EMR 릴리스에서 Iceberg의 버전과 설치된 구성 요소를 확인합니다.

Presto 및 Trino:

Amazon EMR 릴리스와의 통합
Presto와 함께 S3 셀렉트 푸시다운을 사용하여 성능 향상
데이터베이스 커넥터 추가
Presto 엄격 모드 활성화
Exchange Manager
Graceful Decommission과 함께 Presto 자동 조정 사용
Presto 릴리스 기록 및 Trino 릴리스 노트: Amazon EMR을 업그레이드하기로 결정하기 전에 Presto 또는 Trino의 버전과 Amazon EMR 릴리스에 설치된 구성 요소를 확인합니다.

Amazon EMR 버전 업그레이드 계획

Amazon EMR 버전 업그레이드를 준비하려면 다음 단계를 따르십시오.

현재 Amazon EMR 버전에서 겪고 있는 문제를 조사합니다.
EMR 클러스터의 성능을 테스트하는 데 사용할 애플리케이션 또는 쿼리의 일부 하위 집합을 분리합니다.
A/B 테스트 전략을 설정하여 솔루션에 가장 적합한 Amazon EMR 버전을 결정합니다. Amazon EMR의 A/B 테스트에서는 서로 다른 두 버전의 서비스를 테스트하여 사용자 환경에서 어떻게 작동하는지 비교합니다.
워크로드를 새 버전의 Amazon EMR로 점진적으로 마이그레이션합니다. Amazon EMR의 프로덕션 버전에서 주요 문제를 발견하면 여기서 마이그레이션 프로세스를 종료할 수 있습니다.
마이그레이션이 완료되면 이전 Amazon EMR 클러스터를 종료합니다.

Amazon EMR 버전 업그레이드와 관련된 문제 해결

Amazon EMR 버전을 업그레이드할 때 발생하는 문제를 해결하려면 다음 단계를 따르십시오.

애플리케이션을 재구성합니다. 변경 사항이 애플리케이션 성능을 개선하는지 여부를 관찰합니다.
새 버전의 애플리케이션에서 문제가 해결되었는지 확인합니다.
애플리케이션 또는 쿼리를 변경하여 문제를 피할 수 있는지 확인합니다.
미해결 결함 및 차선책을 확인하여 애플리케이션을 개선합니다. AWS Premium Support에 문의하여 차선책이 있는지 알아봅니다.
문제가 해결되거나 차선책을 찾을 때까지 Amazon EMR 마이그레이션을 중지합니다.

Amazon EMR 버전 업그레이드에 대한 고려 사항

Amazon EMR 버전을 업그레이드할 때 성능 저하로 인해 문제가 발생할 수 있습니다. 업그레이드로 인해 API가 변경되어 새 인터페이스에서 코드를 실행하는 기능에 영향을 미칠 수 있습니다. Amazon EMR 버전 업그레이드 후 애플리케이션 속도 저하 및 장애가 발생할 수 있습니다.

Amazon EMR 버전을 업그레이드하려는 경우 릴리스 가이드의 새로운 소식은 무엇입니까?를 읽어보는 것이 가장 좋습니다. 새로운 소식은 무엇입니까? 섹션에는 Amazon EMR 릴리스 버전 및 날짜에 대한 정보와 오픈 소스 애플리케이션의 일반적인 문제에 대한 솔루션이 포함되어 있습니다.

오픈 소스 애플리케이션 변경 사항 및 미해결 문제 조사

새 Amazon EMR 버전으로 마이그레이션하기로 결정하기 전에 다음 릴리스 노트와 미해결 결함을 확인합니다. 다음 애플리케이션 목록은 Amazon EMR 버전 6.9를 기반으로 합니다.

참고: 이러한 하이퍼링크는 타사 애플리케이션 웹 사이트, GitHub 또는 Apache 웹 사이트로 이동합니다.

주제

분석

태그

Amazon EMR

언어

한국어

AWS 공식업데이트됨 일 년 전

댓글 없음