amazon sagemaker

Question

sagemaker 와 관련된 질문이 있습니다.

우선, 우리 회사는 azure에 IT 서비스를 구축했습니다.
해당 서비스에는 LLM과 Yolo, prophet, Lstm - autoencoder 등 AI 모델을 사용중입니다.
위의 AI 모델들을 더욱 편리하게 관리하고 싶어 sage maker를 사용하고 싶습니다.

1. Sagemaker를 통해 관리되고 배포되는 모델은 어떤 형태인지? 클라우드에서만 활용 되어야 되는 형태인지? 로컬 PC의 모델을 사용할수없는지?

2. 클라우드에 배포되고 운영된다면 azure와 aws 간 멀티 클라우드 환경이 될 텐데 데이터 보안이나 속도저하는 어떻게 해소할 수 있는 방법이 있을지?

re:Post Agent · Answer

Amazon SageMaker에 대한 질문에 답변 드리겠습니다.

1. SageMaker를 통해 관리되고 배포되는 모델 형태:
SageMaker는 클라우드 기반 서비스이지만, 다양한 형태의 모델을 지원합니다. 주로 AWS 클라우드 환경에서 모델을 훈련하고 배포하도록 설계되었습니다. 그러나 로컬에서 개발한 모델도 SageMaker에 가져와 사용할 수 있습니다. SageMaker는 사용자가 자체 알고리즘과 모델을 가져올 수 있는 유연성을 제공합니다. 또한, SageMaker Edge Manager를 통해 엣지 디바이스에 모델을 배포할 수도 있습니다.

2. 멀티 클라우드 환경에서의 데이터 보안 및 속도 문제:
Azure와 AWS 간의 멀티 클라우드 환경에서 데이터 보안과 속도 저하 문제를 해결하기 위해 다음과 같은 방법을 고려할 수 있습니다:

- 데이터 보안: AWS와 Azure 간의 전용 네트워크 연결(예: AWS Direct Connect와 Azure ExpressRoute)을 사용하여 데이터 전송 시 보안을 강화할 수 있습니다. 또한, 데이터 암호화, 접근 제어, 감사 로깅 등의 보안 기능을 활용하세요.

- 속도 개선: 지리적으로 가까운 데이터 센터를 선택하고, 캐싱 및 CDN(Content Delivery Network) 서비스를 활용하여 지연 시간을 줄일 수 있습니다. 또한, 데이터 전송량을 최소화하기 위해 필요한 데이터만 선별적으로 동기화하는 전략을 고려하세요.

- 하이브리드 접근: 중요한 워크로드나 데이터는 한 클라우드에 집중시키고, SageMaker를 보조적인 도구로 사용하는 방식을 고려해 볼 수 있습니다.

멀티 클라우드 환경에서 SageMaker를 효과적으로 활용하기 위해서는 신중한 아키텍처 설계와 지속적인 최적화가 필요합니다. AWS의 전문가와 상담하여 귀사의 특정 요구사항에 맞는 최적의 솔루션을 찾는 것이 좋습니다.  
**Sources**  
[Community | What is Amazon SageMaker?](https://community.aws/content/2fd3lxEYRtyMUIJWHYHdGESxzXA/what-is-sagemaker)  
[Machine Learning - Amazon SageMaker Features - AWS](https://aws.amazon.com/sagemaker/features/)

Jerry · Answer

안녕하세요,

SageMaker에서는 Jumpstart를 통해 파운데이션 모델을 사용할수도 있고, 커스텀된 개인 모델을 사용할수도 있습니다. SageMaker 특히 사용자 커스텀 모델을 사용할 경우 도커 컨테이너로 패키징하여 업로드를 통해 모델을 쉽게 가져오실 수 있습니다.

**참고 문서**

[[+] Deploy Your Custom Pre-Trained Model Using AWS SageMaker]( https://adnankarol.medium.com/deploy-your-custom-pre-trained-model-using-aws-sagemaker-29e2ec483f47)

멀티 클라우드 환경에서 데이터 보안을 강화하기 위해 적절한 IAM Role을 할당하여 접근을 제어할 수 있습니다. 또한 AWS KMS를 통해 데이터를 암호화하는 방법도 고려해볼 수 있습니다. Amazon SageMaker Profiler나 SageMaker Studio Classic을 통해 세분화된 컴퓨팅 리소스를 모니터링하여 CPU 사용률, GPU 사용률, GPU 메모리 사용률, 네트워크 및 I/O 대기 시간과 같은 기본 리소스 사용률 지표를 확인하고 성능을 더욱 최적화할수 있습니다.

[[+] Security with multi-container endpoints with direct invocation](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-container-security.html)

또한, Amazon SageMaker 및 Azure DevOps(CI/CD 프로세스)를 활용하여 워크 플로를 구축한 아래의 사례를 참고하는 것도 좋을 것 같습니다.

[[+] Amazon SageMaker AI 및 Azure DevOps를 사용하여 MLOps 워크플로 구축 DevOps](https://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/patterns/build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops.html)

[[+] Train and deploy ML models in a multicloud environment using Amazon SageMaker](https://aws.amazon.com/blogs/machine-learning/train-and-deploy-ml-models-in-a-multicloud-environment-using-amazon-sagemaker/)

amazon sagemaker

답변 추가

관련 콘텐츠