SageMaker framework processor compatibility with sagemaker pipelines

0

Hi all,

I am asking if it's possible to use framework processor inside a sagemaker pipeline.

I am asking because the to submit the source_dir for the framework processor, we have to do so when calling the .run() method, when wrapping the processor inside a sagemaker.workflow.steps.ProcessingStep, there isn't an available argument to specify the source_dir.

Thank you! Best, Ruoy

질문됨 2년 전951회 조회
1개 답변
0
수락된 답변

You can do this with the latest version of the sagemaker sdk 2.89.0

from sagemaker.workflow.pipeline_context import PipelineSession

session = PipelineSession()

inputs = [
    ProcessingInput(
    source="s3://my-bucket/sourcefile", 
    destination="/opt/ml/processing/inputs/",),
]

processor = FrameworkProcessor(...)

step_args = processor.run(inputs=inputs, source_dir="...")

step_sklearn = ProcessingStep(
    name="MyProcessingStep",
    step_args=step_args,
)
AWS
답변함 2년 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인