SageMaker framework processor compatibility with sagemaker pipelines

0

Hi all,

I am asking if it's possible to use framework processor inside a sagemaker pipeline.

I am asking because the to submit the source_dir for the framework processor, we have to do so when calling the .run() method, when wrapping the processor inside a sagemaker.workflow.steps.ProcessingStep, there isn't an available argument to specify the source_dir.

Thank you! Best, Ruoy

gefragt vor 2 Jahren951 Aufrufe
1 Antwort
0
Akzeptierte Antwort

You can do this with the latest version of the sagemaker sdk 2.89.0

from sagemaker.workflow.pipeline_context import PipelineSession

session = PipelineSession()

inputs = [
    ProcessingInput(
    source="s3://my-bucket/sourcefile", 
    destination="/opt/ml/processing/inputs/",),
]

processor = FrameworkProcessor(...)

step_args = processor.run(inputs=inputs, source_dir="...")

step_sklearn = ProcessingStep(
    name="MyProcessingStep",
    step_args=step_args,
)
AWS
beantwortet vor 2 Jahren

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen