Sagemaker batch transform

0

Hi, it seems that Sagemaker Batch Transform is limited to 100MB payloads I'd like to run preds against a 5GB csv file, what the recommended way to do so?

  • @Olivier_CR - i'm curious , how are you creating this batch jobs, are you doing it via console, cli or using lambda to do it via code?

AWS
EXPERTE
gefragt vor 6 Jahren912 Aufrufe
1 Antwort
0
Akzeptierte Antwort

SageMaker Batch Transform will automatically split your input file into whatever payload size is specified if you use "SplitType": "Line" and "BatchStrategy": "MultiRecord". There's no need to split files yourself or to use large payload sizes unless you have very large single records.

Hope that helps!

beantwortet vor 6 Jahren

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen