Sagemaker batch transform

0

Hi, it seems that Sagemaker Batch Transform is limited to 100MB payloads I'd like to run preds against a 5GB csv file, what the recommended way to do so?

  • @Olivier_CR - i'm curious , how are you creating this batch jobs, are you doing it via console, cli or using lambda to do it via code?

AWS
EXPERTE
gefragt vor 6 Jahren1031 Aufrufe
1 Antwort
1
Akzeptierte Antwort

SageMaker Batch Transform will automatically split your input file into whatever payload size is specified if you use "SplitType": "Line" and "BatchStrategy": "MultiRecord". There's no need to split files yourself or to use large payload sizes unless you have very large single records.

Hope that helps!

beantwortet vor 6 Jahren
profile picture
EXPERTE
überprüft vor 3 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen