Wie behebe ich Probleme, die auftreten, wenn ich einen asynchronen Endpunkt von SageMaker AI aufrufe oder erstelle?

Kurzbeschreibung

Um Fehler zu erkennen, die auftreten, wenn du einen asynchronen Endpunkt aufrufst, überprüfe die Amazon CloudWatch Logs des Endpunkts. Überprüfe die CloudWatch-Protokolle unter dem Protokollgruppenname /aws/sagemaker/Endpoints/example-endpoint-name und dem Protokollstreamnamen example-production-variant-name/example-instance-id/data-log. Weitere Informationen findest du im Abschnitt Allgemeine Endpunktmetriken und Asynchrone Inferenz-Endpunktmetriken unter Überwachung mit CloudWatch.

Lösung

Behebe Probleme, die auftreten, wenn du einen asynchronen Endpunkt von SageMaker AI aufrufst oder erstellst, basierend auf den folgenden Fehlern:

„ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received client error (413) from primary and could not load the entire response body"

Tritt dieser Fehler auf, wenn die Nutzdatengröße weniger als 1 GB beträgt, überprüfe die CloudWatch-Protokolle des asynchronen Endpunkts. Teste außerdem das Modell lokal mit verschiedenen Bildgrößen und überprüfe, ob der Fehler bei Nutzdatengrößen von weniger als 1 GB auftritt.

Führe weitere Protokollierungen (Druckanweisungen) durch, um das Modell lokal zu debuggen, und prüfe dann den Teil des Codes, der den Fehler verursacht. Hoste das Modell auf SageMaker AI, wenn das Modell lokal ohne Fehler ausgeführt wird. Weitere Informationen findest du unter amazon-sagemaker-local-mode auf der GitHub-Website.

Beispielcode:

import logging
import syslogger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
logger.addHandler(logging.StreamHandler(sys.stdout))
logger.info("Loading file.")print("Loading file. --> from print statement")

Worker-Timeout

Dieser Fehler tritt auf, wenn im Modell-Container nicht genügend Worker vorhanden sind, um die Ping- und Aufrufanforderungen zu verarbeiten. Erhöhe zur Behebung dieses Fehlers die Anzahl der Worker und den Wert für model_server_timeout.

ApproximateAgeOfOldestRequest erhöht sich so lange, bis die Warteschlange geleert ist

Dieses Problem tritt auf, wenn Warteschlangenanforderungen nicht effizient abgebaut werden. Die asynchronen Endpunkte von SageMaker AI verwenden ein FIFO-Verfahren (First In First Out). Allerdings können die Modellinferenzzeit, Ressourcenkonflikte oder Netzwerklatenzen den FIFO-Ansatz beeinträchtigen.

Erhöhe den Wert des Parameters InvocationTimeoutSeconds, wenn Anfragen eine Zeitüberschreitung aufweisen. Dieser Parameter gibt die Zeitspanne an, in der SageMaker AI auf die Inferenz wartet, bevor ein Fehler zurückgegeben wird. Der Höchstwert, den du festlegen kannst, ist 3600 Sekunden (1 Stunde).

Außerdem empfiehlt es sich, eine Auto Scaling-Richtlinie hinzuzufügen, die approximateBacklogSizePerInstance überwacht. Dadurch kann dein Endpunkt je nach Größe des Backlogs hochskaliert werden und Anfragen können schneller bearbeitet werden.

Dein Backlog ist groß und die Anzahl der Instanzen nimmt nicht zu

Verwende die AWS CLI-Befehle describe-scalable-target, describe-scaling-policies und describe-scaling-activities, um dieses Problem zu beheben. Überprüfe außerdem, ob sich der Endpunkt im InService-Status befindet.

Ähnliche Informationen

Problembehandlung

Wie erhalte ich Protokolle oder Druckanweisungen vom SageMaker PyTorch-Endpunkt?

Konfigurieren von automatisch skalierenden Inferenz-Endpunkten in Amazon SageMaker

Eine Skalierungsrichtlinie definieren

amazon-sagemaker-examples der GitHub-Website