Using Pytorch 2.0.1 on INF2 instance in Sagemaker

0

hello, i'm using pytorch-inference:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker image to run the service i'd like to switch to INF2 instance. I think i can try to use pytorch-inference-neuronx:1.13.1-neuronx-py310-sdk2.14.1-ubuntu20.04 image and follow this guide https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/setup/neuron-setup/pytorch/neuronx/ubuntu/torch-neuronx-ubuntu20-pytorch-dlami.html#setup-torch-neuronx-ubuntu20-dlami-pytorch the question is:

  1. will pytorch 2.0.1 be supported using AWS neuron? (worry about compilation errors going forward)
  2. If not how i could make it work/is it currently possible?

Thank you for your help! :)

Ana
gefragt vor 7 Monaten256 Aufrufe
1 Antwort
1
AWS
beantwortet vor 7 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen