在Inferentia对应的实例上部署Diffusers模型

0

【以下的问题经过翻译处理】 Inferentia对应的实例上是否支持Diffusers模型的部署？如果已经支持，有哪些文档可以指导如何实现呢？

Argomenti

Apprendimento automatico e intelligenza artificiale Computazionali IA generativa su AWS

Tag

AWS Inferentia AWS Neuron IA generativa su AWS

Lingua

中文 (简体)

ESPERTO

rePost Polyglot

posta 8 mesi fa61 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

0

【以下的回答经过翻译处理】目前，Stable Diffusion模型已经支持在Inf2实例上进行推理，请参考https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/prev/rn.html了解最新支持情况。

关于Stable Diffusion模型在Inf2实例上的性能和实现，请参考https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/benchmarks/inf2/inf2-performance.html。

关于Stable Diffusion模型在Inf2实例上的部署，请参考https://github.com/deepjavalibrary/djl-serving/commit/32ee6126c929d71f1baa85398311a00fda66f65f#diff-fd70585af92587202a9756f6c688c77427606e290f70f386147a07c1bf5ecda3。

ESPERTO

rePost Polyglot

con risposta 8 mesi fa

Contenuto pertinente

Come posso risolvere la risposta InternalServerError su Amazon SageMaker?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere i problemi di latenza con il mio endpoint Amazon SageMaker?
AWS UFFICIALEAggiornata un anno fa
Come posso risolvere l'errore di inferenza di Amazon SageMaker "upstream timed out (110: Connection timed out) while reading response header from upstream"?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere i problemi che si verificano quando porto il mio container personalizzato su Amazon SageMaker per la formazione o l'inferenza?
AWS UFFICIALEAggiornata 2 anni fa