Come posso risolvere l'errore ModelNotReadyException quando utilizzo modelli importati in Amazon Bedrock?

Breve descrizione

Amazon Bedrock utilizza una policy di espulsione interna per gestire in modo efficiente le risorse. Questa policy rimuove i modelli che Amazon Bedrock non utilizza per un determinato periodo, in genere un'ora. Se provi a utilizzare un modello che non è stato attivo, potresti ricevere l'errore ModelNotReadyException.

Se provi a utilizzare un modello importato in Amazon Bedrock che la policy ha rimosso per ottimizzare l'utilizzo dell'hardware, potresti ricevere un messaggio di errore ModelNotReadyException simile al seguente:

"errorMessage": "Model is not ready for inference. Wait and try your request again."

Nota: non esiste una modalità equivalente alla modalità Provisioned Throughput per i modelli importati.

È consigliabile pianificare le attività per mantenere un carico costante sul modello. Inoltre, puoi raggruppare richieste simili per ridurre al minimo i tempi di inattività tra le invocazioni del modello.

Risoluzione

Verifica di aver importato correttamente il modello

Utilizza la console Amazon Bedrock o l'API AWS per verificare di aver importato il modello

Utilizza la console Amazon Bedrock

Completa i seguenti passaggi:

1. Apri la console Amazon Bedrock.
2. Nel pannello di navigazione, espandi Foundation models (Modelli di fondazione), quindi scegli Imported models (Modelli importati).
3. Scegli la scheda Jobs (Processi).
4. Seleziona il nome del processo, quindi esamina il valore Status (Stato) per accertarti che sia Complete (Completo).

Utilizza l'API AWS

Per verificare di aver importato il modello, chiama l'API GetModelImportJob. Per verificare di aver importato e distribuito correttamente il modello, controlla che lo stato sia Complete nel campo Status dell'output.

Configura la ripetizione

Un processo di ripristino inizia quando invochi il modello per la prima volta dopo l'espulsione. Il tempo necessario per il ripristino dipende dalla disponibilità del parco on demand e dalle dimensioni del modello. Se la richiesta API InvokeModel o InvokeModelWithResponseStream restituisce ModelNotReadyException quando il modello viene ripristinato, per impostazione predefinita la richiesta ritenta automaticamente con un backoff esponenziale.

Per configurare il numero massimo di tentativi, consulta Gestione di ModelNotReadyException.

Implementa una strategia di heartbeat

Attua una strategia di heartbeat per inviare una richiesta di ping al modello a intervalli regolari. La richiesta di ping indica ad Amazon Bedrock che il modello è ancora in uso. È consigliabile eseguire una richiesta di riscaldamento prima delle operazioni critiche per evitare un avvio a freddo dopo che Amazon Bedrock ha espulso il modello.

Per attuare una strategia di heartbeat, completa i seguenti passaggi:

1. Crea una funzione AWS Lambda che richiami l'API InvokeModel sul modello importato.
2. Crea una pianificazione delle regole in Amazon EventBridge per attivarla entro 30-50 minuti dall'ultima invocazione del modello.
3. Distribuisci e verifica la funzione Lambda.
4. Invia i log della funzione Lambda ad Amazon CloudWatch Logs.
5. Analizza le metriche di utilizzo del modello in Amazon CloudWatch per determinare la frequenza di heartbeat ideale.

Contatta il Supporto

Se i problemi persistono, crea un ticket di supporto nel Centro di supporto della Console di gestione AWS.

Informazioni correlate

Calcola il costo di esecuzione di un modello personalizzato