Unable to run haystack model with sagemaker

0

Hi, I need to deploy Haystack model for question answering system. I followed below tutorial, but it is failing while making the session with sagemaker. I am getting below error

https://github.com/deepset-ai/haystack-sagemaker

provide custom invocation layer for jumpstart-dft-hf-llm-falcon-40b-instruct-bf16 by subclassing PromptModelInvocationLayer

Please help if someone has any idea about this.

Keine Antworten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen