MLflow

LLM (Cerebras-GPT) を MLflow Models でラップしてノーコードデプロイした話

Hugging Face から持ってきた OSS 大規模言語モデルを MLflow Models の pyfunc フレーバーでラップして AzureML に登録し、以後ノーコードで入力テキストに対する出力テキストを返却する API をデプロイしてみた。