Python

LLM (Cerebras-GPT) を MLflow Models でラップしてノーコードデプロイした話

Hugging Face から持ってきた OSS 大規模言語モデルを MLflow Models の pyfunc フレーバーでラップして AzureML に登録し、以後ノーコードで入力テキストに対する出力テキストを返却する API をデプロイしてみた。

従来ジョブの形で分散処理を実行できるのみだった ray_on_aml が、AzureML SDK v2 に対応＆インタラクティブな実行に対応したということで、サンプルコードを参考に実際に分散処理を試したみた話

AzureML CLI v2 の Job の inputs にあった mlflow_model というオプションの簡単な動作検証

Azure Communication Service Email を使用して、Python SDK を使用してプログラマブルな形でメール通知を遅れるか検証してみた話