2022/12
LLM (Cerebras-GPT) を MLflow Models でラップしてノーコードデプロイした話
Hugging Face から持ってきた OSS 大規模言語モデルを MLflow Models の pyfunc フレーバーでラップして AzureML に登録し、以後ノーコードで入力テキストに対する出力テキストを返却する API をデプロイしてみた。
Readray_on_aml を試してみた話
従来ジョブの形で分散処理を実行できるのみだった ray_on_aml が、AzureML SDK v2 に対応＆インタラクティブな実行に対応したということで、サンプルコードを参考に実際に分散処理を試したみた話
Read