機械学習の基礎を抑えつつ、AzureでML (Pytorch, ONNX Runtime)環境を構築するTips
主に以下3つ
AzureML: https://learn.microsoft.com/en-us/azure/machine-learning/concept-compute-instance
コンテナ: https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/enabling-deep-learning-with-azure-container-for-pytorch-in-azure/ba-p/3650489
DSVM : https://learn.microsoft.com/en-us/azure/machine-learning/data-science-virtual-machine/overview
https://scrapbox.io/files/642e209468c6e8001b0da2aa.png
軽めの処理はコンテナでDSVM or AzureMLを選択
MLの流れをおさらい。
目標: ユーザの入力に対して学習モデルを元に適切に返事を返す
code:flow.md
1. User: Good Morning!
2. AI: Good morning, sir! How can I help you?
上記を達成する為には、
ユーザの入力情報を単語に分解する (e.g., LangChain)
入力情報を学習モデルデータベース上で検索する (e.g., Pinecone)
検索結果で一番良いものを返す
今流行りのLangChainは上記の流れをPythonコードでコードでうまくラッピングしてくれる。
Pinecone ( https://www.pinecone.io/ ) はクラウド上のベクトルデータベース
つまり結果だけを気にするのであればコンテナだけで十分に思える。
気になる専門用語達、
CUDA 【Compute Unified Device Architecture】- コンピュータのグラフィックスプロセッサ（GPU）を利用して汎用の並列計算を行うためのソフトウェア開発・実行環境の一つ。米NVIDIA社が自社製GPU向けに開発・提供している。
PyTorch - Facebookが開発を主導したPython向けの機械学習ライブラリ
TensorFlow - Googleが開発を主導したPython向けの機械学習ライブラリ
どっちが流行ってる？ -> 2023.3.31時点でPyTorchが9割 - https://paperswithcode.com/trends
https://zero-cheese.com/6346/
#ML #LangChain #ChatGPT #Azure #CUDA #PyTorch