Jupyter labでOpen-Calmを試してみる
参考にさせていただいたサイト
やってみたこと
jupyter labでopen-calm-3bを動かして、挙動を確認してみた
手順
1.パッケージのインストール
code:python
!pip install transformers accelerate
問題なくできた
2.トークナイザーとモデルの準備
code:python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"cyberagent/open-calm-3b",
device_map="auto",
torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(
"cyberagent/open-calm-3b"
)
ここで自分はエラーが発生
code:error
widget javascript not detected. it may not be installed or enabled properly. reconnecting the current kernel may help.
・
・
・
'FloatProgress' object has no attribute 'style'
code:改善方法
pip3 install --upgrade ipywidgets
jupyter nbextension enable --py widgetsnbextension
エラー解消できたが、違うエラーが発生…
code:error
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 804: forward compatibility was attempted on non supported HW (Triggered internally at ../c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
nvidiaドライバのバージョンとcudaのバージョンが合っていない時に発生するらしい
nvidiaドライバのバージョンは470.141.03。これに対応したCUDAのバージョンは11.4なので
を参考にCUDA11.4をインストール
code:cudaインストール
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo dpkg -i cuda-repo-ubuntu2004-11-4-local_11.4.0-470.42.01-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu2004-11-4-local/7fa2af80.pub
sudo apt-get update
sudo apt-get -y install cuda
最後のsudo apt-get -y install cudaでまたエラーが発生…
code:error
以下のパッケージには満たせない依存関係があります
nvidiaドライバをインストールしなおす必要があるそう…
3.挙動の確認
code:python