#memo #python #LLMこういうのを見つけた[/villagepump/Scrapbox ChatGPT Connector][/nishio/自分のScrapboxをChatGPTにつないだ]面白そうだからやってみる

#memo #python #pytorchPyGでは，[* sparseな表現]と[* denseな表現]の二つを行き来することが重要一般に，グラフのノード数[$ V]・エッジ数 [$ E]は各サンプルごとに異なるミニバッチでは可変の[$ V, E]をpaddingして扱うのではなく，下記の通り，単にガッチャンコした形式で扱う ([* sparseな表現])[$ A = \text{diag}(A_1, \ldots, A_n), \quad X = \begin{pmatrix} X_1 \\ \vdots \\ X_n \end{pmatrix}, \quad Y = \begin{pmatrix} Y_1 \\ \vdots \\ Y_n \end{pmatrix}]

#python #poetry[Mamba: Linear-Time Sequence Modeling with Selective State Spaces https://arxiv.org/abs/2312.00752]https://github.com/state-spaces/mambahttps://github.com/Dao-AILab/causal-conv1d`mamba-ssm`や`causal-conv1d`がPEP517に準拠していないので`poetry add <package-name>`だとインスコできない

#memo #一般人によるマルチタスクhack[*# タスク整理をしなさい！(自戒)]常に作業する前はタスクを整理してから取り掛かるように心がけているはずが．．．ここ最近タスク整理をしないどころか，タスク整理という行為そのものを忘れかけている自発的に改善するというより，仕組みで解決したほうが良いだろうということで．

#python`pyproject.toml`で変な制約を付けていると，`poetry update`で依存関係の解決が終わらないことがある．とりあえず `poetry update -vvv`でverbose mode (mode 3)で出力しましょう．大抵は無限にバージョンを遡って行っているパターンが多い．目で追っていくと，やたらとバージョンを探索しているライブラリだったり，頻出するライブラリがあるはず．

#memo #python #numpy #cuda #pytorchPythonのように外部ライブラリに大きく依存するプログラミングスタイルは一般的に「グルー言語（glue language）」と呼ばれる．グルー言語は異なるシステムやライブラリを「接着」することで、それらの機能を統合しやすくします．Pythonはこのグルー言語の典型例で，その柔軟性と拡張性により，さまざまな外部ライブラリやモジュール（例えば、[C++]で書かれた[PyTorch]や[NumPy]など）と連携して動作する．これにより，Pythonはその自然な構文と使いやすさを維持しながら，これらの高性能ライブラリの計算能力を活用することが可能となる．

#memo #k8s #python #PyTorchk8sを使って学習を回していると，pod上の標準出力を見たいときが往々にしてある基本`kubectl logs`でログを見ることが多いが，これだとなぜかtqdmがうまく表示できない．なので，プログレスを確認したい場合は`kubectl attach`を使おう．こっちだと何故か表示してくれる

#memo #python #pytorch> undefined symbol: cublasLtHSHMatmulAlgoInit, version libcublasLt.so.11というエラーが出ることがあるこれは自環境に既にCUDA toolkitが入ってるのに，`nvidia_cublas_cu11`, `nvidia_cuda_nvrtc_cu11`, `nvidia_cuda_runtime_cu11` `nvidia_cudnn_cu11`がtorchによってインストールされるため

#memo #pythonPython製のGit hookラッパーgit push時に走る処理を手軽に記述できるe.g., mypy, lint, format ... etc`pre-commit run --all-files`で仮チェックできる

#memo #pythonなぜか急にpyenvがうんともすんとも言わなくなる現象結論から言うと`$PYENV_VERSION`が勝手に設定されているおそらくVSCodeが何かやらかしてる`echo $PYENV_VERSION`で確認してみると良い

#memo #python[*# プロファイラ]以下のコードでプロファイルモードで`xxxx.py`を実行`python -m cProfile xxxx.py``ncalls tottime percall cumtime percall filename:lineno(function)`

#python #PyTorchより[詳しい記事 https://yuiga.dev/blog/posts/pytorchcuda_error_device-side_assert_triggered_%E8%A7%A3%E6%B1%BA%E3%81%AE%E6%89%8B%E5%BC%95%E3%81%8D/]を書いたのでコチラをどうぞhttps://yuiga.dev/blog/posts/pytorchcuda_error_device-side_assert_triggered_解決の手引き/

#python[#* はじめに]rayとは→https://github.com/ray-project/ray分散並列処理を簡単に書けるフレームワーク[#* ray.remoteは怖い]

#python #todohttps://zenn.dev/kwashizzz/articles/ml-hydra-param

#python #misc[pipreqs https://github.com/bndr/pipreqs]という非常に便利なライブラリが存在する`pipreqs .` だけで`import`されているライブラリだけを出力してくれるマジで便利例

#misc #SEO[Scrapbox https://scrapbox.io/yuwd]と[個人ブログ(Hugo) https://yuiga.dev/blog]を同期させるようにした.[scrapboxとクローラ]でも言及したが, 空のリンクに検索がヒットするのはよくないと思い, 同期を始めた.scrapbox自体は書き心地やUXが最高で手放したくないため, 一部ページを同期させ, 正しく検索結果が載るか試してみる.

#pythonpdbを使おうとすると, ブレークポイントが必要かどうかに拘らず`c`を入力する必要がある→ストレス😠`-m pdb`だけでなく`-c c`をつけると自動でpdbモードに入ってくれる→ストレスフリー✨

#python[*# Fork]親プロセスをそのままコピーするので, メモリを圧迫する[*# Spawn]親プロセスから必要なメモリだけコピーして, 立ち上げるので省メモリ

#python[k近傍法] とか[最近傍探索]とか[クラスタリング]とかできるらしいCPU / GPU 両方とも用意してあるが,`err == CUBLAS_STATUS_SUCCESS faiss` という謎エラーのためプロジェクトではCPU版を使うことにhttps://github.com/facebookresearch/faiss