Devin感想（2025年1月8日まで）
-.icon
一般的なLLMモデルと同様の感想
日本語でやってみたが普通に通過していて良い
DevinのUX
Slackでもやり取りできる前提なので、アプリを閉じても勝手に動いておいてくれるのは嬉しい
ChatGPTはアプリを閉じるとfailしてることが多い気がする
SlackでもGitHubでもDevinでもユーザーインタフェースはどこでもよくてシームレスに連携できているのはそれなりに体験が良い
使い慣れてるインタフェースで作用したいタイミングですぐにアクションできるのがとても良い
https://gyazo.com/148efab63a2c2faff81af2ad33b57b14
メリットデメリット
かなり実行に時間がかかる
実行中でも追加で指示を出せることを今日知った。1プロンプトあたり20〜30分ぐらい待ったので、追加で修正かけられるならもう少し気持ち早くなる気がするakix.icon2025/1/9
皿洗いにおける食洗機のようなもので、実行中に別のことが出来るのが魅力的
実家でお節料理を食べながらプログラミングし、電車で帰宅中のスマホからもプログラミングできた
出力するPull Requestの品質は低い
例えば、一つのお題のPull requestに対して、複数の余計な変更差分が混ざって出力される
ここは使用者のプロンプトエンジニアリング能力に問題があるかも
フルスクラッチでVercelで完結する簡易なWebアプリを作ろうとしたが、バックエンドサーバーがPython+FastAPIのサーバーを作ったり、なかなか制御が難しかった
ある程度レールが敷かれている既存のリポジトリに対して変更を加えるのは得意そう
将来
非同期的に処理できるメリットが活かされると嬉しい
例えば、4パターン実装して4つのPull Requestを立てるとか
非同期的に処理できるメリットがあまり活かされてないように感じる
リポジトリごとの設定を良い感じにしておくとか、本当にやっておいて欲しいのはそういうところかもしれないと思った
branch protectionとか
一切のコミットが無かったリポジトリに対して、デフォルトブランチをmainに設定することでさえ手動でやる必要があった
レビューする側の負担がますます凄いことになっていきそうだなと思った
本当にこのコードを本番運用して大丈夫？テストは真にカバーできてる？はそれなりに練度高いエンジニアじゃないと判断しづらそう