dependabotの作ったライブラリ更新プルリクをshokaiが重視している観点でDevinにレビューさせたり、リリースノート読ませてアプリ側のコードも修正させたりする

完成版のプロンプトはこのページの一番下にあります

概要欄はrelease noteとchangelogとcommitのリストだけ

ライブラリ更新に伴うAPI変更の責任を持ってくれない

ただpackage.jsonやGemfile内のバージョン番号を上げるだけ

複数のpull requestを一気に出してきて、1つmergeしたら他がcloseされて、また全然違うのがopenしたりする

どれからやればいいのかわからない

release noteやchangelogから、Cosenseに影響のある重要な変更だけを抜き出して、まとめれる

情報が足りなければgithubまで確認に行ってくれる

ライブラリ更新でAPIが変化したら、アプリケーションコードも更新してもらう

よくわからんマイナーなライブラリでも、役割や依存関係を説明してくれる

ライブラリ同士が依存し合っているので、奥の方にいるやつは私も名前を知らなかったりする

複数のpull requestを一気に出してこられても全部処理できるので、1つmergeして大量close & openされても大丈夫

Dependabot既に建てている6つのpull requestを対象に作業する

mergeする事にdependabotが次のプルリクを建ててくるので、どんどんDevinに処理させた

10プルリクmergeし、19 ACUsかかった

code:最初のprompt

openされているpull requestのうち、dependabotが作成したものだけをレビューしてください。

release noteやchangelogはきちんと読んで下さい。

機能追加やAPIの仕様変更のうち、特に我々のアプリケーションが使っている機能に関係がありそうな変更を抜き出して、pull requestにコメントしてください。

ライブラリのAPIが変化した場合は、アプリケーションのコードを変更するべきです。

dependabotが作ったpull requestに変更をpushしてください。

release noteやchangelogだけで正しい変更方法がわからない場合は、公式ドキュメントに当たって下さい。

また、その変更内容もgithubにコメントして報告してください。

例えば以下のような内容も、githubにコメントして教えて下さい。

- 野心的な新機能が実装された

- プログラム言語や実行環境の新機能を活用した面白い機能が実装された

- ライブラリの開発体制に変化があった

KaTeXがjavascript上でimportされている箇所だけでなく、server side renderingされるHTMLのscriptタグでCDNから読み込んでる箇所を見つけて、そこも同じバージョンに更新してくれた

dependabotのpull requestにpushしろと言ったけど、新規pull requestができてしまった

「scrapboxリポジトリには日本語で書け」というknowledgeを覚えさせてたので、指示しなくても日本語になっちゃった

まあいいや

そのライブラリの概要も知りたい

code:概要と依存関係

何を実現する為に、どういう用途で使われるライブラリなのか、pull requestにコメントしてください。

pull requestのpackage-lock.jsonを読んで確認してください

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

https://scrapbox.io/files/67f2c95c6c8786e0e2405ce9.png

私がライブラリ更新する時に見てるポイント全部出てくるようになった

https://scrapbox.io/files/67f2c9614ce8fcb04d8f67f9.png

実際には@elastic/transportがundiciを使っている

code:diffじゃなくファイル読め

何を実現する為に、どういう用途で使われるライブラリなのか、各pull requestにコメントしてください。

各pull requestのpackage-lock.jsonを読んで確認してください。diffではなくpackage-lock.jsonそのものを読んで正確に分析してください。

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

package-lock.jsonのdiffのちょっと上の行まで含めてコピペして指摘したら認識を改めてくれた

https://scrapbox.io/files/67f2c966f2efbaaa61f00203.png

katexにはcommanderの依存がある事を発見

https://scrapbox.io/files/67f2c9702be075438770af9d.png

最終的にこうなった

code:依存関係はpackage-lock.jsonをgit grepしろ

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

code:利用箇所prompt

pull requestにコメントして教えて下さい。

code:完成版prompt

# 作業依頼

openなpull requestのうち、dependabotやrenovatebotが作成したものだけをレビューしてください。

close済みのpull requestは対象外です。

作業が終わったpull requestには「please review」というラベルを付けて下さい。

行うべき作業は以下の通りです。

何を実現する為に、どういう用途で使われるライブラリなのか、各pull requestにコメントしてください。

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

release noteやchangelogはきちんと読んで下さい。

機能追加やAPIの仕様変更のうち、特に我々のアプリケーションが使っている機能に関係がありそうな変更を抜き出して、pull requestにコメントしてください。

ライブラリのAPIが変化した場合は、アプリケーションのコードを変更するべきです。

dependabotが作ったpull requestに向けた、新しいpull requestを作成してください。

release noteやchangelogだけで正しい変更方法がわからない場合は、commitsや、公式ドキュメントも確認して下さい。

また、その変更内容もgithubにコメントして報告してください。

例えば以下のような内容も、githubにコメントして教えて下さい。

- 野心的な新機能が実装された

- プログラム言語や実行環境の新機能を活用した面白い機能が実装された

- ライブラリの開発体制に変化があった

pull requestにコメントして教えて下さい。

この項目は長大になる可能性が高いので、結果はコメントの末尾に配置してください。

https://scrapbox.io/files/67f2c9929df24207cdb76ac7.png

https://scrapbox.io/files/67f2c9958fdc3c7979b01fd3.png

https://scrapbox.io/files/67f2c99db9161540af3eda21.png

良い感じの型ができたので、さらに応用していく

Devinはどうやっているんだろう

最初のプロンプトを保存して使い回せる

「!dependabot」みたいなマクロを登録して呼び出す

あるいはDevinのAPI経由でも使える

passportの更新

https://scrapbox.io/files/67f2c9cbdb7a0b52286e4367.png

これは自明じゃなさそうなので、再現性を上げるためにプロンプトに含めておくべきだ

全社向けにdevinのplaybookを展開していく事を考えたい

各リポジトリ毎に事情が違いそうな部分は、各自でカスタムしてもらう

実行前にプロンプトを変更する

リポジトリ固有のknowledgeで表現する

scrapboxリポジトリ固有の運用なので、knowledgeで表現するべき

https://scrapbox.io/files/67f2c9d2337108bb538463d6.png https://app.devin.ai/knowledge/cd7541f23d464321b27e72f6fb1b5be9

「dependabotが書いたrelease noteやchangelogでは情報が足りないのでgithubまで見に行け」という指示を追加

さらにgithubリポジトリが見つからない場合の探し方も追加

作業結果の出力先の指示を上の方に集約した

別の場所に書かせるようなカスタマイズが容易になったはず

code:完成版promptの改良版

openなpull requestのうち、dependabotやrenovatebotが作成したものだけをレビューしてください。

close済みのpull requestは対象外です。

# 注意事項

これから依頼する作業の対象は複数のpull requestです。結果は各pull requestのコメント欄にそれぞれ書き込んで下さい。

あなたがgithubに書き込むメッセージは、日本語で書いて下さい。

ただしテクニカルタームは翻訳せずに、元テキストの表記を保って下さい。これはライブラリ名や機能名を日本語に翻訳されてしまうと、私がGoogle検索に正式名称を入力して調べにくくなってしまうからです。

# 作業内容

あなたが行う作業は以下の通りです。

何を実現する為に、どういう用途で使われるライブラリなのか説明してください。

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

release noteやchangelogはきちんと読んで下さい。dependabotが概要欄に書いたテキストだけでは変更を詳細に把握できないので、githubまで見に行ってください。

機能追加やAPIの仕様変更のうち、特に我々のアプリケーションが使っている機能に関係がありそうな変更を抜き出してください。

ライブラリ内のpackage.jsonに、npmjs.comやgithubのURLが書かれています。そこから辿って下さい。

ライブラリのAPIが変化した場合は、対応するアプリケーション側のコードも変更するべきです。

dependabotが作ったpull requestに向けた、新しいpull requestを作成してください。

release noteやchangelogだけで正しい変更方法がわからない場合は、commitsや、公式ドキュメントも確認して下さい。

また、その変更内容もgithubにコメントして報告してください。

例えば

- 我々のアプリケーションにも応用できそうな新機能が実装されたり、概念が発明された

- プログラム言語や実行環境の新機能を活用した面白い機能が実装された

- ライブラリの開発体制に変化があった

この項目は長大になる可能性が高いので、結果はコメントの末尾に配置してください。

なんか変なフォーマットになっちゃったな

https://scrapbox.io/files/67f2c9ddb003c4ef86a597af.png

https://scrapbox.io/files/67f2c9e19df24207cdb76b5c.png

内容としては間違ってはいないけど不自然

やってほしい作業と、レポートしてほしい書式が混ざってしまっている

さらに途中で1度limitが来て止まって、起こさなければならなかった

日本語で書け、は一旦各リポジトリのkowledgeに任せる事にした

code:完成版promptの改良版2

# 作業依頼

openなpull requestのうち、dependabotやrenovatebotが作成したものだけを対象に、1つずつレビューしてください。

close済みのpull requestは対象外です。

作業が終わったpull requestには「please review」というラベルを付けて下さい。

行うべき作業は以下の通りです。

何を実現する為に、どういう用途で使われるライブラリなのか、各pull requestにコメントしてください。

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

release noteやchangelogはきちんと読んで下さい。dependabotが概要欄に書いたテキストだけで変更を詳細に把握できない場合は、githubまで見に行ってください。

機能追加やAPIの仕様変更のうち、特に我々のアプリケーションが使っている機能に関係がありそうな変更を抜き出して、pull requestにコメントしてください。

ライブラリのAPIが変化した場合は、アプリケーションのコードを変更するべきです。

dependabotが作ったpull requestに向けた、新しいpull requestを作成してください。

release noteやchangelogだけで正しい変更方法がわからない場合は、commitsや、公式ドキュメントも確認して下さい。

また、その変更内容もgithubにコメントして報告してください。

例えば以下のような内容も、githubにコメントして教えて下さい。

- 我々のアプリケーションにも応用できそうな新機能が実装されたり、概念が発明された

- プログラム言語や実行環境の新機能を活用した面白い機能が実装された

- ライブラリの開発体制に変化があった

pull requestにコメントして教えて下さい。

この項目は長大になる可能性が高いので、結果はコメントの末尾に配置してください。

順に処理してくれるようになった

これまで複数のリポジトリを一気に理解してから、一気にレビューして、最後に全てにまとめてplease reviewを付けてた

https://scrapbox.io/files/67f2c9efe63f8f886c394725.png

上から順にレビューされていっている様子

https://scrapbox.io/files/67f2c9f98dbb52077b50b20e.png

正しい形式でレビューを書いている

fame-srcを設定するmiddlewareが無くなったので自作してくれた

しかしhelmetのメジャーバージョンは8なんだな。離されすぎてる

expressは最新版なので問題なくやれそう

最終的にDevinがrelease noteを元に作ったpull requestはそのまま採用はできなかったが、たたき台にはなったので助かった

https://scrapbox.io/files/67f2c9fd73b35cc30a3625f0.png

とてもありがたい

概要欄とpackage-lock.jsonのdiffをしっかり見ても、その事実はわからない

package-lock.jsonの、diffが発生していない遠くの行をgrepで探すと、関係性がわかる

code:完成版prompt改良版3

# 作業依頼

openなpull requestのうち、dependabotやrenovatebotが作成したものだけを対象に、1つずつレビューしてください。

close済みのpull requestは対象外です。

作業が終わったpull requestには「please review」というラベルを付けて下さい。さらに、CVE番号が発行されているような重要なセキュリティアップデートのpull requestには、「security」というラベルも付けてください。

行うべき作業は以下の通りです。

何を実現する為に、どういう用途で使われるライブラリなのか、各pull requestにコメントしてください。

- そのライブラリに依存している他のライブラリがあれば列挙する

- そのライブラリが依存している他のライブラリがあれば列挙する

release noteやchangelogはきちんと読んで下さい。dependabotが概要欄に書いたテキストだけで変更を詳細に把握できない場合は、githubまで見に行ってください。

機能追加やAPIの仕様変更のうち、特に我々のアプリケーションが使っている機能に関係がありそうな変更を抜き出して、pull requestにコメントしてください。

ライブラリのAPIが変化した場合は、アプリケーションのコードを変更するべきです。

dependabotが作ったpull requestに向けた、新しいpull requestを作成してください。

release noteやchangelogだけで正しい変更方法がわからない場合は、commitsや、公式ドキュメントも確認して下さい。

また、その変更内容もgithubにコメントして報告してください。

例えば以下のような内容も、githubにコメントして教えて下さい。

- 我々のアプリケーションにも応用できそうな新機能が実装されたり、概念が発明された

- プログラム言語や実行環境の新機能を活用した面白い機能が実装された

- ライブラリの開発体制に変化があった

pull requestにコメントして教えて下さい。

この項目は長大になる可能性が高いので、結果はコメントの末尾に配置してください。