DSPy

Articles

触る前の印象

Signature という切り出し方はかしこい

few-shot example を調整する? それ以外もやる?

few-shot を調整するだけなら効果は疑問だけどまあ納得行くものにはなりそう

全体を調整するなら手ではいじれなくなりそうやねえ

渡した Signature の一部だけ使う、みたいなのも探索される? 色々渡して勝手にやってほしい

少数の評価データに過適応しないか

どのぐらいの実行時間なんだろ? 深い直列なタスク最適化するのどんだけかかるのか?

Using these insights we develop MIPRO, a novel optimizer that outperforms baselines on five of six diverse LM programs using a best-in-class open-source model (Llama3-8B), by as much as 13% accuracy

具体的にどれ... ものによってはそんなじゃない?