こんにちは。2025年9月にSmartHRへ入社したプロダクトエンジニアのicchanです。 現在はAIインテグレーションユニットで、生成AIを活用した社内問い合わせ対応の効率化に取り組んでいます。 本記事では、社内問い合わせBotの改善プロセスで実践した「2段階DSPy」というアプローチについて解説します。 TL;DR 本記事の要点は次の通りです。 オンライン指標(Good/Bad/Copy)は「正解」に近いが、フィードバックが遅くノイズが多いため、開発のループを回しにくい そこで、オンライン指標を教師データにして、DSPyで「オフライン評価器(Judgeプロンプト)」を学習させ、"高速に実験を回せる物差し"を作った さらに、その物差しを評価関数に組み込み、生成プロンプト自体をDSPy(GEPA)で最適化することで、ユーザーの実感に即した改善を自動化した flowchart LR sub

