セッション
SESSION
D-⑥ そのAIの出力、誰がどうやって「良い」と決めるのか。PM主導のAIプロダクトの評価(AI Evals)の話
セッション概要
place
Track D
query_builder
15:00-15:20
価値の検証と学習
D-⑥ そのAIの出力、誰がどうやって「良い」と決めるのか。PM主導のAIプロダクトの評価(AI Evals)の話
LLMの出力は確率的で、同じ入力にも揺らぎのある結果を返します。出力を正しく評価できないことは、プロダクト価値を毀損するリスクになります。
本セッションでは、AIプロダクト・機能を担当するPdMに向けて、
実際の経験をもとに「なぜAIプロダクトでは評価(Evals)が重要なのか」「なぜPdMが評価を主導すべきなのか」を掘り下げます。
あわせて、オフライン評価とオンライン評価の使い分け、LLM-as-a-Judgeによる自動評価、ドメインエキスパートと協働してゴールデンデータセットを作成した事例などを具体例として紹介します。
登壇者

前田 拡
nocall株式会社
デプロイメントストラテジスト
新卒でGunosyに入社し広告運用・広告営業、エン(旧:エン・ジャパン)で転職サイトのPdMを経験した後、前職のPharmaXではPdMとして、自社ヘルスケアプロダクトへのAIエージェント導入・開発と、受託案件でのAIプロダクト開発を主導。
現在nocallにて、デプロイメントストラテジスト兼AIプロダクトのプロダクトオーナーを務める。
東京イベントDAY1に戻る