セッション

SESSION

ホームkeyboard_arrow_right東京イベントDAY1keyboard_arrow_right

D-⑥ そのAIの出力、誰がどうやって「良い」と決めるのか。PM主導のAIプロダクトの評価(AI Evals)の話

セッション概要

place

Track D

query_builder

15:00-15:20

価値の検証と学習

D-⑥ そのAIの出力、誰がどうやって「良い」と決めるのか。PM主導のAIプロダクトの評価(AI Evals)の話

LLMの出力は確率的で、同じ入力にも揺らぎのある結果を返します。出力を正しく評価できないことは、プロダクト価値を毀損するリスクになります。

本セッションでは、AIプロダクト・機能を担当するPdMに向けて、
実際の経験をもとに「なぜAIプロダクトでは評価(Evals)が重要なのか」「なぜPdMが評価を主導すべきなのか」を掘り下げます。
あわせて、オフライン評価とオンライン評価の使い分け、LLM-as-a-Judgeによる自動評価、ドメインエキスパートと協働してゴールデンデータセットを作成した事例などを具体例として紹介します。

登壇者

前田 拡

nocall株式会社

デプロイメントストラテジスト

新卒でGunosyに入社し広告運用・広告営業、エン(旧:エン・ジャパン)で転職サイトのPdMを経験した後、前職のPharmaXではPdMとして、自社ヘルスケアプロダクトへのAIエージェント導入・開発と、受託案件でのAIプロダクト開発を主導。
現在nocallにて、デプロイメントストラテジスト兼AIプロダクトのプロダクトオーナーを務める。

東京イベントDAY1に戻る

イベントへのお問い合わせ先 pmconf 2026 運営事務局:

pmconf2026@operation-desk.jp