Slides from "Google AI Stack Deep Dive @ Ubie" (June 29, 2026).This talk introduces how to apply User Simulation — a built-in feature of Google's Agent Development Kit (ADK) — to multi-turn evaluation of healthcare AI agents.Healthcare conversations include many patterns that single-turn evaluation cannot capture, where users disclose information that could pose medical risk later in the dialogue. While this creates strong demand for multi-turn evaluation, managing scenarios and datasets at this scale tends to become unwieldy. ADK User Simulation lets you declaratively define behaviors, personas, and scenarios; the framework then handles everything from user-side utterance generation to LLM-as-a-Judge scoring automatically.For the experiment, we prepared 100 scenarios from 3 behavior patterns × 100 personas, and evaluated two agent variants differing only in their instructions (safety-oriented vs. overconfident), using Gemini 2.5 Flash for the agent, user utterance generation, and judge. The safe agent passed 100/100 while the overconfident one passed only 38/100, confirming that the framework can reliably distinguish quality differences between agents. Per-rubric pass/fail outcomes and judge rationales were clearly available, making it straightforward to translate failures into concrete instruction improvements.2026 年 6 月 29 日 「現場のための Google AI Stack Deep Dive @ Ubie」 での登壇資料です。Google の Agent Development Kit (ADK) に built-in されている User Simulation 機能を、 ヘルスケア領域の AI エージェントの multi-turn 評価に適用する方法を紹介します。ヘルスケア領域は single-turn の評価では捉えきれないパターンが多く、医学的リスクとなりうる情報を後出しすることがあります。そのため multi-turn の評価のニーズが大きい一方で、multi-turn の評価はシナリオやデータセットの管理が煩雑になります。ADK User Simulation を使えば、 振る舞い・ペルソナ・シナリオを宣言的に定義するだけで、 ユーザ側の発話生成と LLM-as-a-Judge による採点までフレームワークが自動で行ってくれます。検証内容としては、振る舞い 3 パターン × ペルソナ 100 パターンから 100 シナリオを用意し、 instruction のみを変更した 2 種類の agent (安全寄り / 自信過剰気味) に対して、agent・ユーザ発話生成・judge のすべてに Gemini 2.5 Flash を利用して評価。 結果、 安全寄り agent は 100/100 PASS、 自信過剰気味は 38/100 PASS となり、 framework が agent 間の品質の違いを安定して捉えられることを確認しました。各 rubric 単位での合否と判定理由が明確に得られ、 failure を instruction の改善アクションに繋げやすい、という結果になりました。

Trying Multi-turn Evaluation with ADK User Simulation (ADK User Simulation を利用して ヘルスケアエージェントの multi-turn 評価をしてみる)

At Google Cloud Next '26, the new 'adk optimize' command was announced as part of the Agent Development Kit (ADK) to enable automatic prompt optimization. This presentation covers an overview of the command along with a real-world case study of how we used it to improve our prompts.Google Cloud Next '26 にて、Agent Development Kit (ADK) の新機能として、プロンプトの自動改善を行う  adk optimize コマンドが発表されました。このプレゼンテーションではコマンドの解説と、それを利用して実際にプロンプトを改善した事例をご紹介します。

adk optimize を試す - 2026/05/29 jagu'e'r LT

!この記事は Ubie Tech Advent Calendar 2025 の 18 日目の記事です。こんにちは。Ubie でソフトウェアエンジニアをしております、爲岡 (@zettaittenani) と申します。Ubie には 2025 年の 2 月に入社し、1 年弱働いています。主に、医学ドメインに関するデータにまつわるエンジニアリングを担当しており、現在は LLM に関連する機能開発を行っています。 概要Ubie では、信頼性のある医学情報や医学関連記事を取得・利用することで、 LLM の情報を増強する RAG システムを運用しています。開発にあたっては様々な課題...

Ragas の custom metrics を使ってみる

はじめにこんにちは。2022年も終わりに近づいてきましたが、いかがお過ごしでしょうか。グロービスのデータサイエンスチーム、データエンジニアリングユニットのユニットリーダーをしております､爲岡と申します。本記事では、グロービスのデータ基盤における､ GitHub Ac...

GitHub Actions を利用した､データ基盤における CI/CD について

はじめにこんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。機械学...

Python コードの高速化のアプローチ

対象読者EKS や GKE など、コンテナを利用するマネージドサービスを使って、サービスの開発または運用をされている方private レジストリではなく、Docker Hub から直接 pull して運用している image に心当たりのある方要約202...

Docker Hub の pull 回数制限について

こんにちは!食べログでデータエンジニアをしております爲岡です。今年度付でデータサイエンスチームに異動しまして、データ基盤や機械学習基盤の構築、運用を担当させていただいています。本記事では、食べログで利用している機械学習基盤についてのご紹介と、利用しているソフトウェアの...

zettaittenani

Trying Multi-turn Evaluation with ADK User Simulation (ADK User Simulation を利用してヘルスケアエージェントの multi-turn 評価をしてみる)

adk optimize を試す - 2026/05/29 jagu'e'r LT

Ragas の custom metrics を使ってみる

GitHub Actions を利用した､データ基盤における CI/CD について

Python コードの高速化のアプローチ

Docker Hub の pull 回数制限について

食べログの機械学習基盤について

Trying Multi-turn Evaluation with ADK User Simulation (ADK User Simulation を利用して ヘルスケアエージェントの multi-turn 評価をしてみる)

adk optimize を試す - 2026/05/29 jagu'e'r LT

Ragas の custom metrics を使ってみる

GitHub Actions を利用した､データ基盤における CI/CD について

Python コードの高速化のアプローチ

Docker Hub の pull 回数制限について

食べログの機械学習基盤について

Trying Multi-turn Evaluation with ADK User Simulation (ADK User Simulation を利用してヘルスケアエージェントの multi-turn 評価をしてみる)