使用应用监控查看 AI 资源

本文档介绍了如何查看 App Hub 注册的应用、服务和工作负载所使用的 AI 资源的遥测数据。

为了生成错误率、延迟时间和令牌使用情况等指标，应用监控会查询您的跟踪记录数据，以查找遵循 OpenTelemetry GenAI 语义惯例的应用专用标签和事件。这些指标可量化 AI 资源的健康状况、性能和费用，并以应用汇总数据的形式或单个服务和工作负载的精细数据的形式提供。

以下信息中心显示了已注册应用的 AI 资源信息：

显示 AI 资源信息的信息中心。

准备工作

本文档中的程序需要使用具有有效 AI 资源的 Google Cloud 项目进行分析。它们还要求您的 AI 资源与已向 App Hub 注册的应用、服务和工作负载相关联。应用监控需要遥测和跟踪记录数据才能生成有意义的结果。

配置角色、API 并设置应用监控

  1. 完成调查应用、服务和工作负载：准备工作中定义的步骤。

  2. 启用 Observability、Cloud Trace 和 Telemetry API（如果尚未启用）。

    启用 API 所需的角色

    如需启用 API，您需要拥有 serviceusage.services.enable 权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获取此权限。 了解如何授予角色。

    启用 API

  3. 如需获得查看 AI 资源使用情况信息所需的权限，请让您的管理员为您授予以下 IAM 角色：

    如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

开发和注册应用、服务和工作负载

如需显示应用、服务和工作负载使用的 AI 资源的数据，您的跟踪记录数据必须包含应用特有的标签和遵循 OpenTelemetry GenAI 语义惯例的事件。您可以按照以下步骤获取这些标签：

  1. 向 App Hub 注册应用及其服务和工作负载。
  2. 使用智能体开发套件 (ADK) 框架，或使用 OpenTelemetry 对应用进行插桩，并将跟踪记录数据发送到 Telemetry API。如需查看插桩示例，请参阅使用 OpenTelemetry 对 ADK 应用进行插桩和基于收集器的插桩示例概览。

查看应用的 AI 资源

如需查看与应用关联的 AI 资源，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往应用监控页面：

    前往应用监控

    如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

  2. 在 Google Cloud 控制台的工具栏中，选择您的 App Hub 宿主项目或管理项目。

  3. 选择应用标签页，然后从列表中选择相应应用。

  4. 选择信息中心标签页。

  5. 在信息中心的目录中，选择 AI 资源。

    当您的应用关联了至少一个处于活跃状态的 AI 智能体时，系统会创建 AI 资源条目。如果您没有任何代理，或者所有代理均处于非活跃状态，则不会显示此选项。

信息中心会前往 AI 资源部分，其中会显示以下信息：

  • 每秒查询次数和 token 数量。
  • 平均错误率、延迟时间和工具调用错误率。
  • token 用量。
  • 代理的错误率和延迟时间。

查看服务或工作负载的 AI 资源

如需查看与服务或工作负载关联的 AI 资源，请执行以下操作：

  1. 打开服务或工作负载的信息中心：

    1. 在 Google Cloud 控制台中，前往应用监控页面：

      前往应用监控

      如果您使用搜索栏查找此页面，请选择子标题为监控的结果。

    2. 选择服务和工作负载标签页，然后选择相应服务或工作负载。

    系统会打开相应服务或工作负载的信息中心。目录列出了信息中心内的各个部分，这些部分可能取决于 AI 资源的类型。

  2. 如需前往信息中心内包含 AI 资源相关信息的部分，请使用信息中心的目录：

    • 代理：适用于代理。此部分会显示有关会话、代理调用和令牌使用情况的信息。

    • 工具：可供智能体使用。此部分会显示有关工具调用的信息，包括错误率、调用次数和 P95 延迟时间。

    • 模型：适用于部分代理。此部分会显示有关智能体发出的模型调用次数、错误率和 token 使用情况的信息。

探索遥测数据

针对轨迹数据的 SQL 查询会确定 AI 资源图表上显示的数据。这些查询会按特定于应用的标签和遵循 OpenTelemetry 生成式 AI 语义惯例的生成式 AI 事件过滤轨迹数据。

如需查看图表的查询，请在图表的工具栏中选择 更多图表选项，然后选择在 Observability Analytics 中探索。

系统会打开 Observability Analytics，并显示用于生成图表数据的 SQL 查询。您可以采取以下做法：

  • 检查查询，然后返回到应用监控。
  • 运行查询。
  • 修改查询，然后运行修改后的查询。
  • 创建显示查询结果的图表。
  • 将显示查询结果的图表保存到自定义信息中心。

如需了解详情，请参阅以下文档：