צפייה במשאבי AI באמצעות מעקב אחרי אפליקציות

במאמר הזה מוסבר איך לראות את נתוני הטלמטריה של משאבי ה-AI שבהם נעשה שימוש באפליקציות, בשירותים ובעומסי העבודה שרשומים ב-App Hub.

כדי ליצור מדדים כמו שיעור השגיאות, זמן האחזור והשימוש באסימונים, התכונה 'מעקב אחר אפליקציות' שולחת שאילתות לנתוני המעקב שלכם כדי למצוא תוויות ואירועים ספציפיים לאפליקציה שתואמים למוסכמות הסמנטיות של OpenTelemetry GenAI. המדדים האלה מאפשרים לכמת את תקינות המשאבים, הביצועים והעלות של משאבי ה-AI. הם זמינים כנתונים מצטברים לאפליקציות או כנתונים מפורטים לשירותים ועומסי עבודה ספציפיים.

במרכז הבקרה הבא מוצג מידע על משאבי AI עבור אפליקציה רשומה:

לוח בקרה שבו מוצג מידע על משאבי AI.

לפני שמתחילים

כדי לבצע את הפעולות שמתוארות במסמך הזה, צריך Google Cloud פרויקט עם משאבי AI פעילים לניתוח. הם גם דורשים לשייך את משאבי ה-AI לאפליקציות, לשירותים ולעומסי עבודה שרשומים ב-מרכז האפליקציות. כדי להפיק תוצאות משמעותיות, צריך נתוני טלמטריה ונתוני מעקב ב-Application Monitoring.

הגדרת תפקידים, ממשקי API והגדרת מעקב אחרי אפליקציות

  1. מבצעים את השלבים שמפורטים במאמר בדיקת אפליקציות, שירותים ועומסי עבודה: לפני שמתחילים.

  2. מפעילים את ממשקי ה-API של Observability,‏ Cloud Trace וטלמטריה, אם הם עדיין לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

  3. כדי לקבל את ההרשאות שדרושות בשביל להציג את פרטי השימוש במשאבי AI, אתם צריכים לבקש מהאדמין לתת לכם את תפקידי ה-IAM הבאים:

    להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

פיתוח ורישום של אפליקציות, שירותים ועומסי עבודה

כדי להציג נתונים של משאבי AI שהאפליקציות, השירותים ועומסי העבודה שלכם משתמשים בהם, נתוני המעקב צריכים להכיל תוויות ואירועים ספציפיים לאפליקציה, בהתאם למוסכמות הסמנטיות של OpenTelemetry GenAI. כדי לקבל את התוויות האלה:

  1. רושמים את האפליקציה, השירותים ועומסי העבודה שלה ב-App Hub.
  2. משתמשים ב-Agent Development Kit (ADK) framework או משתמשים ב-OpenTelemetry באפליקציה ושולחים את נתוני המעקב אל Telemetry API. דוגמאות לאינסטרומנטציה מופיעות במאמרים הוספת אינסטרומנטציה לאפליקציות ADK באמצעות OpenTelemetry וסקירה כללית של דוגמאות לאינסטרומנטציה שמבוססת על כלי איסוף.

צפייה במקורות מידע בנושא AI לאפליקציה

כדי לראות את משאבי ה-AI שמשויכים לאפליקציה:

  1. נכנסים לדף Application monitoring במסוף Google Cloud :

    עוברים אל מעקב אחר אפליקציות

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

  2. בסרגל הכלים של מסוף Google Cloud , בוחרים את פרויקט המארח או את פרויקט הניהול של מרכז האפליקציות.

  3. בוחרים בכרטיסייה אפליקציות ואז בוחרים את האפליקציה מהרשימה.

  4. לוחצים על הכרטיסייה מרכזי בקרה.

  5. בתוכן העניינים של לוח הבקרה, בוחרים באפשרות משאבי AI.

    המערכת יוצרת את הרשומה AI resources כשיש לכם לפחות סוכן AI אחד שמשויך לאפליקציה ופעיל. אם אין לכם סוכנים או שכל הסוכנים לא פעילים, האפשרות הזו לא תופיע.

לוח הבקרה עובר לקטע AI resources (משאבי AI), שבו מוצג מידע כמו:

  • המספר הכולל של שאילתות לשנייה וכמות טוקנים.
  • שיעור השגיאות הממוצע, זמן האחזור ושיעור השגיאות בקריאות הכלים.
  • השימוש בטוקנים.
  • שיעורי השגיאות והחביון של הסוכנים.

צפייה במקורות מידע בנושא AI לשירות או לעומס עבודה

כדי לראות את משאבי ה-AI שמשויכים לשירות או לעומס עבודה:

  1. פותחים את מרכז הבקרה של השירות או של עומס העבודה:

    1. נכנסים לדף Application monitoring במסוף Google Cloud :

      עוברים אל מעקב אחר אפליקציות

      אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

    2. לוחצים על הכרטיסייה שירותים ועומסי עבודה ואז בוחרים את השירות או עומס העבודה.

    מרכז הבקרה של השירות או של עומס העבודה ייפתח. בתוכן העניינים מפורטים הקטעים במרכז הבקרה, שיכולים להשתנות בהתאם לסוג משאב ה-AI.

  2. כדי לעבור לקטע במרכז הבקרה שבו מופיע מידע על משאבי ה-AI, משתמשים בתוכן העניינים של מרכז הבקרה:

    • סוכן: זמין לסוכנים. בקטע הזה מוצג מידע על סשנים, הפעלות של נציגים ושימוש באסימונים.

    • כלים: זמינים לסוכנים. בקטע הזה מוצג מידע על קריאות לכלי, כולל שיעור השגיאות, מספר הקריאות והחביון באחוזון ה-95.

    • מודלים: זמינים לחלק מהסוכנים. בקטע הזה מוצג מידע על מספר הקריאות למודל שבוצעו על ידי הסוכן, שיעור השגיאות והשימוש בטוקנים.

עיון בטלמטריה

שאילתות SQL על נתוני העקבות קובעות את הנתונים שמוצגים בתרשימים של משאבי AI. השאילתות האלה מסננות נתוני מעקב לפי תוויות ספציפיות לאפליקציה ואירועים של AI גנרטיבי שעומדים במוסכמות הסמנטיות של OpenTelemetry GenAI.

כדי לראות את השאילתה של תרשים, בסרגל הכלים של התרשים, בוחרים באפשרות אפשרויות נוספות של התרשים ואז באפשרות ניתוח ב-Observability Analytics.

הכלי Observability Analytics ייפתח ויוצג בו שאילתת ה-SQL שיוצרת את הנתונים לתרשים. אלה האפשרויות שעומדות לרשותכם:

  • בודקים את השאילתה ואז חוזרים אל Application Monitoring.
  • מריצים את השאילתה.
  • משנים את השאילתה ומריצים אותה.
  • יוצרים תרשים שבו מוצגת תוצאת השאילתה.
  • שמירה של תרשים שבו מוצגת תוצאת השאילתה בלוח בקרה בהתאמה אישית.

מידע נוסף זמין במאמרים הבאים: