Agent Observability چیست؟ پایش رفتار AI Agent در محیط واقعی

Agent Observability چیست؟

Agent Observability توان دیدن و توضیح اجرای Agent از درخواست تا نتیجه است. این دید شامل رابطه گام‌ها، مدل‌ها، ابزارها و خطاهاست.

هدف فقط جمع‌آوری Log نیست؛ باید بتوان یک نتیجه ضعیف، پرهزینه یا ناامن را تا گام ایجادکننده آن دنبال کرد.

AI Agent چیست؟ (مطالعه بیشتر)

چرا Log معمولی کافی نیست؟

Logهای جداگانه ترتیب و رابطه علّی عملیات را خوب نشان نمی‌دهند. Agent ممکن است چند بار مدل را فراخوانی کند، ابزار اشتباه انتخاب کند یا وارد Retry شود.

Trace این رخدادها را زیر یک اجرای مشترک کنار هم قرار می‌دهد.

Trace در Agent

Trace نمای یک Task کامل است و Span هر عملیات مهم در آن را نشان می‌دهد. Parent/Child relation مشخص می‌کند کدام Model Invocation به کدام Tool Call یا Connector Invocation منتهی شده است.

• Agent Trace و Span
• Model Invocation
• Tool Call و Connector Invocation
• Result و Error

Tool Call و Connector

برای هر Tool Call باید نام ابزار، ورودی حداقلی مجاز، نتیجه، خطا و زمان اجرا قابل ردیابی باشد. Connector نیز مرز تماس با سامانه بیرونی را نشان می‌دهد.

ثبت داده باید با سطح دسترسی و طبقه‌بندی اطلاعات سازگار باشد.

Token و Latency

Token Usage و Latency را در سطح Task، مدل و گام اندازه بگیرید. میانگین کلی می‌تواند Loop یا یک ابزار کند را پنهان کند.

شاخص مفیدتر، هزینه و زمان به‌ازای Task موفق است، نه فقط به‌ازای یک فراخوانی.

OpenTelemetry برای AI

Google در اوت ۲۰۲۶ telemetry عامل‌ها را با semantic conventionهای مولد OpenTelemetry هم‌راستا کرده و attributes مربوط به Agent، Model، Tool و مصرف Token را گسترش داده است.

Agent Runtime نیز metrics مبتنی بر gen_ai را در کنار trace و log صادر می‌کند. این هم‌راستایی جابه‌جایی داده پایش میان ابزارها را ساده‌تر می‌کند.

Privacy در Logging

Prompt و Response نباید همیشه Log شوند. ممکن است متن شامل داده شخصی، راز سازمانی یا محتوای خارج از دامنه نگه‌داری باشد.

در Gemini Enterprise نیز ثبت محتوای prompt/response به تنظیمات Observability وابسته است و در صورت نبود اجازه حذف یا redact می‌شود.

• Data minimization
• Redaction
• Retention محدود
• Role-based access
• عدم ثبت Secret

Observability در Production

Dashboard باید نرخ موفقیت، خطا، latency، token، tool usage و escalation را نشان دهد. Alert نیز بر تغییر معنادار یا عبور از Budget متمرکز باشد.

Trace نمونه‌های خطادار باید به Eval و فرایند اصلاح بازگردد؛ نه این‌که فقط در Log باقی بماند.

AI Evals چیست؟ (مطالعه بیشتر)

کاربرد سازمانی

Observability پایه پاسخ‌گویی عملیاتی و Audit است. تیم باید بتواند بداند کدام Agent، برای کدام کاربر، چه ابزاری را با چه نتیجه‌ای فراخوانی کرده است.

دسترسی به telemetry نیز باید محدود، ثبت‌شده و متناسب با نقش باشد.

کنترل هزینه AI Agent (مطالعه بیشتر)