Evaluation और red teaming

Evaluation model और agent की गुणवत्ता, सुरक्षा और भरोसेमंदता को तब नापता है जब आप बना रहे हों और जब वे live हों। Microsoft Foundry में evaluation आपके data या application पर एक या ज़्यादा evaluators लगाता है। Evaluators metrics देते हैं और जहाँ समर्थित हो, छोटी व्याख्या भी, ताकि आप versions की तुलना कर सकें, बार-बार होने वाली गलतियाँ पकड़ सकें, और तय कर सकें कि app deploy के लिए तैयार है या नहीं।

अवधारणा 8 में वही चार चरण और Prompt Optimizer पहले ही आ चुके हैं। यह expert अवधारणा गहराई में जाती है: Microsoft Foundry portal से evaluation कैसे चलाएँ, regression testing के लिए evaluators और datasets कैसे चुनें, release pipeline में evaluation कैसे जोड़ें, और असली users से पहले agents पर red teaming कैसे करें। अवधारणा 13 ने दिखाया कि Application Insights में traces असली बातचीत रखते हैं; यहाँ आप उस signal को scored test runs और adversarial scans में बदलते हैं।

• Dataset में पहले से मौजूद जवाबों को model दोबारा कॉल किए बिना score करें।
• Test inputs से नए responses बनवाएँ, फिर उन्हें score करें।
• जोखिम कहाँ है, उसके हिसाब से एक turn या पूरी conversation का मूल्यांकन करें।
• Metric-based evaluation के साथ AI Red Teaming Agent से adversarial safety scans भी चलाएँ।

Foundry में ज़्यादातर evaluation workflows एक ही क्रम का पालन करते हैं। आप तय करते हैं कि क्या परखना है, अपने लक्ष्य से मेल खाने वाले evaluators चुनते हैं, job चलाते हैं, फिर aggregates और अलग-अलग failures देखकर prompts, tools या deployments बदलते हैं।

• क्या evaluate करना है चुनें: एक turn, पूरी conversation, मौजूदा dataset, generate किए responses, simulated conversations, या production traces।
• Evaluators चुनें: task completion, relevance, groundedness, similarity, या content safety जैसे quality और safety metrics।
• Evaluation चलाएँ: development में एक बार, CI/CD pipeline के अंदर, या production traffic पर बार-बार schedule करके।
• समीक्षा करें और सुधारें: versions की तुलना करें, जहाँ उपलब्ध हो common failure patterns पढ़ें, और वे issues ठीक करें जो कई rows या conversations में दोहराएँ।

पहली run से पहले evaluation workflows की अनुमतियाँ, supported regions और rate limits, और virtual network requirements देखें जो evaluation documentation में लिखी हैं। Foundry project पर Foundry User role चाहिए। AI-assisted quality evaluators के लिए Azure OpenAI connection और deployed GPT model भी चाहिए, जैसे gpt-4.1-mini, judge model के रूप में।

Portal आपको target, scope, data, evaluators और submit तक ले जाता है। बाएँ pane से Evaluation चुनकर Create से शुरू कर सकते हैं। Model या agent पर Evaluation tab खोलकर Create भी चुन सकते हैं, या agent playground में Metrics, फिर Run full evaluation।

• चरण 1 — evaluation target: Agent आपके agent के output को score करता है; Model deployment या instant access model; Dataset पहले से मौजूद outputs; Traces Application Insights से चुनी time range की agent interactions लाता है।
• चरण 2 — evaluation scope (agent और dataset targets): Full conversations (preview) पूरे thread को score करता है; Individual turns एक response। Model evaluation हमेशा individual turns।
• चरण 3 — data source: Simulated data, Existing conversations, Synthetic data, Existing dataset (CSV या JSONL), या agents के लिए Existing traces।
• चरण 4–6 — agents configure करें (सिर्फ agent runs), existing data पर field mapping, फिर built-in या custom evaluators से testing criteria।
• चरण 7 — review और submit: run का नाम, settings confirm, Submit, फिर Evaluation list पर Status (In Progress, Completed, Partial, Failed)।

Evaluation आमतौर पर कुछ मिनट में खत्म हो जाता है, dataset के size और simulate की conversations की संख्या पर निर्भर। Run धीमी हो या timeout हो, तो rows या simulated turns घटाएँ, और judge model के पास पर्याप्त quota हो यह जाँचें। Multimodal image और audio content evaluation में preview है; audio के लिए docs में बताए JSONL shapes में अभी WAV समर्थित है।

Evaluators चुनने से पहले evaluation unit चुनें। Turn-level evaluation एक response score करता है। Conversation-level evaluation पूरी multi-turn interaction score करता है और उन नतीजों के लिए उपयुक्त है जिनके लिए कई चरण चाहिए, जैसे support case पूरा करना। हर evaluator specific levels support करता है; conversation-level scoring के लिए chat format में message history चाहिए, सिर्फ query-and-response column अक्सर काफी नहीं।

Portal target और scope से recommended evaluators पहले से चुनता है। Full conversations के लिए customer satisfaction, task completion, coherence, groundedness suggest होते हैं। Individual turns और existing data पर agent evaluators के साथ quality और safety checks जुड़ते हैं। Evaluators जोड़ या हटा सकते हैं और project में defined custom evaluators attach कर सकते हैं। कई agent-focused evaluators और rubric evaluators preview में हैं; scores को दिशा-सूचक मानें जब तक अपने data पर validate न कर लें।

Evaluation dataset reusable test cases का सेट है, आमतौर पर JSONL जहाँ हर line पर एक JSON object। Tab बनाएँ जब stable set चाहिए जिसे नए model, prompt या agent versions पर दोबारा चलाएँ—regression testing, pipeline quality gates, या side-by-side comparisons के लिए।

• Curated JSONL या CSV versioned dataset के रूप में upload करें जब questions और expected shape पहले से पता हों।
• Synthetic evaluation data agent definition, inline prompt, या reference file से generate करें जब commit से पहले नए cases चाहिए।
• Production traces को dataset में बदलें जब असली failing sessions को repeatable tests बनाना हो।
• Scenario descriptions वाले seed dataset से multi-turn scenarios simulate करें, फिर generated conversations evaluate करें।
• File बनाए बिना response ID से evaluate करें या portal flow में सीधे Application Insights traces evaluate करें।

Columns evaluators के साथ मेल खाएँ। Individual turns के लिए कम से कम query और response map करें; RAG और agent evaluators के लिए context और tool fields जोड़ें। Conversation evaluation के लिए messages और tool_definitions ज़रूरी हैं। Field mapping में Unassigned दिखे तो column manually assign करें—required fields खाली छोड़ने पर evaluators fail होते हैं, कम score नहीं मिलता।

Evaluations deployment pipeline में रखें ताकि regression production पहुँचने से पहले release रोक सके। Foundry GitHub Actions और Azure DevOps में offline agent evaluation support करता है; दोनों integrations preview में हैं और service-level agreement के बिना आते हैं, इसलिए हर customer-facing change पर blind भरोसा करने से पहले pre-production gates के रूप में समीक्षा करें।

• JSON data file दें जिसमें name, evaluator list, और query rows की array हो (optional ground_truth या context fields के साथ)।
• Task को Foundry project endpoint, judge model के लिए deployment name, agent-name:version form में agent IDs, और data file path दिखाएँ।
• Microsoft Entra ID से authenticate करें—GitHub workflows में अक्सर Azure Login action OpenID Connect के साथ; Azure DevOps में Azure Resource Manager service connection और AzureCLI@2 के बाद AIAgentEvaluation@2।
• Pipeline summary पढ़ें: per-metric scores, confidence intervals, और जब कई agents compare करें optional baseline agent ID के साथ pairwise statistical tests।

AI Red Teaming Agent models और Foundry agents पर adversarial probing automate करता है। यह Microsoft के PyRIT attack strategies और Foundry Risk and Safety Evaluations इस्तेमाल करके content risks scan करता है, हर attack–response pair score करता है, और reporting देता है जिसे समय के साथ track कर सकते हैं। मुख्य metric Attack Success Rate (ASR) है: कुल attacks में से कितने successful हुए।

• PyRIT strategies में encoding और obfuscation patterns शामिल हैं—Base64, character swaps, jailbreak और indirect jailbreak, और multi-turn escalation जैसे Crescendo—ताकि filters plain harmful prompt से कठिन cases देखें।
• Agentic categories के cloud red teaming East US 2, France Central, Sweden Central, Switzerland West, और US North Central में; developers को दिखाए results से harmful inputs redact होते हैं।
• आज supported Foundry targets में hosted prompt agents और hosted container agents Azure tool calls के साथ; workflow agents, non-Foundry agents, function या browser automation tool calls supported नहीं।
• Runs synthetic data और mock tools इस्तेमाल करते हैं, non-deterministic हो सकते हैं, false-positive हो सकते हैं—production guardrails बदलने से पहले results review करें।

Design, development, और pre-deployment में red teaming चलाएँ, और process चाहे तो deploy के बाद synthetic adversarial data पर continuous runs schedule करें। Foundry hosted agent पर agentic cloud runs transient माने जाते हैं ताकि harmful chat completions Foundry Agent Service में store न हों। Scores पर भरोसा करने से पहले purple environment—non-production लेकिन production-like—में agents exercise करें। Red-team findings सीधे अवधारणा 15 में guardrail choices में जाते हैं।

अब पूरा loop तैयार है: रोज़मर्रा quality के लिए stable datasets और portal runs, regressions के लिए pipeline gates, adversarial safety के लिए red teaming। Baseline agent version रखें, हर बदलाव के बाद same evaluators दोबारा चलाएँ, और तभी promote करें जब metrics और red-team ASR आपकी bar पर हों। अवधारणा 15 उन findings को guardrails, security settings, और network isolation में बदलती है ताकि production traffic वही standard पूरा करे जो आपने नापा।

• Workflow overview, approaches, और evaluations कहाँ चलाएँ। Evaluation in Microsoft Foundry
• Portal steps, targets, scopes, और evaluator selection विस्तार से। Run evaluations from the Microsoft Foundry portal
• Built-in evaluators catalog, levels, और preview families। Built-in evaluators reference
• Automated adversarial scans, risk categories, और PyRIT strategies। AI Red Teaming Agent