अंग कैसे एक साथ जुड़ते हैं
एक अनुरोध का अनुसरण करें। उपयोगकर्ता एजेंट को संदेश भेजता है। एजेंट अपने निर्देश पढ़ता है और जवाब के लिए मॉडल से पूछता है। अगर उसे जानकारी चाहिए, तो वह एक उपकरण कॉल करता है, जैसे आपके ऑर्डर सिस्टम में खोज। जवाब उपयोगकर्ता को वापस जाता है। Tracing हर कदम रिकॉर्ड करती है। Evaluations असली उपयोगकर्ताओं से पहले जवाबों का परीक्षण करती हैं। प्रकाशन एजेंट को असली उपयोग के लिए एक स्थिर endpoint देता है। इस अवधारणा का बाकी हिस्सा हर अंग को क्रम से लेता है।
एजेंट: तीन प्रकार
Foundry Agent Service तीन एजेंट प्रकारों का समर्थन करता है। प्रकार तय करता है कि आप कितना कोड लिखते हैं और Foundry आपके लिए कितना चलाता है।
- Prompt agents: आप मॉडल, निर्देश और उपकरण तय करते हैं, और Foundry एजेंट चलाता है। कोई कोड या container प्रबंधित करने की ज़रूरत नहीं। यहीं से शुरू करें।
- Voice-based prompt agents (preview): real-time बोली गई बातचीत के लिए prompt agents। आप Voice Live के साथ WebSocket पर जुड़ते हैं।
- Hosted agents: आपका अपना कोड या framework, container image या zip file के रूप में पैक। Foundry इसे managed endpoint, automatic scaling और समर्पित Microsoft Entra identity के साथ चलाता है।
Hosted agent की ओर तब बढ़ें जब आपके logic को custom code, multi-step workflows, या LangGraph जैसे framework की ज़रूरत हो।
मॉडल और deployments
कैटलॉग में कोई मॉडल तब तक आपके ऐप के लिए कुछ नहीं करता जब तक आप उसे deploy नहीं करते। Foundry serverless API deployments को प्राथमिकता देता है। Managed compute (preview) open-source और custom मॉडल को dedicated GPU capacity पर चलाता है, जिसे Foundry प्रबंधित करता है।
Microsoft Learn कहता है कि आप अपने एजेंट कोड बदले बिना मॉडल बदल सकते हैं। Agent Service कई मॉडलों के साथ काम करता है, जैसे GPT-4o, Llama, और DeepSeek।
उपकरण, MCP, और toolboxes
मॉडल सिर्फ़ टेक्स्ट लिख सकता है। उपकरण एजेंट को कार्रवाई करने देते हैं।
- Built-in tools: web search, file search, code interpreter, और memory।
- Custom tools: आपके लिखे functions, API का वर्णन करने वाले OpenAPI specs, और MCP servers।
- MCP, Model Context Protocol, एक एजेंट के लिए उपकरणों से जुड़ने का मानक तरीका है।
toolbox उपकरणों को एक reusable इकाई में समूहित करता है। आप इसे एक बार सेट अप करते हैं, और Foundry इसे एक managed MCP-compatible endpoint के पीछे expose करता है जिसे कोई भी एजेंट इस्तेमाल कर सकता है। Authentication, governance, और versioning एक जगह रहते हैं, इसलिए आप हर एजेंट में नहीं, बल्कि उपकरण को एक बार अपडेट करते हैं।
Tracing: देखें एजेंट ने क्या किया
trace एक एजेंट run का पूरा रिकॉर्ड है। यह spans से बना है, और हर span एक कदम है जिसमें start time, end time, और विवरण होते हैं। मुख्य spans हैं invoke_agent पूरे run के लिए, chat मॉडल कॉल के लिए, और execute_tool उपकरण कॉल के लिए।
Server-side tracing के लिए कोड बदलने की ज़रूरत नहीं। अपने project में Application Insights resource जोड़ें, और Foundry prompt agents और hosted agents के लिए traces लॉग करता है। एजेंट खोलें, फिर Traces tab, और किसी trace को चुनकर उसमें कदम दर कदम जाएँ। Foundry traces 90 दिन रखता है।
Trace Replay में दो views हैं। User view बातचीत वैसे दिखाता है जैसे उपयोगकर्ता ने देखी। Trajectories view कदमों का tree दिखाता है, हर कदम के लिए timing या token cost के साथ।
Evaluations: उपयोगकर्ताओं से पहले गुणवत्ता का मूल्यांकन
evaluation एजेंट या मॉडल को test data पर चलाता है, फिर जवाबों का score देता है। कदम हैं: target चुनें, अपना data चुनें, evaluators चुनें, चलाएँ, और समीक्षा करें।
- Target: एक एजेंट, एक मॉडल, मौजूदा जवाबों का dataset, या पहले से capture की गई traces।
- Data: CSV या JSONL में test प्रश्न, मौजूदा बातचीत, या generate किया गया test data।
- पूर्वापेक्षाएँ: project पर Foundry User role। AI-assisted quality scores के लिए, deployed GPT मॉडल, जैसे gpt-4.1-mini, वाला Azure OpenAI connection भी चाहिए।
| समूह | उदाहरण | यह क्या जाँचता है |
|---|---|---|
| Agent | Intent Resolution, Task Adherence, Tool Call Accuracy | क्या एजेंट ने अनुरोध समझा, अपने निर्देशों का पालन किया, और उपकरणों का सही उपयोग किया |
| Quality | Coherence, Groundedness, Relevance, Fluency | क्या जवाब तार्किक, दिए गए context में grounded, relevant, और प्राकृतिक हैं |
| Safety | Violence, Sexual, Self-harm, Hate/Unfairness | क्या प्रतिक्रियाओं में हानिकारक सामग्री है |
Deploy से पहले evaluations चलाएँ, फिर production बातचीत पर उन्हें चलाते रहें ताकि regressions पकड़ में आएँ। किसी एक score से ज़्यादा यह आदत मायने रखती है। agent optimizer (preview) एजेंट व्यवहार का मूल्यांकन करता है और निर्देश, skills, tool descriptions, और model choices में संभावित सुधार सुझाता है। full-conversation scoring भी preview में है।
शासन और सुरक्षा
- Identity: Microsoft Entra। हर hosted agent की अपनी identity हो सकती है, ताकि वह shared passwords के बिना resources तक पहुँचे।
- Access: Azure role-based access control तय करता है कि कौन एजेंट बना सकता है, invoke कर सकता है, और manage कर सकता है। अवधारणा 2 की roles यहाँ लागू होती हैं।
- Safety: content filters असुरक्षित outputs कम करने और prompt injection जोखिमों को कम करने में मदद करते हैं। Guardrails Azure AI Content Safety से चलते हैं, और ये prompts और outputs को चार तरह के नुकसान के लिए जाँचते हैं: hate, sexual, violence, और self-harm। डिफ़ॉल्ट रूप से medium या high स्तर की सामग्री रोकी जाती है।
- Network: private networking। Prompt agents इसका समर्थन करते हैं, और hosted agents आपके अपने virtual network में चल सकते हैं।
- Policy: Azure Policy, जिसे Foundry overview अपने governance controls में गिनता है।
प्रकाशन और संस्करण
Foundry एजेंट के संस्करण स्वचालित रूप से रखता है, ताकि आप दो संस्करणों की तुलना कर सकें या rollback कर सकें। जब एजेंट तैयार हो, publish करके एक स्थिर endpoint पाएँ। फिर आप इसे Microsoft Teams और Microsoft Copilot के ज़रिए share कर सकते हैं।
जाँचने योग्य preview सुविधाएँ
Voice-based prompt agents, agent optimizer, और full-conversation evaluations preview में हैं। Preview क्षमताओं के साथ service-level agreement नहीं होता, और Microsoft production workloads के लिए उनकी सिफ़ारिश नहीं करता जब तक आप उनकी support, security, और availability requirements की समीक्षा न कर लें।
- Foundry overview से शुरू करें: What is Microsoft Foundry?
- एजेंट कैसे बनाए और चलाए जाते हैं, इसके लिए: Foundry Agent Service overview
- portal में evaluation कैसे चलाएँ, इसके लिए: Run evaluations in Foundry
- traces कैसे record और पढ़ी जाती हैं, इसके लिए: Agent tracing overview