Production AI: Safety, Evals & Governance

The announcer who never stays silent

Imagine a railway announcer whose rule is: never go quiet. The train data has not arrived? He still announces "Platform 4, on time" in a calm, confident voice — because saying something fluent is his whole job. AI chatbots carry the same flaw: they can state completely made-up things with total confidence. You have already met this behaviour in earlier lessons; today you finally get its industry name: hallucination. 🚉

This is the exact word used in research papers, company documentation, and job interviews — a recruiter may ask "how do you handle hallucinations in production?" and expect you to know it. Hindi-speaking professionals use the same English term too. Knowing the word lets you discuss the problem like an engineer, not just a user. 💼

वो announcer जो कभी चुप नहीं रहता

एक railway announcer सोचो जिसका नियम है: कभी चुप मत रहो। Train का data नहीं आया? फिर भी वह शांत, confident आवाज़ में announce करता है "Platform 4, on time" — क्योंकि कुछ fluent बोलते रहना ही उसका पूरा काम है। AI chatbots में यही खामी है: वे पूरी तरह गढ़ी हुई बातें पूरे आत्मविश्वास से कह सकते हैं। पिछले lessons में आप यह व्यवहार देख चुके हो; आज आख़िरकार इसका industry वाला नाम मिलता है: hallucination। 🚉

यही exact शब्द research papers, company documentation, और job interviews में चलता है — recruiter पूछ सकता है "how do you handle hallucinations in production?" और उम्मीद करेगा कि आप इसे जानते हो। हिंदी बोलने वाले professionals भी यही English term use करते हैं। शब्द जानने से आप समस्या पर engineer की तरह बात कर सकते हो, सिर्फ़ user की तरह नहीं। 💼

Why a smart model makes things up

Earlier lessons taught you that AI writes by predicting the next token. Here is the deeper point: training rewards text that is plausible — fluent, well-shaped, statistically likely — not text that is true. There is no built-in fact checker inside the model, no database lookup before each sentence. When real knowledge exists in the training data, plausible and true usually overlap, and the answer is correct. When it does not exist, the model still produces a confident, polished sentence — because staying silent was never one of its options. 🤔

That is why hallucination is not a rare glitch but a natural side-effect of how these models work. The very fluency that makes AI useful is the same machinery that makes its errors so convincing — a wrong answer arrives wearing the same confident tone as a right one.

समझदार model बातें क्यों गढ़ता है

पिछले lessons ने सिखाया कि AI अगला token predict करके लिखता है। अब गहरी बात: training उस text को इनाम देती है जो plausible हो — fluent, सुगठित, statistically likely — उसे नहीं जो सच हो। Model के अंदर कोई built-in fact checker नहीं, हर वाक्य से पहले कोई database lookup नहीं। जब training data में असली जानकारी मौजूद होती है, plausible और सच अक्सर एक ही होते हैं, और जवाब सही निकलता है। जब मौजूद नहीं होती, model फिर भी एक confident, चमकता वाक्य बना देता है — क्योंकि चुप रहना उसके options में था ही नहीं। 🤔

इसीलिए hallucination कोई दुर्लभ glitch नहीं बल्कि इन models के काम करने के तरीके का natural side-effect है। जो fluency AI को useful बनाती है, वही machinery उसकी गलतियों को इतना convincing बनाती है — गलत जवाब भी उसी confident अंदाज़ में आता है जिसमें सही आता है।

Two flavours: intrinsic and extrinsic

Engineers split hallucinations into two types. Intrinsic: the answer contradicts the very document you gave it — you upload your kirana shop price list where atta is 250, and the summary says 320. Extrinsic: the AI invents things beyond any source at all — a research paper that does not exist, a court case nobody ever filed, a statistic with no origin, a link that goes nowhere. The classic shapes to watch for: fabricated citations, fake case names, wrong numbers, invented links. In more than one country, lawyers have been sanctioned by courts for filing AI-invented case citations — a career-level mistake that a single cross-check would have caught. ⚖️

दो रूप: intrinsic और extrinsic

Engineers hallucination को दो प्रकारों में बाँटते हैं। Intrinsic: जवाब उसी document से टकराता है जो आपने दिया — आपने kirana दुकान की price list upload की जिसमें आटा 250 है, और summary में 320 लिखा आता है। Extrinsic: AI किसी भी source से परे चीज़ें गढ़ता है — ऐसा research paper जो exist ही नहीं करता, ऐसा court case जो कभी दायर नहीं हुआ, ऐसा आँकड़ा जिसका कोई origin नहीं, ऐसा link जो कहीं नहीं जाता। Classic आकार याद रखो: गढ़े हुए citations, नकली case के नाम, गलत numbers, बनाए हुए links। एक से ज़्यादा देशों में अदालतों ने वकीलों पर AI के गढ़े case citations file करने के लिए कार्रवाई की है — career-level गलती, जिसे एक अकेला cross-check पकड़ लेता। ⚖️

Where the risk peaks — and how to catch it

Hallucination risk is highest in four zones: niche facts (a small town's history, an obscure rule), recent events (anything after the model's training data ends), exact numbers and quotes, and low-resource languages where training text is thin — which includes many Indian languages. Ask about a famous monument and you are probably safe; ask for the exact founding year of a small-town college and the model will smoothly pick a plausible year instead of admitting the gap. Detection is a habit, not a tool. Ask for sources, then actually open them. Cross-check any number against an official site — IRCTC for trains, RBI for banking rules. Ask the same question twice in two fresh chats; if the answers disagree, trust neither — engineers call this self-consistency. And use RAG grounding from the AI Engineering course, so answers come from your documents instead of thin air. 🔍

Risk कहाँ चरम पर है — और पकड़ें कैसे

Hallucination का risk चार जगहों पर सबसे ऊँचा है: niche facts (छोटे कस्बे का इतिहास, कोई obscure नियम), हाल की घटनाएँ (model के training data के ख़त्म होने के बाद की कोई भी चीज़), exact numbers और quotes, और low-resource भाषाएँ जहाँ training text कम है — जिनमें कई भारतीय भाषाएँ शामिल हैं। किसी मशहूर स्मारक के बारे में पूछो तो शायद बच जाओगे; किसी छोटे कस्बे के college का exact founding year पूछो तो model कमी मानने की जगह आराम से कोई plausible साल चुन लेगा। पकड़ना कोई tool नहीं, आदत है। Sources माँगो, फिर सच में खोलकर देखो। हर number को official site से cross-check करो — train के लिए IRCTC, banking नियमों के लिए RBI। वही सवाल दो बार दो अलग fresh chats में पूछो; जवाब टकराएँ तो दोनों पर भरोसा मत करो — engineers इसे self-consistency कहते हैं। और AI Engineering course वाली RAG grounding use करो, ताकि जवाब हवा से नहीं, आपके documents से आएँ। 🔍

The mitigation ladder

You cannot delete hallucinations, but you can climb a ladder that shrinks them. Step 1, better instructions: add "if you are not sure, say I do not know" to your prompt — it gives the model permission to stop performing. Step 2, RAG with citations: ground answers in trusted documents and ask the AI to quote the exact line it used. Step 3, lower temperature for factual tasks — temperature is the setting that controls how adventurous the token choices are, and lower means safer, more predictable picks. Step 4, human review for anything high-stakes — medicine, law, money — a person signs off before the output ships. 🪜

Notice the mindset: this is risk management, not a bug you fix once. Like a bank handling fraud, you run layered checks every single day — and that mindset carries through this whole course.

Mitigation की सीढ़ी

Hallucination को मिटा नहीं सकते, पर एक सीढ़ी चढ़कर छोटा कर सकते हो। Step 1, बेहतर instructions: prompt में जोड़ो "if you are not sure, say I do not know" — यह model को दिखावा रोकने की इजाज़त देता है। Step 2, RAG with citations: जवाबों को भरोसेमंद documents पर टिकाओ और AI से वही exact line quote करवाओ जो उसने use की। Step 3, factual कामों के लिए temperature कम करो — temperature वह setting है जो तय करती है कि token के चुनाव कितने adventurous हों, और कम मतलब ज़्यादा safe, ज़्यादा predictable। Step 4, high-stakes चीज़ों के लिए human review — दवा, कानून, पैसा — output बाहर जाने से पहले एक इंसान sign-off करे। 🪜

Mindset पर ध्यान दो: यह risk management है, एक बार में fix होने वाला bug नहीं। जैसे bank fraud को संभालता है, आप layered जाँचें हर रोज़ चलाते हो — और यही सोच इस पूरे course में साथ चलेगी।