हिंदी और भारतीय भाषाओं में AI का इस्तेमाल: क्या काम करता है और क्या अब भी नहीं
AI हिंदी को ठीक-ठाक संभालता है, बांग्ला, तमिल और मराठी को साफ़ तौर पर कम अच्छे से, और छोटी भारतीय भाषाओं को कमज़ोर ढंग से — और ये सब अंग्रेज़ी से कमज़ोर हैं। वजह यह नहीं कि मॉडल अलग-अलग भाषाओं के लिए अलग तरह से डिज़ाइन हुए हैं। वजह यह है कि किसी लैंग्वेज मॉडल की क्षमता इस पर निर्भर करती है कि उस भाषा का कितना टेक्स्ट इंटरनेट पर सीखने के लिए मौजूद था, और अंग्रेज़ी तथा भारतीय भाषाओं के वेब टेक्स्ट के बीच का फ़ासला बहुत बड़ा है।
यही एक तथ्य लोगों की लगभग हर शिकायत समझा देता है: मॉडल ऐसी हिंदी क्यों लिखता है जो सुनने में धाराप्रवाह लगे पर कोई हिंदी बोलने वाला वैसा कहता नहीं; वह भाषा के स्तर (रजिस्टर) क्यों मिला देता है; ट्रांसलिटरेशन उसे क्यों उलझाता है; और वह अंग्रेज़ी में अनुवाद करने में अंग्रेज़ी से बाहर अनुवाद करने की तुलना में कहीं बेहतर क्यों है। कारण समझ लेने से आप उसका तोड़ निकाल सकते हैं, और यह गाइड उसी के बारे में है।
भारतीय भाषाओं में AI कमज़ोर क्यों है?
तीन आपस में जुड़े कारण हैं, अहमियत के क्रम में।
टोकनाइज़ेशन वाली बात का एक सीधा व्यावहारिक असर जानना ज़रूरी है। चूँकि देवनागरी टेक्स्ट उतनी ही अंग्रेज़ी से काफ़ी ज़्यादा टोकन खाता है, इसलिए हिंदी डॉक्यूमेंट प्रोसेस करने में ज़्यादा खर्च होता है और मॉडल की वर्किंग मेमोरी जल्दी भर जाती है। अगर आप लंबे हिंदी डॉक्यूमेंट पेस्ट करते हैं और मॉडल शुरुआत भूल जाता है, तो यही वजह है — और डॉक्यूमेंट को हिस्सों में बाँट देने से आमतौर पर यह ठीक हो जाता है।
भारतीय भाषाओं में कौन-से काम अच्छे चलते हैं?
गुणवत्ता मॉडल से ज़्यादा काम के हिसाब से बदलती है। कुछ काम इतने अच्छे चलते हैं कि उन पर भरोसा किया जा सकता है; कुछ को काफ़ी एडिटिंग चाहिए; और कुछ को आज़माना भी बेकार है।
पहली पंक्ति की असमानता इस पूरे विषय की सबसे काम की बातों में से एक है। हिंदी से अंग्रेज़ी में अनुवाद उल्टी दिशा से साफ़ तौर पर बेहतर है, क्योंकि मॉडल की अंग्रेज़ी लिखने की क्षमता मज़बूत है और उसे हिंदी सिर्फ़ समझनी होती है। स्वाभाविक हिंदी रचना करना कठिन आधा हिस्सा है। जहाँ गुणवत्ता मायने रखती है, काम को इसी हिसाब से ढालें: मॉडल से हिंदी समझवाएँ और अंग्रेज़ी में रचना करवाएँ, या अंग्रेज़ी में ड्राफ़्ट बनाएँ और किसी इंसान से अनुवाद करवाएँ।
आख़िरी दो पंक्तियों में लोग सबसे ज़्यादा जलते हैं। ज़िला प्रशासन, किसी स्थानीय मंदिर के इतिहास या किसी राज्य-विशेष के नियम के बारे में तथ्य पूछिए, तो कम ट्रेनिंग डेटा के कारण मनगढ़ंत जवाब की संभावना ख़ास तौर पर बढ़ जाती है — और धाराप्रवाह हिंदी उसे प्रामाणिक जैसा बना देती है। हैलुसिनेशन की समस्या यहाँ किसी अलग तरह की नहीं है, पर उसकी मात्रा काफ़ी ज़्यादा है, और वही जाँच की आदतें यहाँ और भी अहम हो जाती हैं।
AI की हिंदी अस्वाभाविक क्यों लगती है?
क्योंकि सीखने के लिए ऑनलाइन उपलब्ध हिंदी टेक्स्ट का बड़ा हिस्सा वह हिंदी नहीं है जो लोग बोलते हैं। बड़ा हिस्सा औपचारिक है: सरकारी सूचनाएँ, समाचार की भाषा, संस्थागत लेखन, और अंग्रेज़ी से किए गए अनुवाद जो ख़ुद दूसरी मशीनों ने किए हैं। मॉडल वही रजिस्टर सीखते हैं और दोहराते हैं, इसीलिए AI की हिंदी अक्सर बातचीत की जगह किसी परिपत्र जैसी पढ़ी जाती है।
आख़िरी बात बारीक है और भारत में बहुत मायने रखती है। शहर की असली हिंदी बोलचाल में अंग्रेज़ी खुलकर मिलती है — “मोबाइल” या “ऑफ़िस” के लिए कोई हिंदी शब्द नहीं बोलता। मॉडल अक्सर ज़रूरत से ज़्यादा सुधार करके शुद्ध हिंदी बना देते हैं, जो तकनीकी रूप से सही और सामाजिक रूप से ग़लत होती है। पाठक कौन है, यह बताना — “पुणे के दुकानदार के लिए लिखो, वैसे जैसे लोग असल में बोलते हैं, लोग जो अंग्रेज़ी शब्द इस्तेमाल करते हैं उन्हें रखो” — किसी भी दूसरे निर्देश से ज़्यादा यह समस्या सुलझाता है।
बेहतर नतीजे कैसे पाएँ?
- लेखन का नमूना दें। अपनी पसंद की शैली में लिखे हिंदी के दो पैराग्राफ़ पेस्ट करें और मॉडल से उसी जैसा लिखने को कहें। यह अब तक की सबसे असरदार तरकीब है, क्योंकि यह मॉडल के सीखे हुए डिफ़ॉल्ट रजिस्टर की जगह आपका असली रजिस्टर रख देती है।
- अंग्रेज़ी में प्रॉम्प्ट दें, हिंदी में आउटपुट लें। निर्देश अंग्रेज़ी में बेहतर समझे जाते हैं; निर्देश अंग्रेज़ी में और आउटपुट हिंदी में रखना आमतौर पर दोनों हिंदी में करने से बेहतर रहता है।
- छोटे हिस्सों में काम करें। भारतीय भाषाओं में लंबाई के साथ गुणवत्ता तेज़ी से गिरती है, कुछ हद तक टोकनाइज़ेशन की वजह से। 300 शब्दों के तीन हिस्से 900 शब्दों के एक हिस्से से बेहतर होते हैं।
- कठिन दिशा का अनुवाद ख़ुद करें। मॉडल का इस्तेमाल हिंदी से अंग्रेज़ी और समझने के लिए करें; जहाँ आउटपुट सार्वजनिक है वहाँ अंग्रेज़ी से हिंदी में किसी इंसान को रखें।
- स्थानीय तथ्यों पर कभी भरोसा न करें। जगहों के नाम, तारीख़ें, अधिकारी, स्थानीय नियम, मंदिरों के इतिहास, क्षेत्रीय व्यंजन — इन सबको किसी स्रोत से मिलाएँ। कम डेटा इसे सबसे जोखिम भरी श्रेणी बना देता है।
- ज़ोर से पढ़ें। अस्वाभाविक हिंदी पढ़ने से ज़्यादा बोलने में पकड़ में आती है। अगर वह किसी सूचना को पढ़े जाने जैसी लगे, तो दोबारा लिखें।
पहले बिंदु को दोहराना ज़रूरी है क्योंकि इसका इस्तेमाल बहुत कम होता है। ज़्यादातर लोग मनचाहे टोन को विशेषणों में बताने की कोशिश करते हैं। असली चीज़ के दो पैराग्राफ़ दिखाना विवरण के पूरे पैराग्राफ़ से ज़्यादा कहता है, और यही सिद्धांत उदाहरणों को किसी भी प्रॉम्प्ट का सबसे मज़बूत हिस्सा बनाता है।
आवाज़ और स्पीच का क्या?
भारतीय भाषाओं में स्पीच रिकग्निशन में तेज़ सुधार हुआ है और अब साफ़, एक वक्ता वाली हिंदी के लिए यह सचमुच काम का है। तीन ख़ास हालात में यह अब भी कमज़ोर है: तीखे क्षेत्रीय लहजे, वाक्य के बीच हिंदी और अंग्रेज़ी का मिश्रण (कोड-स्विचिंग), और पृष्ठभूमि का शोर। असली भारतीय माहौल में ये तीनों बेहद आम हैं, इसीलिए डेमो वाली ट्रांसक्रिप्शन और ज़मीनी ट्रांसक्रिप्शन में इतना फ़र्क़ होता है।
टेक्स्ट-टू-स्पीच ज़्यादा तेज़ी से आगे बढ़ा है। सिंथेटिक हिंदी और तमिल आवाज़ें अब नैरेशन और घोषणाओं के लिए काफ़ी अच्छी हैं, और बेहतर आवाज़ें वाक्य-स्तर का उतार-चढ़ाव ठीक-ठाक संभालती हैं। बची हुई कमज़ोरी ज़ोर देने में है: सिंथेटिक आवाज़ को नहीं पता कि आपके वाक्य का कौन-सा शब्द अर्थ वहन करता है, इसलिए जहाँ ज़ोर बदलने से मतलब बदलता है वहाँ जाँच ज़रूरी है।
डबिंग और वॉइसओवर के मामले में व्यावहारिक स्थिति यह है कि मशीन का आउटपुट आपको इस्तेमाल लायक ड्राफ़्ट देता है और इंसानी पास उसे प्रसारण लायक बनाता है। उसे तैयार मान लेने से ऐसा वीडियो बनता है जिसका नैरेशन बारीकी से ग़लत होता है और भरोसा कमज़ोर करता है।
क्या यह फ़ासला घट रहा है?
हाँ, और वजह सीधी है: भारत इतना बड़ा बाज़ार है कि इस फ़ासले को पाटना व्यावसायिक रूप से फ़ायदेमंद है। भारतीय शोध समूह और स्टार्टअप ख़ास तौर पर भारतीय भाषाओं के मॉडल और डेटासेट बना रहे हैं क्योंकि वैश्विक मॉडल इन भाषाओं को कम तवज्जो देते हैं, और सरकार समर्थित भाषा-डेटा प्रयासों ने ऐसे संग्रह जोड़े हैं जो पाँच साल पहले मौजूद नहीं थे। हर नई पीढ़ी का सामान्य-उद्देश्य मॉडल भी कुल मिलाकर ज़्यादा ट्रेनिंग डेटा के उप-प्रभाव के रूप में भारतीय भाषाओं को पिछली पीढ़ी से बेहतर संभालता है।
अंत में यही तीसरी बात याद रखें। थोड़ी अटपटी अंग्रेज़ी देखकर पाठक अक्सर मान लेता है कि लेखक की यह दूसरी भाषा है और आगे पढ़ता रहता है। मशीनी रजिस्टर वाली हिंदी या मराठी देखने वाला पाठक उसे तुरंत पहचान लेता है, और वह यह निष्कर्ष निकालता है कि प्रकाशक ने किसी इंसान से पढ़वाने की ज़हमत नहीं उठाई। भारतीय भाषाओं में सार्वजनिक काम के लिए इंसानी पास गुणवत्ता का अपग्रेड नहीं — वह काम के लायक और उल्टा असर करने वाले के बीच का फ़र्क़ है।
इस सीमा के साथ इस्तेमाल करने पर ये टूल बहुत-सी नीरस मेहनत हटा देते हैं: सारांश, समझना, ऐसे ड्राफ़्ट जिन्हें आप दोबारा लिखेंगे, और अंग्रेज़ी में अनुवाद। ईमानदार रूपरेखा यह है कि भारतीय भाषाओं में AI एक मज़बूत सहायक है और कमज़ोर लेखक। अगर आप अपना वर्कफ़्लो बना रहे हैं, तो बेहतर AI प्रॉम्प्ट कैसे लिखें और AI के जवाबों की जाँच कैसे करें सबसे अहम दो हिस्से हैं; ChatGPT बनाम Gemini बनाम Claude बताता है कि पहले किस असिस्टेंट को आज़माएँ, और AI-जनित कंटेंट की हमारी गाइड प्रकाशन वाला पक्ष समझाती है। और भी कुछ टेक्नोलॉजी सेक्शन में है, और हमारे हिंदी लेख blogshog.com/hindi पर हैं।
AI हिंदी में अंग्रेज़ी से कमज़ोर क्यों है?
क्योंकि किसी लैंग्वेज मॉडल की क्षमता इस पर निर्भर करती है कि उसने उस भाषा का कितना टेक्स्ट सीखा, और ऑनलाइन हिंदी टेक्स्ट अंग्रेज़ी से बहुत कम है। भारतीय लिपियाँ प्रति शब्द ज़्यादा टोकन में टूटती हैं, जिससे खर्च बढ़ता है और मॉडल की वर्किंग मेमोरी जल्दी भरती है, और मॉडल की गुणवत्ता ज़्यादातर अंग्रेज़ी बेंचमार्क पर नापी जाती है इसलिए कमज़ोरियाँ पकड़ी नहीं जातीं।
AI कौन-सी भारतीय भाषा सबसे अच्छी तरह संभालता है?
हिंदी, साफ़ अंतर के साथ, उसके बाद बांग्ला और तमिल जैसी भाषाएँ जिनका ऑनलाइन टेक्स्ट काफ़ी है। मराठी, तेलुगु, गुजराती और कन्नड़ साफ़ तौर पर कमज़ोर हैं, और ओड़िया, असमिया और कोंकणी जैसी छोटी भाषाएँ और भी कमज़ोर। यह क्रम इस पर चलता है कि वेब पर कितना लिखित टेक्स्ट मौजूद है।
क्या हिंदी से अंग्रेज़ी का AI अनुवाद भरोसेमंद है?
उल्टी दिशा से कहीं ज़्यादा। हिंदी से बाहर अनुवाद के लिए मॉडल को सिर्फ़ हिंदी समझनी और फिर अंग्रेज़ी रचनी होती है, जो वह अच्छे से करता है। स्वाभाविक हिंदी रचना कठिन आधा हिस्सा है, इसलिए जहाँ गुणवत्ता मायने रखे, हिंदी से अंग्रेज़ी के लिए AI इस्तेमाल करें और अंग्रेज़ी से हिंदी में किसी इंसान को रखें।
AI की लिखी हिंदी सरकारी सूचना जैसी क्यों लगती है?
क्योंकि ऑनलाइन हिंदी का जो टेक्स्ट मॉडलों ने सीखा, उसमें बड़ा हिस्सा औपचारिक है: सरकारी सूचनाएँ, समाचार की भाषा, संस्थागत लेखन और अंग्रेज़ी से मशीनी अनुवाद। मॉडल डिफ़ॉल्ट रूप से वही रजिस्टर दोहराता है। जो हिंदी आपको चाहिए उसके दो पैराग्राफ़ पेस्ट करके उसी जैसा लिखने को कहना सबसे असरदार सुधार है।
क्या मैं भारतीय स्थानीय तथ्यों पर AI पर भरोसा कर सकता हूँ?
नहीं। ज़िला प्रशासन, स्थानीय अधिकारियों, क्षेत्रीय नियमों, मंदिरों के इतिहास और जगह-विशेष के ब्योरों के तथ्य ठीक वहीं हैं जहाँ ट्रेनिंग डेटा सबसे कम है, इसलिए मनगढ़ंत जवाब की संभावना ख़ास तौर पर ज़्यादा है, और धाराप्रवाह हिंदी उसे प्रामाणिक जैसा बना देती है। इस्तेमाल से पहले हर ऐसे दावे को किसी स्रोत से जाँच लें।
हिंदी स्पीच रिकग्निशन अब कितना अच्छा है?
शांत माहौल में साफ़, एक वक्ता वाली ऑडियो के लिए अच्छा है। तीखे क्षेत्रीय लहजे, वाक्य के बीच हिंदी-अंग्रेज़ी कोड-स्विचिंग और पृष्ठभूमि के शोर के साथ यह अब भी कमज़ोर है। असली भारतीय माहौल में ये तीनों आम हैं, इसीलिए ज़मीनी रिकॉर्डिंग की ट्रांसक्रिप्शन डेमो से कहीं ख़राब होती है।
क्या AI से बनी हिंदी की समीक्षा के लिए मूल भाषी चाहिए?
जो भी सार्वजनिक हो, उसके लिए हाँ। पाठक मशीनी रजिस्टर वाली हिंदी को तुरंत पहचान लेते हैं और निष्कर्ष निकालते हैं कि प्रकाशक ने किसी इंसान से पढ़वाने की परवाह नहीं की। मूल भाषी की जाँच मामूली गुणवत्ता सुधार नहीं, बल्कि काम के लायक और सक्रिय रूप से नुकसानदेह के बीच का फ़र्क़ है।
