भारतीय प्रौद्योगिकी संस्थान (IIT) मद्रास के शोध केंद्र AI4Bharat ने भारतीय भाषाओं और भारतीय संदर्भों पर बड़े भाषा मॉडल्स (LLMs) की क्षमता को परखने के लिए एक नया ओपन-सोर्स बेंचमार्क टेस्ट लॉन्च किया है। इस टेस्ट का नाम Indic LLM-Arena रखा गया है, जिसे Google Cloud के सहयोग से विकसित किया गया है।
AI4Bharat के अनुसार, यह एक crowd-sourced प्लेटफॉर्म है, जहां हज़ारों उपयोगकर्ता दो अलग-अलग AI मॉडल्स के जवाबों की तुलना करके वोट डालते हैं। इन वोट्स के आधार पर मॉडलों को एक “human-in-the-loop” लीडरबोर्ड पर रैंक किया जाता है। फिलहाल, Indic LLM-Arena केवल टेक्स्ट-आधारित इनपुट्स को सपोर्ट करता है और इसमें कई भारतीय भाषाएं व कोड-मिक्स (जैसे हिंग्लिश या टैंगलिश) शामिल हैं। भविष्य में AI4Bharat इस प्लेटफॉर्म को और उन्नत बनाकर विज़न, ऑडियो और एजेंट मॉडल्स तक विस्तार करने की योजना बना रहा है।
AI4Bharat का कहना है कि भारतीय भाषाओं का मूल्यांकन केवल 22 भाषाओं के अनुवाद तक सीमित नहीं है, बल्कि यह इस बात पर केंद्रित है कि भारतीय लोग वास्तविक जीवन में कैसे संवाद करते हैं। इसमें कोड-स्विचिंग, यानी एक ही वाक्य में दो भाषाओं का प्रयोग करने की आदत भी शामिल है। संस्था ने बताया कि इस प्लेटफॉर्म से जुड़ा सभी डेटा, कोड और पाइपलाइंस को एक ओपन-सोर्स लाइसेंस के तहत सार्वजनिक किया जाएगा ताकि कोई भी शोधकर्ता या डेवलपर उन्हें जांच सके या आगे बढ़ा सके।
यह पहल ऐसे समय में आई है जब भारत के कई AI डेवलपर्स ने स्थानीय बेंचमार्क की कमी को लेकर चिंता जताई थी। हाल ही में OpenAI ने भी अपना नया भारतीय संदर्भ वाला टेस्ट IndQA लॉन्च किया था, जो मॉडल्स की भाषाई क्षमता और भारतीय सांस्कृतिक समझ दोनों को परखता है। AI4Bharat का मानना है कि Indic LLM-Arena से भारतीय स्टार्टअप्स और शोधकर्ताओं को यह समझने में मदद मिलेगी कि उनका मॉडल अन्य मॉडलों की तुलना में भारतीय भाषाओं और परिस्थितियों पर कैसा प्रदर्शन करता है। इससे व्यवसायों को सही AI मॉडल चुनने में आसानी होगी और भारतीय उपयोगकर्ताओं के लिए अधिक प्रासंगिक AI समाधान विकसित करने की दिशा में मदद मिलेगी।
AI4Bharat ने बताया कि यह बेंचमार्क lmarena जैसे अंतरराष्ट्रीय प्लेटफॉर्म से प्रेरित है और इसे फेयर, ब्लाइंड और साइड-बाय-साइड तुलना के सिद्धांत पर विकसित किया गया है। इसमें उपयोगकर्ता किसी भी भारतीय भाषा या भाषा-मिश्रण में एक प्रॉम्प्ट दर्ज करता है, जिसके जवाब में दो अलग-अलग AI मॉडल्स (Model A और Model B) के उत्तर दिखाए जाते हैं — लेकिन यह नहीं बताया जाता कि कौन-सा मॉडल किसका है। इसके बाद उपयोगकर्ता उस जवाब को चुनता है जो उसे बेहतर लगता है, या फिर “टाई” विकल्प भी चुन सकता है।
हज़ारों ऐसे वोट्स के बाद AI4Bharat Bradley-Terry सांख्यिकीय मॉडल का उपयोग करके मॉडलों की रैंकिंग तय करता है। आने वाले महीनों में संस्था एक नया पब्लिक लीडरबोर्ड जारी करेगी, जिसमें सांख्यिकीय अनिश्चितताओं को हटाकर अधिक सटीक परिणाम दिए जाएंगे। साथ ही, AI4Bharat भाषा, डोमेन और टास्क के आधार पर अलग-अलग लीडरबोर्ड्स जारी करने की भी योजना बना रहा है।
