ChatGPT अलीकडे लोकप्रिय झाले आहे. कारण लोक दावा करतात की AI चॅटबॉटमध्ये जगातील सर्व उत्तरे आहेत. चॅटबॉट नोव्हेंबर 2022 मध्ये लाँच करण्यात आला आणि तेव्हापासून त्याने जगभरातील काही कठीण परीक्षा उत्तीर्ण केल्या आहेत.  युनिव्हर्सिटी ऑफ पेनसिल्व्हेनियाच्या व्हार्टन स्कूलमधील मास्टर ऑफ बिझनेस  अॅडमिनिस्ट्रेशन (MBA) प्रोग्रामची अंतिम परीक्षा उत्तीर्ण करण्यापासून ते यूएस वैद्यकीय परीक्षेत सर्वात तेजस्वी वैद्यकीय विचारांवर मात करण्यापर्यंत, ChatGPT ने आपली क्षमता सिद्ध केली आहे.

AI चॅटबॉटने प्रयत्न करण्याचा प्रयत्न केलेला नवीनतम परीक्षा म्हणजे संघ लोकसेवा आयोग (UPSC) द्वारे घेण्यात येणारी भारतीय नागरी सेवा परीक्षा ही जगातील सर्वात कठीण परीक्षांपैकी एक आहे. UPSC परीक्षेचा प्रयत्न करण्यासाठी ChatGPT मिळवण्यासाठी Analytics इंडिया मॅगझिन (AIM) जबाबदार होते. जेव्हा चॅटबॉटला विचारले गेले की, तुम्हाला वाटते का की तुम्ही UPSC ची प्रिलिम परीक्षा पास करू शकाल? तेव्हा हे माहित होते की ते कठीण होणार आहे. हेही वाचा Google ने दुर्भावनापूर्ण ऑपरेशन्सशी जोडलेले 7,500 हून अधिक YouTube चॅनेल टाकले काढून; यात चीनच्या 6,285 यूट्यूब चॅनेल व 52 ब्लॉगरचा समावेश

चॅटबॉटला असे म्हणायचे होते की तो परीक्षा उत्तीर्ण होऊ शकतो की नाही याबद्दल ते निश्चित उत्तर देऊ शकत नाही. AIM ने पुढे जाऊन UPSC प्रिलिम्स 2022 मधील प्रश्नपत्रिका 1 (सेट A) मधील सर्व 100 प्रश्न ChatGPT ला विचारले. ChatGPT त्यापैकी फक्त 54 प्रश्नांची अचूक उत्तरे देऊ शकले जे मासिक कंपनीसाठी आश्चर्यकारक होते.

सामान्य श्रेणीतील उमेदवारांसाठी कटऑफ 87.54 होते जे सूचित करते की ChatGPT UPSC परीक्षा उत्तीर्ण करू शकले नाही. प्रश्न भूगोल, अर्थव्यवस्था, इतिहास, पर्यावरणशास्त्र, सामान्य विज्ञान आणि भारताशी संबंधित चालू घडामोडी अशा अनेक विषयांचे होते. ChatGPT चे ज्ञान सप्टेंबर 2021 पर्यंत मर्यादित असल्याने, ते चालू घडामोडींच्या प्रश्नांची उत्तरे देऊ शकले नाही. हेही वाचा CNET Layoffs: टेक न्यूज वेबसाइट सीएनइटीमध्येही 10% कर्मचारी कपात, अनेक वरिष्ठ कर्मचाऱ्यांचा समावेश

परंतु भूगोल आणि अर्थव्यवस्था सारख्या विषयांना चुकीची उत्तरे दिली गेली, जरी प्रश्न विशिष्ट टाइमलाइनशी संबंधित नसले तरीही. त्यात इतिहासातील एक प्रश्नही चुकीचा आहे, ज्याचे उत्तर बरोबर द्यायला हवे होते कारण AI चॅटबॉटने सप्टेंबर 2021 पर्यंतचे सर्व ज्ञान असल्याचा दावा केला आहे. काही बहु-निवडक प्रश्नांमध्ये, चॅटबॉटने एक अतिरिक्त पर्याय तयार केला जो प्रदान केला गेला नाही. मूळ प्रश्नात आणि वरीलपैकी काहीही नाही असे लेबल केले.