एआई सर्च इंजन फजी प्रश्न मूल्यांकन रिपोर्ट (v1.3)
यह लेख कई एआई सर्च इंजनों के प्रदर्शन का मूल्यांकन करता है जो "फजी क्वेरी प्रश्नों" को संभालते हैं। फेलो एआई ने 80% की सटीकता दर के साथ सबसे अच्छा प्रदर्शन किया, इसके बाद पेरप्लेक्सिटी प्रो आया। लेख प्रत्येक उत्पाद की ताकत और कमजोरियों का विश्लेषण करता है और उदाहरण के लिए विशिष्ट केस स्टडी प्रदान करता है। मूल्यांकन डेटा और परिणाम ओपन-सोर्स किए गए हैं, जो एआई सर्च इंज नों के विकास के लिए मूल्यवान अंतर्दृष्टि प्रदान करते हैं।
I. निष्कर्ष
आज की सूचना-संतृप्त युग में, जैसे-जैसे उपयोगकर्ता के प्रश्न अधिक जटिल होते जाते हैं, AI खोज प्रणालियों के बीच प्रदर्शन का अंतर स्पष्ट होता जा रहा है। यह विशेष रूप से तब सच है जब सॉफ़्टवेयर कॉन्फ़िगरेशन, कई डेटा स्रोतों, ऑनलाइन आसानी से उपलब्ध जानकारी, या तिथि से संबंधित प्रश्नों का सामना करना पड़ता है। हम इन चुनौतीपूर्ण प्रश्नों को "अस्पष्ट प्रश्न खोज" के रूप में संदर्भित करते हैं। इस मूल्यांकन में, हमने कई लोकप्रिय AI खोज इंजनों का व्यापक परीक्षण किया, जिसमें Perplexity Basic, Perplexity Pro, GenSpark, Felo AI, iAsk, और You.com शामिल हैं, इस प्रकार के प्रश्नों पर ध्यान केंद्रित करते हुए।
कई कठोर परी क्षणों के बाद, हमने निष्कर्ष निकाला:
- Felo AI उत्कृष्ट प्रदर्शन करने वाला साबित हुआ, अस्पष्ट प्रश्नों को संभालने में असाधारण क्षमता प्रदर्शित करते हुए। इसने 80% की प्रभावशाली सटीकता दर के साथ पैक का नेतृत्व किया, बहु-स्रोत डेटा को प्रभावी ढंग से संसाधित किया और जटिल प्रश्नों के लिए विस्तृत, विश्वसनीय उत्तर प्रदान किए, जैसे एक अनुभवी विशेषज्ञ।
- Perplexity Pro 70% स्कोर के साथ दूसरे स्थान पर रहा, कुछ जटिल प्रश्नों को हल करने में लचीलापन दिखाते हुए।
- iAsk ने 60% सटीकता दर प्राप्त की और कभी-कभी अस्पष्ट प्रश्नों के लिए प्रभावी उत्तर प्रदान किए।
- Perplexity Basic, GenSpark, और You.com इस मूल्यांकन में कम प्रदर्शन किया। उनके भाषा मॉडल ने अस्पष्ट प्रश्नों को समझने और संसाधित करने में स्पष्ट कमजोरियाँ दिखाई, क्रमशः 55%, 45%, और 35% की सटीकता दर प्राप्त की, जो संतोषजनक से कम थी।
चित्र 1: मूल्यांकन किए गए उत्पादों की सटीकता दरें
II. मूल्यांकन डेटा
हमारी मूल्यांकन में, अस्पष्ट प्रश्नों को उन प्रश्नों के रूप में परिभाषित किया गया जो सॉफ़्टवेयर कॉन्फ़िगरेशन, कई डेटा स्रोतों, ऑनलाइन उपलब्ध जानकारी, या तिथि से संबंधित जानकारी से संबंधित हैं। LLMs अक्सर ऐसे प्रश्नों का उत्तर देने के लिए कई स्रोतों से सामग्री को एकत्र करते हैं।
हमारे अस्पष्ट प्रश्न परीक्षण मामले ओपन-सोर्स हैं:
👉 परीक्षण मामले: https://github.com/sparticleinc/ASEED/blob/main/datasets/ambiguity_search.csv
👉 परीक्षण परिणाम: https://github.com/sparticleinc/ASEED/tree/main/evaluations/promptfoo/ambiguity_search
III. केस विश्लेषण
👉 प्रश्न: अगली ओलंपिक खेल कहाँ आयोजित होंगे?
सच्चाई: 2028 ग्रीष्मकालीन ओलंपिक खेल, जिसे XXXIV ओलंपियाड के खेलों के रूप में भी जाना जाता है, लॉस एंजेलेस, अमेरिका में आयोजित होंगे।
टिप्पणी: ऑनलाइन जानकारी की प्रचुरता के कारण जो कहती है कि अगली ओलंपिक खेल 2024 में पेरिस, फ्रांस में आयोजित होंगे, Felo AI को छोड़कर सभी उत्पादों ने गलत उत्तर दिया।
