कैसे जानें कि AI इंजन आपकी वेबसाइट का हवाला दे रहे हैं या नहीं

AI सिटेशन को आप तीन तरीक़ों से ट्रैक कर सकते हैं: AI क्रॉलर की विज़िट के लिए अपने सर्वर लॉग पढ़ें, AI होस्ट से आए रेफ़रल के लिए अपने एनालिटिक्स को फ़िल्टर करें, और AI इंजनों से सीधे प्रॉम्प्ट पूछकर देखें कि आपके पेज लौटते हैं या नहीं। कोई एक तरीक़ा पूरा नहीं है, और कोई भी Search Console जितना सुव्यवस्थित नहीं है। मिलकर ये आपको काम की तस्वीर देते हैं कि AI सिस्टम आपकी साइट पढ़ते हैं, उसे उद्धृत करते हैं और लोगों को वहाँ भेजते हैं या नहीं।

ज़्यादातर रिपोर्टिंग सेटअप में यह असली कमी बन गई है। जो विज़िटर ChatGPT से कोई सवाल पूछता है, जवाब पढ़ता है, और हवाले वाले स्रोत पर क्लिक करता है, वह आपकी साइट पर ऐसे रास्ते से पहुँचता है जिसे बयान करने के लिए आपके मानक डैशबोर्ड कभी बने ही नहीं थे। इससे भी बुरा, जो विज़िटर जवाब पढ़ता है और क्लिक नहीं करता, उसने आपके कंटेंट का उपयोग कर लिया पर आपकी किसी रिपोर्ट में एक भी पंक्ति नहीं बनी। अगर आपका ऑर्गेनिक ट्रैफ़िक स्थिर है पर आपका कंटेंट इस्तेमाल हो रहा है, तो फ़िलहाल आपके पास जानने का कोई तरीक़ा नहीं होगा।

आगे एक मापन-व्यवस्था है जो आप इसी हफ़्ते बना सकते हैं, ज़्यादातर उन्हीं टूल से जो आपके पास हैं, और इसका ईमानदार ब्योरा कि वह क्या नहीं बता सकती।

AI विज़िबिलिटी की तीन परतें कौन-सी हैं?

AI इंजन के काम का होना चरणों में होता है, और हर चरण का अपना मापन है। इन्हें मिला देना ही मुख्य वजह है कि लोग सोचते हैं कि उनका AI डेटा अर्थहीन है।

ध्यान दीजिए कि यह फ़नल एक असामान्य तरीक़े से रिसता है। पेज बहुत ज़्यादा क्रॉल हो सकता है और कभी उद्धृत नहीं हो सकता। वह लगातार उद्धृत हो सकता है और कम ही क्लिक हो सकता है, क्योंकि जवाब ने यूज़र को संतुष्ट कर दिया। और वह ऐसे क्लिक पैदा कर सकता है जिन्हें आप बिल्कुल एट्रिब्यूट नहीं कर सकते, क्योंकि कुछ AI इंटरफ़ेस रेफ़रर हटा देते हैं। तीनों संख्याओं को तीन अलग स्वास्थ्य-जाँचें मानें, कन्वर्ज़न फ़नल नहीं।

कैसे देखें कि कौन-से AI क्रॉलर आपकी साइट पर आते हैं?

सर्वर लॉग इस बात का एकमात्र ईमानदार रिकॉर्ड हैं कि किसने क्या उठाया। खुले वेब को क्रॉल करने वाली हर AI कंपनी एक यूज़र एजेंट स्ट्रिंग से अपनी पहचान देती है, और वे स्ट्रिंग प्रकाशित हैं। अगर आपके पास cPanel, अपने होस्ट के कंट्रोल पैनल या CDN डैशबोर्ड से रॉ एक्सेस लॉग तक पहुँच है, तो आप कुछ ही मिनटों में हर बॉट की विज़िट गिन सकते हैं।

# Count AI crawler hits in an Apache or Nginx access log
grep -Eoi "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-Web|
PerplexityBot|Perplexity-User|Google-Extended|Applebot-Extended|
CCBot|Bytespider|Amazonbot|meta-externalagent" access.log 
  | sort | uniq -c | sort -rn

# Which URLs is GPTBot actually fetching?
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

उस तालिका पर दो टिप्पणियाँ। Google-Extended कोई क्रॉलर नहीं है — यह robots.txt में इस्तेमाल होने वाला नियंत्रण टोकन है जिससे आप Gemini ट्रेनिंग की अनुमति देते या रोकते हैं, इसलिए वह लॉग में फ़ेच के रूप में नहीं दिखेगा। और ChatGPT-User देखने के लिहाज़ से सबसे दिलचस्प पंक्ति है: इसका मतलब है कि बातचीत के बीच किसी असली व्यक्ति के कारण आपका पेज उठाया गया। वहाँ बढ़ती गिनती आपके लॉग की किसी भी और चीज़ से ज़्यादा ट्रैफ़िक के संकेत के क़रीब है।

इनमें से कुछ भी मापने से पहले पक्का कर लें कि आप उन बॉट को ब्लॉक नहीं कर रहे जिन्हें आप चाहते हैं। GPTBot को डिसअलाउ करने वाला robots.txt ChatGPT के इंडेक्स से शून्य सिटेशन की गारंटी देता है, और बहुत-सी साइटें बिना जाने ऐसा नियम रखती हैं, जो किसी सुरक्षा प्लगइन या टेम्पलेट से विरासत में आया होता है। पहले अपनी फ़ाइल जाँचें।

https://www.youtube.com/watch?v=Lbs8OpANxko

एनालिटिक्स में AI रेफ़रल ट्रैफ़िक कैसे देखें?

AI रेफ़रल आपके एनालिटिक्स में पहले से दिखते हैं — बस वे रेफ़रल रिपोर्ट में उन होस्टनेम के तहत बिखरे हैं जिन्हें आप ढूँढ नहीं रहे। हल है उन्हें एक नामित चैनल में समूहित करना, ताकि पंक्तियाँ ढूँढने के बजाय आप रुझान देख सकें।

1. अपनी रेफ़रल या सोर्स रिपोर्ट खोलें और सेशन के हिसाब से सॉर्ट करें। ऐसे किसी भी होस्ट को देखें जिसमें chatgpt, openai, perplexity, copilot, gemini, claude, चैट पाथ वाला bing, या you.com हो।
2. कस्टम चैनल ग्रुप बनाएँ। GA4 में यह Admin → Data display → Channel groups है। “AI assistants” नाम का चैनल जोड़ें जिसके नियम में source इनमें से किसी स्ट्रिंग को contain करता हो।
3. इसे आगे के लिए लागू करें। GA4 के कस्टम चैनल ग्रुप सीमित अवधि से पहले के लिए पिछली तारीख़ पर लागू नहीं होते, इसलिए इसे इतिहास की ज़रूरत पड़ने से पहले बनाएँ, बाद में नहीं।
4. लैंडिंग-पेज का ब्रेकडाउन जोड़ें। AI इंजन लोगों को किन पेजों पर भेजते हैं, यह बताता है कि वे आपके किन पेजों को प्रामाणिक मानते हैं — कुल संख्या से कहीं ज़्यादा काम का संकेत।
5. एंगेजमेंट अलग से देखें। AI से आए विज़िटर के सवाल का पहले ही आधा जवाब मिल चुका होता है। उनका व्यवहार आमतौर पर सर्च विज़िटर से तेज़ी से अलग होता है, और उन्हें उन्हीं बेंचमार्क पर परखना आपको भटकाएगा।

एक चेतावनी जो सुनने से ज़्यादा मायने रखती है। कुछ AI इंटरफ़ेस, ख़ास तौर पर मोबाइल ऐप के भीतर, कोई रेफ़रर नहीं भेजते, इसलिए वे विज़िट आपके Direct बकेट में आ जाते हैं और किसी के आपका URL टाइप करने से अलग नहीं पहचाने जा सकते। अगर आपका Direct ट्रैफ़िक बिना वजह बढ़ा है, तो उसका एक हिस्सा AI रेफ़रल हो सकता है जो आप देख नहीं पा रहे। इसका कोई साफ़ तोड़ नहीं है; व्यावहारिक जवाब यह है कि Direct की बढ़त को रहस्य नहीं, कमज़ोर पुष्टिकारक संकेत मानें।

कैसे परखें कि AI इंजन सचमुच आपका हवाला देते हैं?

यह वह परत है जो सबसे ज़्यादा मायने रखती है और जिसे कोई डैशबोर्ड नहीं देता। तरीक़ा सादा है: उन सवालों की सूची बनाएँ जो आपके ग्राहक सचमुच पूछते हैं, हर सवाल हर इंजन से पूछें, और जो लौटे उसे दर्ज करें। लगातार करने पर यह AI जवाबों के लिए रैंक-ट्रैकिंग जैसा बन जाता है।

जिन प्रतिस्पर्धियों का हवाला आपकी जगह आता है, उन्हें दर्ज करें। पूरे अभ्यास का सबसे काम का आउटपुट वही सूची है, क्योंकि वह बताती है कि इंजन फ़िलहाल आपके विषय पर किन स्रोतों को प्रामाणिक मानते हैं — और आपके अपने हवाले और उल्लेख वहीं दिखने चाहिए।

कई व्यावसायिक टूल अब इस प्रॉम्प्ट-और-स्कोर लूप को कई इंजनों पर ऑटोमेट करते हैं। वे समय बचाते हैं, और बस इतना; मूल तरीक़ा ऊपर वाला ही है, और एक महीने इसे हाथ से चलाना आपको किसी भी डैशबोर्ड से ज़्यादा अपने बाज़ार के बारे में सिखाएगा। अगर आप कोई टूल लें, तो जाँच लें कि वह नए सेशन चलाता है, उन इंजनों को कवर करता है जो आपके दर्शक सचमुच इस्तेमाल करते हैं, और बताता है कि आपकी जगह किसका हवाला आया।

क्या Search Console AI Overview का डेटा दिखाता है?

आंशिक रूप से, और ऐसे तरीक़े से नहीं कि आप उसे अलग कर सकें। Google ने कहा है कि AI Overviews से इंप्रेशन और क्लिक Search Console की Performance रिपोर्ट में शामिल हैं, पर वे कुल Search आँकड़ों में घुले हैं और फ़िल्टर करने के लिए कोई अलग डायमेंशन नहीं है। क्लिक करने के लिए “AI Overviews” की कोई पंक्ति नहीं है।

जो आप कर सकते हैं वह है पैटर्न पढ़ना। किसी पेज का क्लिक होने की जगह सारांशित होने का हस्ताक्षर यह है कि इंप्रेशन स्थिर रहें या बढ़ें जबकि क्लिक गिरें, जो उन क्वेरी पर घटती क्लिक-थ्रू रेट के रूप में दिखता है जिनकी पोज़िशन नहीं बदली। यह सुझाव है, निर्णायक नहीं — मौसमी बदलाव और लेआउट के बदलाव भी यही आकार बनाते हैं — इसलिए कोई निष्कर्ष निकालने से पहले इसे संबंधित क्वेरी के एक समूह में देखें।

अगर आपको यह पैटर्न दिखे, तो जवाब इससे लड़ना नहीं है। पेज स्रोत के रूप में अपना काम कर रहा है; उसे क्लिक की ऐसी वजह चाहिए जिसकी जगह सारांश न ले सके — कैलकुलेटर, टेम्पलेट, मौजूदा कीमतें, डाउनलोड, आपका अपना डेटा। जिन पेजों का पूरा मूल्य सिर्फ़ परिभाषा है वे क्लिक खोते रहेंगे, और कोई भी मापन इसे नहीं बदलता।

हर महीने असल में क्या रिपोर्ट करें?

छह पंक्तियाँ काफ़ी हैं। मापन के किसी नए क्षेत्र में विस्तृत कुछ बनाने का लालच होता है, और शोर वाले डेटा पर विस्तृत रिपोर्टें आत्मविश्वास से भरे ग़लत निष्कर्ष पैदा करती हैं। इसे छोटा रखें, मासिक रखें, और निरपेक्ष संख्याओं की जगह दिशा देखें।

डेटा मिलने के बाद आप क्या बदलें?

मापन तभी एक घंटे के लायक है जब वह बदले कि आप क्या प्रकाशित करते हैं। तीन निष्कर्ष बार-बार सामने आते हैं, तीन काफ़ी साफ़ जवाबों के साथ।

• बहुत क्रॉल हुआ, कभी उद्धृत नहीं हुआ। इंजन आपको पढ़ सकते हैं पर आपको उद्धृत करने लायक नहीं पाते। अक्सर ढाँचे की समस्या: जवाब तीन पैराग्राफ़ नीचे दबा है, शीर्षक सवाल की जगह नारा है, मुख्य तथ्य इमेज के भीतर है। जवाब-पहले शैली में दोबारा लिखें।
• उद्धृत हुआ पर कभी क्लिक नहीं हुआ। सामान्य है और हमेशा समस्या नहीं। पेज में कुछ ऐसा जोड़ें जो सारांश नहीं ले जा सकता, और पक्का करें कि आपका ब्रांड नाम उस वाक्य के भीतर हो जिसके उद्धृत होने की संभावना है, ताकि लिंक के बिना भी उल्लेख मिले।
• प्रतिस्पर्धियों का हवाला लगातार आपकी जगह आ रहा है। देखें कि उन पेजों में ऐसा क्या है जो आपके में नहीं। अक्सर वह पहली-हाथ का डेटा, नामित विशेषज्ञ लेखक, साफ़ प्रकाशन तिथि, या बस ज़्यादा विशिष्ट संख्याएँ होती हैं।

तीनों सुधार कंटेंट का काम हैं, तकनीकी नहीं — जो AI विज़िबिलिटी मापन का शांत सबक़ है। लीवर वही हैं जो हमारी गाइड Google AI Overviews में कैसे दिखें और व्यापक लेख GEO और AEO के दौर में रैंकिंग फ़ैक्टर में हैं। तकनीकी पक्ष पर, पक्का करें कि जिन पेजों को आप उद्धृत करवाना चाहते हैं वे पहले इंडेक्स हो सकते हैं — देखें क्रॉल हुआ पर इंडेक्स नहीं — कि उनके तथ्य स्कीमा मार्कअप से मशीन-पठनीय हैं, और कि क्रॉलर मज़बूत इंटरनल लिंकिंग से उन तक पहुँच सकते हैं। अगर आप सोच रहे हैं कि llms.txt फ़ाइल प्रकाशित करें या नहीं, तो वह लेख बताता है कि वह क्या करती है और क्या नहीं।

इस महीने शुरू करें, मोटे तौर पर ही सही। AI विज़िबिलिटी ट्रैकिंग का मूल्य लगभग पूरी तरह रीडिंग के बीच की तुलना में है, यानी आज आप जो सबसे काम की चीज़ कर सकते हैं वह पहली रीडिंग लेना है। और व्यावहारिक गाइड हमारे टेक्नोलॉजी और डिजिटल मार्केटिंग सेक्शन में हैं।