Crawled – Currently Not Indexed: Google आपके पेज क्यों छोड़ देता है (और इसे कैसे ठीक करें)
“Crawled – currently not indexed” का मतलब है कि Googlebot ने आपका पेज सफलतापूर्वक खोला, उसे पढ़ा, और फिर उसे सर्च इंडेक्स में जोड़ने से मना कर दिया। यह कोई क्रॉल एरर, पेनल्टी या टूटा हुआ लिंक नहीं है। यह एक फ़ैसला है। Google ने पेज देखा और तय किया कि उसे सहेजना ज़रूरी नहीं है — आमतौर पर इसके पीछे साइट पर भरोसे की कमी, डुप्लिकेट कंटेंट, कम गुणवत्ता, या कोई कॉन्फ़िगरेशन की गलती होती है जिसकी वजह से पेज किसी और पेज की कॉपी जैसा दिखता है।
यह फ़र्क़ इसलिए मायने रखता है क्योंकि इससे समाधान पूरी तरह बदल जाता है। अगर यह क्रॉल एरर होता तो आप कोई लिंक या सर्वर रिस्पॉन्स ठीक करके आगे बढ़ जाते। लेकिन यह एक फ़ैसला है, इसलिए जब तक असली कारण नहीं बदलता, बार-बार सबमिट करने से नतीजा नहीं बदलेगा। इस गाइड में हम समझेंगे कि यह स्टेटस असल में क्या कहता है, लगभग हर मामले के पीछे के आठ कारण, 20 मिनट का डायग्नोस्टिक जो आप खुद चला सकते हैं, और वह एक कारण जिसे लगभग कोई नहीं जाँचता।
Crawled, Discovered, Indexed: तीनों स्टेटस का मतलब
Google Search Console में तीन स्टेटस हैं जो सुनने में एक जैसे लगते हैं लेकिन उनके मतलब बहुत अलग हैं। इन्हें सही से समझना पहला कदम है, क्योंकि हर एक अलग समस्या की ओर इशारा करता है।
अगर आपके ज़्यादातर पेज Discovered – currently not indexed में हैं, तो Google क्रॉल का ध्यान सीमित दे रहा है। यह आमतौर पर अथॉरिटी और ताज़गी की समस्या होती है। अगर वे Crawled – currently not indexed में हैं, तो Google ने उन्हें पढ़ने की मेहनत कर ली और फिर भी मना कर दिया। यह कहीं ज़्यादा गंभीर संकेत है, और इस गाइड का विषय यही है।
Google पेज क्रॉल करके भी क्यों छोड़ देता है: आठ कारण
Google हर URL का अलग कारण नहीं बताता, इसलिए जाँच एक-एक संभावना हटाते हुए करनी पड़ती है। व्यवहार में लगभग हर मामला इन आठ में से किसी एक में आता है, लगभग उसी क्रम में जिसमें वे सबसे ज़्यादा बार दोषी निकलते हैं।
ध्यान दीजिए कि इस सूची में क्या नहीं है: पेज स्पीड, मेटा डिस्क्रिप्शन की लंबाई, कीवर्ड डेंसिटी और छूटा हुआ alt टेक्स्ट। पेज इंडेक्स हो जाने के बाद रैंकिंग के लिए ये मायने रखते हैं, लेकिन पेज इंडेक्स न होने की वजह ये लगभग कभी नहीं होते। इन्हीं के पीछे भागना लोगों का एक महीना बर्बाद करने का सबसे आम तरीक़ा है।
वह कारण जिसे लगभग कोई नहीं जाँचता: आपकी प्रॉपर्टी गलत होस्ट देख रही है
यह कारण अपने अलग सेक्शन का हकदार है, क्योंकि यह सैकड़ों “crawled – currently not indexed” पंक्तियाँ पैदा करता है, कंटेंट सुधारने की हर कोशिश के बाद भी बना रहता है, और जब तक आप खास तौर पर इसे न देखें, दिखाई ही नहीं देता।
Google www.example.com और example.com को दो अलग वेबसाइट मानता है। अगर आपकी Search Console प्रॉपर्टी एक होस्ट पर रजिस्टर है और आपकी साइट असल में दूसरे होस्ट से चलती है, तो Google प्रॉपर्टी वाले होस्ट के URL क्रॉल करता रहेगा, हर बार पाएगा कि वे कहीं और रीडायरेक्ट हो रहे हैं, और उन्हें इंडेक्स करने से मना करता रहेगा। Pages रिपोर्ट में एक बड़ी, स्थिर संख्या दिखेगी जो कभी सुधरती नहीं, और वैलिडेशन की कोशिशें Failed आएँगी।
समाधान यह है कि URL-prefix प्रॉपर्टी की जगह Domain प्रॉपर्टी जोड़ें। इसे आपके रजिस्ट्रार पर DNS TXT रिकॉर्ड से वेरिफ़ाई किया जाता है, और यह www और non-www, http और https, तथा सभी सबडोमेन को एक ही प्रॉपर्टी में कवर करती है। वेरिफ़िकेशन के बाद नई प्रॉपर्टी पर अपना सिटमैप दोबारा सबमिट करें और Google को दोबारा क्रॉल करने के लिए एक-दो हफ़्ते दें। पुरानी प्रॉपर्टी को डिलीट न करें — पुराने URL इंडेक्स से कैसे हट रहे हैं, यह देखने के लिए वह काम आती है।
साथ ही यह भी जाँच लें कि आप जो सिटमैप सबमिट कर रहे हैं, वही आपकी साइट सचमुच देती है। अगर Rank Math जैसा SEO प्लगइन /sitemap_index.xml बना रहा है, लेकिन आपकी robots.txt WordPress के कोर वाले /wp-sitemap.xml का विज्ञापन कर रही है, तो आप क्रॉलर को बेवजह रीडायरेक्ट से गुज़ार रहे हैं और Sitemaps रिपोर्ट में “Couldn’t fetch” एरर दिखेंगे।
20 मिनट का डायग्नोस्टिक जो आप खुद चला सकते हैं
इन्हें क्रम से कीजिए। हर चरण या तो एक कारण को ख़ारिज करता है या उसे पहचान लेता है। क्रम जानबूझकर रखा गया है — अगर पाइपिंग ही गलत पते की ओर इशारा कर रही हो तो कंटेंट सुधारने का कोई फ़ायदा नहीं।
छठे चरण पर थोड़ा रुकना ज़रूरी है। मैन्युअल इंडेक्सिंग रिक्वेस्ट हर प्रॉपर्टी के लिए रोज़ लगभग दस से बारह URL तक सीमित हैं, इसलिए आप सबमिट करके बड़े बैकलॉग से बाहर नहीं निकल सकते। लेकिन आप एक छोटे बैच को टेस्ट की तरह इस्तेमाल कर सकते हैं। अगर सीधे रिक्वेस्ट के बाद पाँच अच्छे पेज इंडेक्स हो जाते हैं, तो अड़चन क्रॉल बजट थी और आगे का रास्ता अथॉरिटी और इंटरनल लिंकिंग है। अगर वे फिर भी इंडेक्स नहीं होते, तो आकलन साइट के स्तर पर हो रहा है और पेज-दर-पेज मेहनत से कुछ नहीं बदलेगा।
असल में क्या काम करता है
जब आप जान लें कि कौन-सा कारण है, तो उपाय काफ़ी हद तक समझे हुए हैं। साथ ही वे ज़्यादातर SEO सलाह से धीमे और कम आरामदेह हैं।
ज़्यादा नहीं, कम पब्लिश करें
यह उलटी लगने वाली बात है। अगर तीन सौ पेज इंडेक्स नहीं हुए हैं, तो पचास और जोड़ने से मदद नहीं मिलती — इससे क्रॉल बजट और बँट जाता है और साइट को रोक रहा गुणवत्ता का संकेत और पक्का होता है। Google गुणवत्ता का आकलन आपके पूरे प्रकाशित कंटेंट पर करता है, यानी कमज़ोर पेज आपको सीधे नुकसान पहुँचाते हैं। जो मौजूद है उसका ऑडिट करके पतले आधे हिस्से को हटाना या मिलाना आमतौर पर किसी भी नए कंटेंट से ज़्यादा कारगर होता है।
मिलते-जुलते लेखों को एक करें
अगर आठ लेख एक-दूसरे से मिलते विषय पर हैं, तो वे उन्हीं क्वेरी के लिए आपस में मुक़ाबला करते हैं और कोई भी निर्णायक नहीं लगता। उन्हें एक विस्तृत लेख में मिलाकर बाकी को 301 से रीडायरेक्ट करने पर संकेत एक जगह केंद्रित होता है। एक मज़बूत पेज आठ कमज़ोर पेजों से बेहतर है, इंडेक्सिंग के लिए भी और 2026 में रैंकिंग के लिए भी।
अपनी इंटरनल लिंकिंग सुधारें
ऑर्फ़न पेज — यानी जिन पर कोई इंटरनल लिंक नहीं जाता — Google को बताते हैं कि आप उन्हें अहम नहीं मानते। इंडेक्स होने लायक हर पेज आपके नेविगेशन या किसी हब पेज से दो-तीन क्लिक के भीतर पहुँचने योग्य होना चाहिए। जो कैटेगरी और पिलर पेज अपने कंटेंट का सच में वर्णन करते हैं और उससे लिंक करते हैं, वे क्रॉलर और पाठक दोनों के लिए असली काम करते हैं।
बाहरी संकेत कमाएँ
साइट पर भरोसा बनाना सबसे कठिन कारण है और बड़े पैमाने पर सबसे आम भी। दूसरी भरोसेमंद साइटों के आपका हवाला देने का कोई तकनीकी विकल्प नहीं है। डायरेक्टरी सबमिशन और बुकमार्किंग से यह नहीं होगा; असली उल्लेख, स्थापित प्रकाशनों में अतिथि लेख, और मौलिक शोध या डेटा जिसे लोग उद्धृत करें, इससे होगा। यह महीनों में नापा जाने वाला धीमा काम है, और इसी वजह से एक साफ़-सुथरी साइट भी इंडेक्स होने में जूझ सकती है।
क्या काम नहीं करता
उतनी ही काम की एक सूची, क्योंकि इनमें से हर एक वह समय खा जाता है जो कहीं और काम आ सकता था।
- वही URL बार-बार दोबारा सबमिट करना। Google उनका आकलन कर चुका है। दोबारा पूछने पर वही फ़ैसला मिलता है।
- Indexing API और थर्ड-पार्टी “इंस्टेंट इंडेक्स” सेवाएँ। Google की Indexing API आधिकारिक रूप से सिर्फ़ जॉब पोस्टिंग और लाइव-स्ट्रीम मार्कअप तक सीमित है। बाकी सब या तो अनदेखा होता है या जोखिम भरा।
- मेटा डिस्क्रिप्शन दोबारा लिखना। वे पहले से मौजूद रिज़ल्ट पर क्लिक-थ्रू रेट को प्रभावित करते हैं। पेज इंडेक्स होगा या नहीं, इससे उनका कोई संबंध नहीं।
- PageSpeed का परफ़ेक्ट स्कोर पाने के पीछे भागना। यूज़र के लिए करना ठीक है, लेकिन कुछ अनोखा देने वाला धीमा पेज भी इंडेक्स हो जाता है, और कुछ न देने वाला तेज़ पेज नहीं होता।
- पतले पेज पर और स्कीमा जोड़ना। स्ट्रक्चर्ड डेटा कंटेंट का वर्णन करता है। जहाँ मूल्य नहीं है, वहाँ वह मूल्य पैदा नहीं करता।
रिकवरी में कितना समय लगता है
उम्मीदें यहाँ मायने रखती हैं, क्योंकि कारण ठीक करने के बाद सबसे आम गलती यह है कि बहुत जल्दी मान लिया जाता है कि सुधार काम नहीं आया।
देखने की चीज़ रफ़्तार नहीं, दिशा है। अगर इंडेक्स न हुए पेजों की संख्या हफ़्ते-दर-हफ़्ते घट रही है, भले धीरे-धीरे, तो सुधार काम कर रहा है। अगर किसी असली बदलाव के बाद भी एक महीने तक वह बिल्कुल स्थिर है, तो कुछ और अब भी गलत है और डायग्नोस्टिक के पहले चरण पर लौटना ठीक रहेगा।
AI सर्च पर एक बात
AI जवाबों के बढ़ने के साथ इंडेक्सिंग का महत्व कम नहीं, बल्कि बढ़ा है। AI इंजन उस पेज का हवाला नहीं दे सकता जो उसे मिलता ही नहीं, और ज़्यादातर जनरेटिव जवाब उन पेजों से आते हैं जो पारंपरिक सर्च में पहले से इंडेक्स और रैंक हैं। अगर आप AI Overviews में आने या ChatGPT और Perplexity में उद्धृत होने पर काम कर रहे हैं, तो इंडेक्सिंग अलग रास्ता नहीं, पहली शर्त है। पहले उसे ठीक करें, फिर एक्सट्रैक्टेबिलिटी, स्ट्रक्चर्ड डेटा और ऑथर एट्रिब्यूशन की चिंता करें।
कल कहाँ से शुरू करें
अगर आप इस गाइड से एक ही बात लें, तो डायग्नोस्टिक का क्रम लें। होस्ट पक्का करें, प्रॉपर्टी का मिलान करें, जाँचें कि सिटमैप खुलता है, मैन्युअल एक्शन की संभावना हटाएँ, फिर पाँच मज़बूत पेजों को टेस्ट करें। ये पाँच जाँचें बीस मिनट लेती हैं और बता देती हैं कि आपके सामने कॉन्फ़िगरेशन की ऐसी खराबी है जो इसी हफ़्ते ठीक हो सकती है या अथॉरिटी की ऐसी समस्या जिसमें महीने लगेंगे।
ज़्यादातर लोग सीधे कंटेंट दोबारा लिखने लगते हैं, क्योंकि उसमें प्रगति महसूस होती है। आमतौर पर वह प्रगति नहीं होती। पेज उन कारणों से कभी अस्वीकार हुए ही नहीं थे जिन्हें ठीक किया जा रहा है — और एक महीना लिखने के बाद यह पता चलना सीखने का दर्दनाक तरीक़ा है।
संबंधित पढ़ने के लिए हमारी गाइड देखें: सबसे ज़्यादा असर वाले ऑन-पेज SEO एलिमेंट, आसान चरणों में SEO सीखें, और वेबसाइट ट्रैफ़िक बढ़ाने के 48 तरीक़े। सब कुछ टेक्नोलॉजी सेक्शन में देख सकते हैं।
अक्सर पूछे जाने वाले सवाल
Google Search Console में “Crawled – currently not indexed” का क्या मतलब है?
इसका मतलब है कि Googlebot ने आपका पेज सफलतापूर्वक खोला और पढ़ा, फिर उसे सर्च इंडेक्स में जोड़ने से मना कर दिया। यह कोई एरर या पेनल्टी नहीं है। यह गुणवत्ता और प्रासंगिकता का फ़ैसला है, जो आमतौर पर साइट पर भरोसे, अन्य पेजों से डुप्लिकेशन, पतले कंटेंट, या ऐसे कॉन्फ़िगरेशन बेमेल से होता है जिससे पेज किसी और URL की कॉपी लगता है।
यह “Discovered – currently not indexed” से कैसे अलग है?
Discovered का मतलब है कि Google को URL का पता है पर उसने अभी उसे खोला नहीं है, जो आमतौर पर कम अथॉरिटी वाली साइट पर क्रॉल बजट की ओर इशारा करता है। Crawled का मतलब है कि Google पेज खोलने और पढ़ने की मेहनत कर चुका है और फिर भी उसे रखने से मना किया, जो पेज या साइट के बारे में कहीं ज़्यादा नकारात्मक संकेत है।
क्या Search Console में इंडेक्सिंग की रिक्वेस्ट करने से यह ठीक हो जाएगा?
अकेले शायद ही। मैन्युअल रिक्वेस्ट हर प्रॉपर्टी के लिए रोज़ लगभग दस से बारह URL तक सीमित हैं, और जिस पेज का Google आकलन कर चुका है उसे दोबारा सबमिट करने पर वही फ़ैसला मिलता है। छोटे बैच को डायग्नोस्टिक की तरह इस्तेमाल करें: अगर पाँच मज़बूत पेज सीधी रिक्वेस्ट के बाद इंडेक्स हो जाते हैं, तो अड़चन क्रॉल बजट थी; अगर नहीं, तो समस्या साइट के स्तर की है।
क्या गलत Search Console प्रॉपर्टी इसका कारण बन सकती है?
हाँ, और यह अक्सर छूट जाता है। Google www और non-www को अलग वेबसाइट मानता है। अगर आपकी प्रॉपर्टी एक होस्ट पर रजिस्टर है और साइट दूसरे से चलती है, तो Google ऐसे URL क्रॉल करता रहता है जो कहीं और रीडायरेक्ट होते हैं और उन्हें इंडेक्स करने से मना करता रहता है। DNS TXT रिकॉर्ड से वेरिफ़ाई की गई Domain प्रॉपर्टी www, non-www, http और https सबको एक साथ कवर करती है और इसे दोबारा होने से रोकती है।
कारण ठीक करने के बाद रिकवरी में कितना समय लगता है?
गलत प्रॉपर्टी या टूटे सिटमैप जैसी कॉन्फ़िगरेशन की खराबी में आमतौर पर कुछ दिनों से दो हफ़्ते के भीतर दोबारा क्रॉल शुरू हो जाता है। डुप्लिकेट को एक करने में दो से छह हफ़्ते लगते हैं। स्पैम स्ट्रक्चर्ड डेटा से उबरने में हफ़्ते से महीने लगते हैं। साइट पर भरोसा बनाने में तीन से बारह महीने लगते हैं। रफ़्तार की जगह इंडेक्स न हुए पेजों की संख्या की दिशा पर नज़र रखें।
क्या पेज स्पीड इस बात को प्रभावित करती है कि पेज इंडेक्स होगा या नहीं?
लगभग कभी नहीं। पेज स्पीड और Core Web Vitals पेज के इंडेक्स में आने के बाद रैंकिंग और यूज़र अनुभव को प्रभावित करते हैं। वास्तव में उपयोगी कंटेंट वाला धीमा पेज भी इंडेक्स हो जाता है, और कुछ भी अलग न कहने वाला तेज़ पेज फिर भी नहीं होता। PageSpeed का परफ़ेक्ट स्कोर पाने के पीछे भागना इंडेक्सिंग समस्या पर समय बर्बाद करने का सबसे आम तरीक़ा है।
क्या इंडेक्सिंग ठीक करने के लिए और कंटेंट पब्लिश करना चाहिए?
आमतौर पर इसका उलटा। अगर सैकड़ों पेज पहले से इंडेक्स नहीं हुए हैं, तो नए पेज क्रॉल बजट को और बाँट देते हैं और साइट को रोक रहे गुणवत्ता के संकेत को पक्का करते हैं। Google गुणवत्ता का आकलन आपके पूरे प्रकाशित कंटेंट पर करता है, इसलिए कमज़ोर पेज सीधे नुकसान पहुँचाते हैं। ऑडिट करना, मिलाना और पतला कंटेंट हटाना आमतौर पर और जोड़ने से ज़्यादा कारगर है।
