Robots. txt फ़ाइलें कैसे लिखे और Upload करे

 

जब किसी search engine बॉट (जैसे कि Googlebot) एक वेबसाइट पर जाता है, तो पहले वह उस वेबसाइट के रोबॉट्स.टेक्स्ट फ़ाइल को खोजता है। फ़ाइल में दिए गए निर्देशों के आधार पर, बॉट जान सकता है कि वह किन Page  को क्रॉल कर सकता है और किन पृष्ठों को नहीं। इसका मतलब होता है कि  अपनी वेबसाइट की गड़बड़ी, को नियंत्रित करने, खास वेब Page  को छिपाने और  रोबॉट्स.टेक्स्ट फ़ाइल का प्रयोग करते हैं।जब किसी सर्च इंजन बॉट (जैसे कि Googlebot) एक वेबसाइट पर जाता है, तो पहले वह उस वेबसाइट के रोबॉट्स.टेक्स्ट फ़ाइल को खोजता है। फ़ाइल में दिए गए निर्देशों के आधार पर, बॉट जान सकता है कि वह किन Page  को क्रॉल कर सकता है और किन Page  को नहीं। इसका मतलब होता है  खास वेब Page  को छिपाने और सर्च इंजन में विशिष्ट Page  को प्राथमिकता देने में रोबॉट्स.टेक्स्ट फ़ाइल का प्रयोग करते हैं।

Robots .txt क्या है। 

Robots .txt एक फ़ाइल है जिसका उपयोग वेबसाइट के क्रॉलर्स के लिए किया जाता है, जिन्हे बॉट्स या स्पाइडर भी कहा जाता है जो यह निर्देश देता है कि वेबसाइट के वेब पेज को क्रॉल करना है या किसी पेज को क्रॉल नहीं करना है, उनके बारे में निर्देश प्रदान करने के लिए की जाती है। यह रोबॉट एक्सक्लूजन प्रोटोकॉल का हिस्सा होता है और यह Operation को नियंत्रित करने में महत्वपूर्ण भूमिका निभाती है कि search engine bots किस तरह से Website  की Content के साथ interact हों।

Robots .txt क्यों Use  करते है 

Robots.txt file  Google Search  Console  द्वारा  वेबसाइट के लिए वेब Crawler के दिशा-निर्देशिका के रूप में उपयोग की जाती है। इसका मुख्य उद्देश्य होता है कि वेबसाइट के अलग-अलग हिस्सों तक केवल Specific Web Crawler  और बोट्स की पहुँच हो, जिन्हें Webmaster  अनुमति देना चाहते हैं।

यहाँ कुछ मुख्य कारण दिए जा रहे हैं जिनके लिए Robots.txt file फ़ाइल का उपयोग किया जाता है:

Privacy Protection: 

Website पर ऐसे कुछ पेज्स हो सकते हैं जिन्हें सार्च इंजन्स और अन्य वेब क्रॉलर्स को नहीं दिखाना चाहिए, क्योंकि ये User के लिए  नहीं हो सकते हैं।

Allow Specific Crawlers: 

अगर आप चाहते है की हमारे Web Page को सिर्फ Google का क्रॉलर्स  ही क्रॉल  कर सकते  हैं कि केवल कुछ विशिष्ट वेब क्रॉलर्स ही कुछ विशिष्ट पेज्स को क्रॉल करें, जैसे कि ।

Google , Yahoo ,Bing 

Spam and Unwanted Bots Prevention: 

कुछ अनचाहे बोट्स आपकी वेबसाइट को क्रॉल करके अनचाहे activities को कर सकते हैं। "robots.txt" फ़ाइल से आप ऐसे बोट्स की पहुँच को रोक सकते हैं।

Protecting the Source of the Website: 

कुछ वेबसाइट्स में specific dynamic पेज्स होते हैं जो उनके source को प्रकट नहीं करने चाहते होते हैं, तो उन्हें वेब क्रॉलर्स से बचाने के लिए "robots.txt" का उपयोग किया जा सकता है।

इन सभी कारणों से, "robots.txt" फ़ाइल एक महत्वपूर्ण टूल है जो वेबमास्टर्स को उनकी वेबसाइट की सुरक्षा, और अनुकूलन का प्रबंधन करने में मदद करता है।

Blogger और WordPress में robots.txt का उपयोग कैसे करें

ब्लॉगर (Blogger) में Robots.txt का उपयोग:

Blogger  Dashboard पर लॉगिन करें: 

सबसे पहले अपने Blogger अकाउंट में लॉगिन करें।

Settings पर जाएं: 

डैशबोर्ड में लॉगिन करने के बाद, आपको "सेटिंग्स" विकल्प पर क्लिक करना होगा।

General Settings में जाएं: सेटिंग्स में जाने के बाद, General  विकल्प पर क्लिक करें।

Robots.txt पर क्लिक करें: 

सामान्य सेटिंग्स में स्क्रॉल करके, Robots.txt सेक्शन में जाएं और Robots.txt Custom  विकल्प को चुनें।

आवश्यक बदलाव करें: आपको अपने आवश्यकताओं के अनुसार robots.txt फ़ाइल को बदलना होगा। आपकी वेबसाइट के अलग-अलग खंडों को क्रॉल होने की अनुमति देने और मना करने के लिए इस फ़ाइल में निर्देश दिए जा सकते हैं।

Save करे :

 आपके बदलावों को करने के बाद, बस "सेव करें" बटन पर क्लिक करें ताकि आपके रोबोट्स.टेक्सट फ़ाइल अपडेट हो सके।

वर्डप्रेस (WordPress) में Robots.txt का उपयोग:

डैशबोर्ड पर लॉगिन करें: 

अपने WordPress अकाउंट में लॉगिन करें।

SEO प्लगइन का उपयोग करें : 

यदि आपने किसी SEO प्लगइन को इंस्टॉल किया है, तो आप उसका उपयोग करके रोबोट्स.टेक्सट फ़ाइल बना सकते हैं।

Robots.txt फ़ाइल बनाएं : 

यदि आपके पास कोई SEO प्लगइन नहीं है, तो आपको खुद से रोबोट्स.टेक्सट फ़ाइल बनानी होगी। इसे अपने WordPress रूट डायरेक्टरी में डालें।

आवश्यक बदलाव करें: 

रोबोट्स.टेक्सट फ़ाइल में, आपकी वेबसाइट के अलग-अलग खंडों को क्रॉल होने की अनुमति देने और मना करने के लिए आवश्यक निर्देश दें।

सेव करें: 

आपके रोबोट्स.टेक्सट फ़ाइल को सेव करना न भूलें, ताकि आपके बदलाव लागू हो सकें।

ध्यान दें कि आपको आवश्यक जानकारी के बिना रोबोट्स.टेक्सट फ़ाइल में कोई बदलाव करने से पहले सावधानी बरतनी चाहिए। आपकी वेबसाइट के सही फ़ंक्शनिंग को प्रभावित कर सकता है।

 Robots .txt use नहीं करते है तो क्या होगा।

Robots.txt फ़ाइल का उपयोग करने का मुख्य उद्देश्य यह है कि आप search engine बॉट्स को बता सकें कि वे आपकी वेबसाइट के किन-किन Page को क्रॉल कर सकते हैं और किन-किन Page को नहीं। यदि आप Robots.txtट फ़ाइल का उपयोग नहीं करते हैं, तो search engine बॉट्स को आपकी साइट के सभी Page तक पहुँचने की अनुमति होती है। इसका मतलब होता है कि आपकी साइट के प्रत्येक Page को search engine क्रॉल करेगा, जिसमें आपके Control के बिना भी pages को क्रॉल किया जा सकता है। जिस से आपकी साइट की कुछ Page जैसे कि निजी या सुरक्षित जानकारी, search engine के द्वारा देखी जा सकती है, इसके अलावा, सर्च इंजन बॉट्स को आपकी साइट के सभी Page तक पहुँचकर साइट के Speed और Performance में समस्या हो सकती है। अगर आप Page को सर्च इंजन क्रॉल से रोकना चाहते हैं या आपकी साइट पर कुछ खास निर्देश देने की आवश्यकता हो, तो Robots.txt फ़ाइल का उपयोग करना महत्वपूर्ण हो सकता है।

Robots.txt फाइल कैसे बनाये

Robots.txt फ़ाइल बनाने के लिए आपको। . txt फ़ाइल बनानी होगी, जिसमें आप Search बॉट्स को किन Page को क्रॉल करने की अनुमति देते हैं और किन Page को नहीं देते हैं। यहाँ आपको एक साधारण उदाहरण दिया गया है: यदि आप सभी बॉट्स को सभी Page को क्रॉल करने की अनुमति देना चाहते हैं: User-agent: * Disallow: Page URL यहाँ, Page URL की जगह पर आप के page का जो URL है वो होना चाहिए, जिसे आपके बॉट्स को क्रॉल नहीं करने देना चाहते हैं। यदि आपकी साइट का कुछ हिस्सा क्रॉल होने से बचाना चाहते हैं, तो उपर रोबॉट्स.टीएक्सट फ़ाइल को बनाने के लिए आपको आपकी वेबसाइट की संरचना और आवश्यकताओं के आधार पर आपको इसका तय करना होगा। जब आप यह Content तैयार कर लेंगे, तो आपको उसे "robots.txt" नाम से Save होगा और आपकी वेबसाइट के रूट डायरेक्टरी में रखना होगा। जैसे कि, "https://www.example.com/robots.txt". यदि आपके पास पहले से ही robots.txt फ़ाइल हो, तो उसे Edit करके बदलाव कर सकते हैं।

Upload  कहा करे 

Robots.txt फ़ाइल को आपकी वेबसाइट के रूट डायरेक्टरी में अपलोड करना होता है। यह एक साधारण प्रक्रिया है जो निम्नलिखित कदमों में किया जा सकता है:

Create or edit करें: पहले तो आपको अपनी robots.txt फ़ाइल बनानी है या उसे Edit  करना है, जैसा कि पहले बताया गया  है।

Upload करें: फ़ाइल बनाने के बाद, आपको उसे अपनी वेबसाइट के रूट डायरेक्टरी में अपलोड करना होगा। यह रूट डायरेक्टरी आपकी डोमेन के साथ जुड़ी होती है, जैसे कि "https://www.example.com/robots.txt". आप इसे FTP (File Transfer Protocol) के माध्यम से अपलोड कर सकते हैं या अपने होस्टिंग के पैनल में उपलब्ध फ़ाइल मैनेजर का उपयोग करके भी कर सकते हैं।

Confirm करे : एक बार फ़ाइल अपलोड करने के बाद, आपको यह सुनिश्चित करना होगा कि यह सही जगह पर अपलोड हुई है। आप ब्राउज़र में "https://www.example.com/robots.txt" टाइप करके देख सकते हैं कि फ़ाइल सही तरीके से पहुँच रही है या नहीं।

Verify करें: फ़ाइल को Verify  करने के लिए आप  "Robots Testing Tool" या अन्य सर्च इंजनों के ऑनलाइन उपकरण का उपयोग कर सकते हैं। इससे आप देख सकते हैं कि आपकी robots.txt फ़ाइल सर्च इंजन बॉट्स के लिए सही है या नहीं।

यदि आप अपनी वेबसाइट के होस्टिंग  के साथ काम कर रहे हैं, तो वे आपको robots.txt फ़ाइल अपलोड करने की प्रक्रिया के बारे में अधिक जानकारी प्रदान कर सकते हैं।