Robots.txt File क्या है? इसे ब्लॉग या वेबसाइट पर कैसे जोड़ें?

Robots.txt आपकी वेबसाइट के मूल में रखी गई एक साधारण टेक्स्ट फ़ाइल होता है। यह Googleboot जैसे वेब क्रॉलरों को बताता है कि उन्हें कोई फ़ाइल क्रॉल करनी चाहिए या नहीं।

Robots.txt फ़ाइल और खोज इंजन bot, खोज इंजन कैसे काम करते हैं, इसके मूलभूत पहलू हैं। यह फ़ाइल नियंत्रित करती है कि खोज इंजन मकड़ियों आपके पृष्ठों को कैसे क्रॉल करेंगे। इसका गलत उपयोग आपकी रैंकिंग को नुकसान पहुंचा सकता है। इसलिए, आपको robots.txt के बारे में विस्तार से सीखना चाहिए।

यहां robots.txt के कुछ सामान्य उदाहरण दिए गए हैं।

Robots.txt फ़ाइल का उपयोग कैसे करें?

जब एक robots.txt फ़ाइल की बात आती है, तो चार महत्वपूर्ण चीजें हैं जो किसी भी वेबमास्टर या ब्लॉगर को करनी चाहिए।

• सुनिश्चित करें कि आपकी वेबसाइट में robots.txt फ़ाइल है या नहीं।
• यदि आपकी वेबसाइट में यह है, तो सुनिश्चित करें कि यह आपकी रैंकिंग या सामग्री को अवरुद्ध नहीं कर रहा है जिसे आप ब्लॉक नहीं करना चाहते हैं।
• निर्धारित करें कि क्या आपको robots.txt फ़ाइल की आवश्यकता है।
• उन पृष्ठों को robots.txt से ब्लॉक करें जिन्हें आप खोज इंजन द्वारा क्रॉल नहीं करना चाहते हैं।

अपनी वेबसाइट में Robots.txt की जाँच करें

यह जांचना आसान है कि आपकी वेबसाइट में robots.txt फ़ाइल है या नहीं। आप इसे किसी भी वेब ब्राउजर पर देख सकते हैं। बस नीचे दिखाए गए अनुसार अपने डोमेन नाम के अंत में “/robots.txt” जोड़ें और वेब ब्राउज़र के URL बार में दर्ज करें।

निर्धारित करें कि क्या आपके robots.txt महत्वपूर्ण फ़ाइलों को रोक रहा है

आप अपनी robots.txt फ़ाइल का परीक्षण करने के लिए Google के Robot.txt परीक्षण उपकरण का उपयोग कर सकते हैं। फ़ाइलों का परीक्षण करने के लिए अपने Google खोज कंसोल खाते में लॉगिन करें। जैसा कि नीचे दिखाया गया है, अपनी वेबसाइट का कोई भी URL दर्ज करें, जानने के लिए कि क्या यह robots.txt द्वारा अवरुद्ध है।

क्या आपको robots.txt फ़ाइल की आवश्यकता है?

आपको अपनी साइट पर robots.txt फ़ाइल की आवश्यकता भी नहीं हो सकती है। वास्तव में, कई वेबसाइटों को robots.text फ़ाइल की आवश्यकता नहीं होती है। उदाहरण के लिए, एक साधारण ब्लॉग को किसी भी robots.txt की आवश्यकता नहीं है। हालांकि, जटिल ई-कॉमर्स साइटों को खोज इंजन से उपयोगकर्ता लॉगिन पृष्ठ और उपयोगकर्ता खातों को ब्लॉक करने के लिए कई robots.txt फ़ाइलों की आवश्यकता होती है। किसी ब्लॉग का वर्डप्रेस लॉगिन पेज डिफ़ॉल्ट रूप से robots.txt द्वारा अवरुद्ध किया जाता है।

आपकी वेबसाइट के लिए robots.txt फ़ाइलों की आवश्यकता के कई कारण हो सकते हैं:

• आपके पास सामग्री है जिसे आप खोज इंजन से ब्लॉक करना चाहते हैं
• आप भुगतान किए गए लिंक या विज्ञापनों का उपयोग कर रहे हैं जिन्हें रोबोट के लिए विशेष निर्देशों की आवश्यकता होती है
• आप प्रतिष्ठित रोबोटों के लिए अपनी साइट की पहुंच सुधारना चाहते हैं
• आप एक ऐसी साइट विकसित कर रहे हैं जो लाइव है, लेकिन आप इसे अभी तक खोज इंजन द्वारा अनुक्रमित नहीं करना चाहते हैं।

Robots.txt फ़ाइल कैसे बनाते हैं

Robots.txt फ़ाइल बनाना बहुत आसान है। यह सिर्फ एक सामान्य पाठ फ़ाइल है। आप इसे केवल टाइप करके या कॉपी करके और पेस्ट करके बना सकते हैं। Robots.txt फ़ाइल बनाने के लिए आपको किसी तकनीकी कौशल की आवश्यकता नहीं है। आप इसे बनाने के लिए नोटपैड या किसी अन्य सादे पाठ संपादक का उपयोग कर सकते हैं। आप उन्हें एक कोड संपादक में भी बना सकते हैं। यह एक साधारण और संक्षिप्त नोट बनाने जैसा है। निम्नलिखित उदाहरण लें –

User-agent: *
Allow: /

बस, एक robort.txt फाइल बन गया, जिस मे आप सभी सर्च इंजन बोट को आपके वेबसाइट क्रॉल करने ने लिए अनुमति दे दी है।

आपको बस robots.txt निर्देश की अवधारणाओं और अर्थ को जानने की आवश्यकता है। इसे नीचे समझाया गया है।

User-agent

Robots.txt फ़ाइल के संदर्भ में, एक User-agent एक खोज इंजन रोबोट है। सभी खोज इंजनों में उपयोगकर्ता-एजेंटों के विशिष्ट सेट होते हैं। उदाहरण के लिए, अकेले Google के पास सात प्रकार के यूजर-एजेंट हैं। विभिन्न प्रकार के यूजर-एजेंट आपकी वेबसाइट पर विभिन्न तत्वों को क्रॉल करते हैं। उदाहरण के लिए, यदि आपके पास एक समाचार वेबसाइट है, तो Googlebot-news पृष्ठों को क्रॉल करेगा।

Robots.txt फ़ाइल बनाते समय, आप या तो किसी विशिष्ट यूजर-एजेंट को अपनी वेबसाइट पर किसी फ़ाइल को क्रॉल करने या क्रॉल नहीं करने का निर्देश दे सकते हैं या आप सभी यूजर-एजेंटों के लिए एक ही निर्देश सेट कर सकते हैं। एक “*” चिह्न सभी यूजर-एजेंटों को संदर्भित करता है। निम्नलिखित उदाहरण देखें:

User-agent: *
Allow: /

इस उदाहरण में, आपने सभी क्रॉलर को अपनी वेबसाइट के सभी पृष्ठों को क्रॉल करने की अनुमति दी है।

एक और उदाहरण देखें:

User-agent: google-video
Disallow: /

इस उदाहरण में, आपने अपने पृष्ठों को क्रॉल करने के लिए Googlebot-video को रोक दिया है।

Rules

उपयोगकर्ता-एजेंट या खोज इंजन क्रॉलर के लिए दो नियम हो सकते हैं। वे हैं – “allow” और “disallow”। इसका मतलब है कि आप या तो एक पृष्ठ को क्रॉल करने की अनुमति दे सकते हैं या नहीं दे सकते है। निम्न उदाहरण देखें:

Directory Path

निर्देशिका पथ आपकी वेबसाइट पर फ़ाइलें, फ़ोल्डर और पृष्ठ हैं। एक “/” चिह्न सभी फ़ाइलों और पृष्ठों को संदर्भित करता है। आप किसी फ़ाइल या फ़ोल्डर को “/” चिह्न के बाद निर्दिष्ट कर सकते हैं। निम्न उदाहरण देखें।

अपनी वेबसाइट पर Robotrs.txt फ़ाइल कैसे सेट करें?

अपनी वेबसाइट पर robots-txt फ़ाइल सेट करने के लिए, आपको या तो अपनी रूट डायरेक्टरी को एक्सेस करना होगा या एक प्लगइन का उपयोग करना होगा।

यदि आप एक वर्डप्रेस उपयोगकर्ता हैं, तो आप इसे अपने एसईओ प्लगइन द्वारा कर सकते हैं। अपने एसईओ प्लगइन के robots.txt सेटिंग अनुभाग पर जाएं। यह इस तरह दिखेगा:

विशिष्ट बॉक्स में उपयोगकर्ता-एजेंट का नाम दर्ज करें। ड्रॉप-डाउन से या तो “Allow” या “Disallow” चुनें। अपनी आवश्यकता के अनुसार निर्देशिका पथ दर्ज करें और “Add Rule” पर क्लिक करें। नियम बनाते समय, इस पोस्ट के पिछले भाग का पालन करें।