Robots.txt जनरेटर
तुमच्या वेबसाइटसाठी robots.txt फाइल तयार करा.
Robots.txt ही तुमच्या वेबसाइटच्या रूट डिरेक्टरीमध्ये असणारी एक टेक्स्ट फाइल आहे जी सर्च इंजिन क्रॉलर्सना कोणती पेजेस क्रॉल करायची आणि कोणती दुर्लक्षित करायची हे सांगते. योग्यरित्या कॉन्फिगर केलेली robots.txt स्टेजिंग एन्व्हायर्नमेंट्स, अॅडमिन पेजेस आणि प्रायव्हेट URLs इंडेक्स होण्यापासून वाचवते, तसेच तुमचे महत्त्वाचे कंटेंट पूर्णपणे क्रॉल होईल याची खात्री करते. हे जनरेटर तुमच्या वेबसाइटच्या प्रकारानुसार (WordPress, कस्टम, ई-कॉमर्स) सर्वात सामान्य डायरेक्टिव्ह्जसह योग्य फॉरमॅटमधील robots.txt तयार करते.
📋 हे कॅल्क्युलेटर कसे वापरावे
तुमचा CMS किंवा वेबसाइट प्रकार निवडा (WordPress, Shopify, कस्टम). जनरेटर disallow करण्यासाठी सामान्य डिरेक्टरीज (wp-admin, cart, checkout, staging) आधीच भरून देतो. रूल बिल्डर वापरून कस्टम allow आणि disallow रूल्स जोडा. पर्यायाने तुमचा sitemap URL आणि crawl delay जोडा. जनरेटर प्रीव्ह्यू दाखवतो आणि प्रत्येक रूल काय करतो हे समजावतो. आउटपुट कॉपी करून "robots.txt" नावाच्या टेक्स्ट फाइलमध्ये पेस्ट करा आणि तुमच्या डोमेनच्या रूटवर अपलोड करा.
💡 महत्त्वाची माहिती
Robots.txt सिंटॅक्स: User-agent: * (सर्व बॉट्सना लागू), User-agent: Googlebot (फक्त Google साठी). Disallow: /admin/ (पाथ ब्लॉक करणे). Allow: /admin/public/ (ब्लॉक केलेल्या पाथमधील काही भाग अनुमत करणे). Crawl-delay: 10 (रिक्वेस्ट्समधील सेकंदांचे अंतर — Googlebot हे पालन करत नाही; त्यासाठी Google Search Console मधील crawl rate सेटिंग्ज वापरा). Sitemap: https://example.com/sitemap.xml. सामान्य रूल्स: WordPress: disallow /wp-admin/, /wp-includes/, /?s= (सर्च रिझल्ट्स). ई-कॉमर्स: disallow /cart, /checkout, /account. स्टेजिंग/टेस्ट एन्व्हायर्नमेंट्स नेहमी disallow करा. महत्त्वाचे: robots.txt सार्वजनिकरित्या दिसते — म्हणून संवेदनशील URLs disallow करण्यासाठीदेखील त्यांचा उल्लेख करू नका. इंडेक्समधून लपवायचे पण क्रॉलिंगमधून नाही अशा पेजेससाठी meta noindex वापरा.