Robots.txt जनरेटर
वेबसाइट के लिए robots.txt फ़ाइल बनाएं।
Robots.txt आपकी वेबसाइट के रूट में मौजूद एक टेक्स्ट फाइल है जो सर्च इंजन क्रॉलर को बताती है कि किन पेजों को क्रॉल करना है और किन्हें नज़रअंदाज़ करना है। एक सही ढंग से कॉन्फिगर किया गया robots.txt स्टेजिंग एनवायरनमेंट, एडमिन पेजों और प्राइवेट URL को इंडेक्सेशन से बचाता है, साथ ही यह सुनिश्चित करता है कि आपका महत्वपूर्ण कंटेंट पूरी तरह क्रॉलेबल रहे। यह जेनरेटर आपके वेबसाइट टाइप (WordPress, कस्टम, ई-कॉमर्स) के आधार पर सबसे सामान्य डायरेक्टिव के साथ एक सही फॉर्मेट में robots.txt बनाता है।
📋 इस कैलकुलेटर का उपयोग कैसे करें
अपना CMS या वेबसाइट टाइप चुनें (WordPress, Shopify, कस्टम)। जेनरेटर पहले से disallow की जाने वाली सामान्य डायरेक्टरी भर देता है (wp-admin, cart, checkout, staging)। रूल बिल्डर का उपयोग करके कस्टम allow और disallow रूल जोड़ें। चाहें तो अपना sitemap URL और crawl delay भी जोड़ें। जेनरेटर एक प्रीव्यू दिखाता है और बताता है कि हर रूल क्या करता है। आउटपुट को "robots.txt" नाम की टेक्स्ट फाइल में पेस्ट करें और अपने डोमेन रूट पर अपलोड करें।
💡 मुख्य तथ्य और जानकारी
Robots.txt सिंटैक्स: User-agent: * (सभी बॉट्स पर लागू), User-agent: Googlebot (केवल Google के लिए)। Disallow: /admin/ (पाथ को ब्लॉक करना)। Allow: /admin/public/ (ब्लॉक किए गए पाथ के एक हिस्से को अनुमति देना)। Crawl-delay: 10 (रिक्वेस्ट के बीच सेकंड्स — Googlebot इसे नहीं मानता; इसके बजाय Google Search Console के crawl rate सेटिंग्स का उपयोग करें)। Sitemap: https://example.com/sitemap.xml। सामान्य रूल: WordPress: disallow /wp-admin/, /wp-includes/, /?s= (सर्च रिजल्ट्स)। ई-कॉमर्स: disallow /cart, /checkout, /account। स्टेजिंग/टेस्ट एनवायरनमेंट को हमेशा disallow करें। महत्वपूर्ण: robots.txt सार्वजनिक रूप से दिखाई देता है — संवेदनशील URL का जिक्र न करें, भले ही उन्हें disallow करना हो। जिन पेजों को इंडेक्स से छुपाना है लेकिन क्रॉलर्स से नहीं, उनके लिए meta noindex का उपयोग करें।