Robots.txt உருவாக்கி
உங்கள் வலைத்தளத்திற்கு robots.txt கோப்பை உருவாக்குங்கள்.
Robots.txt என்பது உங்கள் வெப்சைட்டின் ரூட் இடத்தில் இருக்கும் ஒரு டெக்ஸ்ட் ஃபைல், இது எந்தப் பக்கங்களை search engine crawler-கள் crawl செய்யலாம் மற்றும் எதைத் தவிர்க்க வேண்டும் என்பதைக் குறிக்கிறது. சரியாக அமைக்கப்பட்ட robots.txt, staging environment-கள், admin பக்கங்கள், மற்றும் தனிப்பட்ட URL-களை indexation-இலிருந்து பாதுகாக்கிறது, அதே நேரம் உங்கள் முக்கியமான content முழுவதுமாக crawl செய்யப்படுவதை உறுதி செய்கிறது. இந்த generator உங்கள் வெப்சைட் வகைக்கு (WordPress, custom, e-commerce) ஏற்ப, பொதுவாகப் பயன்படும் directive-களுடன் சரியான வடிவமைப்பில் robots.txt ஒன்றை உருவாக்குகிறது.
📋 இந்த கால்குலேட்டரை எப்படி பயன்படுத்துவது
உங்கள் CMS அல்லது வெப்சைட் வகையைத் தேர்ந்தெடுக்கவும் (WordPress, Shopify, custom). Generator, disallow செய்ய வேண்டிய பொதுவான directory-களை (wp-admin, cart, checkout, staging) முன்பே நிரப்பி வைக்கும். Rule builder-ஐப் பயன்படுத்தி custom allow மற்றும் disallow rule-களைச் சேர்க்கவும். விரும்பினால் உங்கள் sitemap URL மற்றும் crawl delay-ஐச் சேர்க்கலாம். Generator ஒரு preview-ஐக் காட்டி, ஒவ்வொரு rule-ஐயும் என்ன செய்கிறது என்பதை விளக்கும். வெளியீட்டை “robots.txt” எனும் பெயரில் ஒரு டெக்ஸ்ட் ஃபைலில் பேஸ்ட் செய்து, அதை உங்கள் டொமைன் ரூட்-டில் அப்லோட் செய்யவும்.
💡 முக்கிய தகவல்கள்
Robots.txt syntax: User-agent: * (எல்லா bot-களுக்கும் பொருந்தும்), User-agent: Googlebot (Google-க்கு மட்டும்). Disallow: /admin/ (பாதையைத் தடு). Allow: /admin/public/ (தடுக்கப்பட்ட பாதையின் ஒரு பகுதியை அனுமதி). Crawl-delay: 10 (ரிக்வெஸ்ட்களுக்கு இடையேயான நொடிகள் — Googlebot இதை மதிக்காது; அதற்குப் பதிலாக Google Search Console-இன் crawl rate settings-ஐப் பயன்படுத்தவும்). Sitemap: https://example.com/sitemap.xml. பொதுவான rule-கள்: WordPress: /wp-admin/, /wp-includes/, /?s= (search results) ஆகியவற்றை disallow செய்யவும். E-commerce: /cart, /checkout, /account ஆகியவற்றை disallow செய்யவும். Staging/test environment-களை எப்போதும் disallow செய்யவும். முக்கியம்: robots.txt பொதுவில் பார்க்கக்கூடியது — sensitive URL-களை disallow செய்ய வேண்டும் என்றாலும் அவற்றைக் குறிப்பிடாதீர்கள். Index-இல் இருந்து மறைக்க வேண்டிய பக்கங்களுக்கு, ஆனால் crawler-களுக்கு அல்ல, meta noindex-ஐப் பயன்படுத்தவும்.