Robots.txt জেনারেটর
আপনার ওয়েবসাইটের জন্য robots.txt ফাইল তৈরি করুন।
Robots.txt হলো আপনার ওয়েবসাইটের রুটে থাকা একটি টেক্সট ফাইল, যা সার্চ ইঞ্জিন ক্রলারদের বলে দেয় কোন পেজ ক্রল করতে হবে এবং কোনটা এড়িয়ে যেতে হবে। ঠিকভাবে কনফিগার করা robots.txt স্টেজিং এনভায়রনমেন্ট, অ্যাডমিন পেজ এবং প্রাইভেট URL-কে ইন্ডেক্সিং থেকে রক্ষা করে, আর একই সঙ্গে নিশ্চিত করে যে আপনার গুরুত্বপূর্ণ কনটেন্ট পুরোপুরি ক্রল করা যায়। এই জেনারেটরটি আপনার ওয়েবসাইটের ধরন (WordPress, কাস্টম, ই-কমার্স) অনুযায়ী সবচেয়ে সাধারণ ডাইরেক্টিভসহ একটি সঠিক ফরম্যাটের robots.txt তৈরি করে দেয়।
📋 এই ক্যালকুলেটর কীভাবে ব্যবহার করবেন
আপনার CMS বা ওয়েবসাইটের ধরন বেছে নিন (WordPress, Shopify, কাস্টম)। জেনারেটরটি সাধারণ ডাইরেক্টরিগুলো (wp-admin, cart, checkout, staging) ডিজঅ্যালাও করার জন্য আগে থেকেই ভরে রাখবে। রুল বিল্ডার ব্যবহার করে কাস্টম allow ও disallow রুল যুক্ত করুন। চাইলে আপনার sitemap URL এবং crawl delay যুক্ত করুন। জেনারেটরটি একটি প্রিভিউ দেখায় এবং প্রতিটি রুল কী করে তা ব্যাখ্যা করে। আউটপুটটি
💡 মূল তথ্য ও পরিসংখ্যান
Robots.txt সিনট্যাক্স: User-agent: * (সব বটের জন্য প্রযোজ্য), User-agent: Googlebot (শুধু Google-এর জন্য)। Disallow: /admin/ (পাথ ব্লক করা)। Allow: /admin/public/ (ব্লক করা পাথের একটি সাবসেট অনুমতি দেওয়া)। Crawl-delay: 10 (রিকোয়েস্টের মধ্যে সেকেন্ড — Googlebot এটি মানে না; এর পরিবর্তে Google Search Console-এর crawl rate সেটিংস ব্যবহার করুন)। Sitemap: https://example.com/sitemap.xml। সাধারণ রুল: WordPress: disallow /wp-admin/, /wp-includes/, /?s= (সার্চ রেজাল্ট)। ই-কমার্স: disallow /cart, /checkout, /account। স্টেজিং/টেস্ট এনভায়রনমেন্ট সব সময় disallow করুন। গুরুত্বপূর্ণ: robots.txt পাবলিকলি দৃশ্যমান — তাই সংবেদনশীল URL সম্পর্কে উল্লেখ করবেন না, এমনকি সেগুলো disallow করার জন্যও নয়। যে পেজগুলো ইন্ডেক্স থেকে গোপন রাখতে চান কিন্তু ক্রলারের জন্য বন্ধ করতে চান না, তার জন্য meta noindex ব্যবহার করুন।