مولد فایل Robots.txt

کنترل دقیق اینکه کدام موتورهای جست‌وجو بتوانند کدام بخش‌های سایت را خزش کنند، اغلب به نوشتن دستیِ ممنوع‌سازی قوانین را دستی بنویسید و امیدوار باشید نحو آن‌ها درست باشد. این مولد یک پنل کنترل کامل در اختیار شما می‌گذارد: سیاست مجاز یا مسدود سراسری را تنظیم کنید، ربات‌های مشخصی مانند Googlebot، Google Image، Bingbot، Yahoo Slurp، Baiduspider و Yandex را به‌صورت جداگانه مجاز یا مسدود کنید و مسیرهای مسدودشده را با پشتیبانی از wildcard فهرست کنید — ابزار به‌طور خودکار اسلش‌های ابتداییِ جاافتاده را اضافه و قالب‌بندی می‌کند.

تأخیر خزش، URL نقشه سایت و میزبان canonical را اضافه کنید، سپس با استفاده از شبیه‌ساز خزش داخلی، هر مسیری را آزمایش کنید و پیش از انتشار فایل، فوراً ببینید که آن مسیر با قوانین فعلی مسدود می‌شود یا مجاز خواهد بود.

محل انتشار آن

فایل تولیدشده را دانلود یا کپی کنید و آن را در ریشهٔ دامنهٔ خود با نامِ /robots.txtقرار دهید؛ این مکان استانداردی است که هر خزندهٔ معتبر ابتدا آن را بررسی می‌کند.