تستر و اعتبارسنج robots.txt

بررسی کنید آیا robots.txt واقعاً چیزی را که فکر می‌کنید مسدود می‌کند یا نه

نوشتن robots.txt آسان است؛ اما تنظیم درست اولویت قوانین آسان نیست. بین خطوط هم‌پوشان Allow/Disallow، الگوهای wildcard و گروه‌های user-agent مخصوص هر خزنده، معمولاً ممکن است صفحه‌ای را که قصد داشتید مجاز کنید مسدود کنید (یا برعکس)، بدون اینکه متوجه شوید تا چند هفته بعد که Search Console آن را علامت‌گذاری کند. فایل خود را اینجا جای‌گذاری کنید، یک خزنده را انتخاب کنید و هر تعداد مسیر URL را که می‌خواهید با همان منطق «طولانی‌ترین تطابق برنده است» آزمایش کنید؛ منطقی که تجزیه‌کنندهٔ robots.txt خود گوگل از آن استفاده می‌کند.

چطور از آن استفاده کنیم

• محتوای robots.txt خود را در کادر جای‌گذاری کنید، یا برای مشاهده عملکرد ابزار ابتدا روی «بارگذاری نمونه» کلیک کنید.
• خزنده‌ای را که می‌خواهید با آن آزمایش کنید انتخاب کنید — Googlebot، Bingbot، Googlebot-Image یا نام یک ربات سفارشی. ابزار آن را با دقیق‌ترین گروه قابل‌اعمال تطبیق می‌دهد و در صورت نبودِ تطبیق، به wildcard برمی‌گردد User-agent: * گروه.
• مسیرهای URL را که می‌خواهید بررسی کنید، هرکدام در یک خط وارد کنید — صفحه اصلی، یک بخش مدیریت مسدودشده، یک نوشته خاص یا هر مورد دیگری که لازم است بررسی کنید.
• هر نتیجه وضعیت مجاز یا مسدود را نشان می‌دهد و همچنین دقیقاً مشخص می‌کند کدام قانون و شماره خط، نتیجه را تعیین کرده است.

موارد استفاده در دنیای واقعی

تأیید اینکه یک مورد جدید Disallow: /checkout این قانون ناخواسته مورد دیگری را هم مسدود نکند /checkout-guide، یک پست وبلاگی که واقعاً می‌خواهید ایندکس شود. اشکال‌زدایی دلیل اینکه چرا Googlebot-Image تصاویر محصولات را دریافت نمی‌کند، با آزمایش جداگانهٔ گروه user-agent مخصوص تصاویر در مقایسه با گروه عمومی. بررسی robots.txt پیش از استقرار در محیط تولید تا یک اشتباه تایپی، کل سایت را بی‌سروصدا از فهرست ایندکس خارج نکند.

سؤالات متداول

تفاوت بین مولد robots.txt و ابزار تست robots.txt چیست؟

یک مولد، فایل robots.txt را با انتخاب قوانین از ابتدا می‌سازد. اما تستر برعکس عمل می‌کند: robots.txt موجود (یا در حال تدوین) شما را می‌گیرد و دقیقاً می‌گوید یک خزندهٔ واقعی آن را در برابر URLهای مشخص چگونه تفسیر می‌کند — این قابلیت زمانی ضروری است که فایل بیش از چند خط داشته باشد.

وقتی Allow و Disallow با هم هم‌پوشانی دارند، کدام قانون برنده می‌شود؟

طولانی‌ترین الگوی منطبق برنده است؛ فرقی نمی‌کند قانون از نوع Allow باشد یا Disallow. اگر دو قانون با الگوهایی دقیقاً هم‌اندازه منطبق شوند، Allow اولویت دارد. منطق اولویت‌دهی این ابزار نیز همین است.

آیا robots.txt از وایلدکاردها پشتیبانی می‌کند؟

بله — * با هر دنباله‌ای از نویسه‌ها در یک مسیر مطابقت دارد و $ یک قانون را به انتهای URL محدود می‌کند. برای مثال، Disallow: /*.pdf$ هر نشانی اینترنتی را که به این عبارت ختم شود مسدود می‌کند .pdf، هرجا که در سایت قرار داشته باشد.

چرا قانون Disallow من یک صفحه را مسدود نمی‌کند؟

رایج‌ترین علت این است که در جای دیگری از همان گروه، یک قانون Allow دقیق‌تر وجود دارد و بر این قانون اولویت پیدا می‌کند؛ یا اینکه قانون کاملاً در گروه نادرستِ user-agent قرار گرفته است. مسیر دقیق را با خزنده موردنظرتان در این ابزار اجرا کنید تا ببینید کدام قانون واقعاً نتیجه را تعیین می‌کند.

آیا robots.txt مانع نمایش همیشگی یک صفحه در نتایج جست‌وجو می‌شود؟

به‌تنهایی نه. مسدود کردن یک URL مانع دریافت محتوای آن توسط خزنده‌ها می‌شود، اما اگر صفحات دیگر به آن لینک داده باشند، خود URL همچنان می‌تواند ایندکس شود (بدون نمایش خلاصه). برای خارج نگه‌داشتن کامل یک صفحه از نتایج جست‌وجو، به‌جای آن از یک noindex متا تگ یا هدر استفاده کنید و آن را در robots.txt مسدود نکنید تا خزنده بتواند آن تگ را ببیند.