ساخت Robots.txt

robots.txt وردپرس باید چه چیزی داشته باشد؟

اگر سایتت وردپرسی است، معمولاً این قوانین پایه کافی است:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

مسیر /wp-admin/ مسدود می‌شود چون بخش مدیریت است و ارزشی برای نتایج جست‌وجو ندارد، اما admin-ajax.php باید باز بماند چون بعضی قالب‌ها و افزونه‌ها برای بارگذاری محتوا از آن استفاده می‌کنند و بستنش می‌تواند باعث شود گوگل صفحه را ناقص ببیند. برخلاف تصور رایج، /wp-content/ و /wp-includes/ را نباید مسدود کنی؛ فایل‌های CSS و JS آنجا هستند و گوگل برای رندر درست صفحه به آن‌ها نیاز دارد.

چه مسیرهایی را معمولاً مسدود می‌کنند؟

• پنل مدیریت و مسیرهای ورود (/wp-admin/، /admin/)
• صفحات جست‌وجوی داخلی سایت که محتوای تکراری تولید می‌کنند
• سبد خرید، تسویه‌حساب و حساب کاربری در فروشگاه‌های آنلاین
• فایل‌ها و پوشه‌های موقت یا تستی
• صفحات فیلتر و مرتب‌سازی با پارامترهای متعدد در URL

اشتباهات رایج در robots.txt

• مسدود کردن کل سایت روی نسخه اصلی: گاهی Disallow: / از محیط تست روی سایت اصلی منتقل می‌شود و کل سایت از گوگل حذف می‌شود. این رایج‌ترین و پرهزینه‌ترین اشتباه است.
• بستن فایل‌های CSS و JS: باعث می‌شود گوگل نتواند صفحه را درست رندر کند و روی رتبه اثر منفی بگذارد.
• استفاده از robots.txt برای مخفی کردن اطلاعات: این فایل عمومی است و هر کسی می‌تواند ببیندش. نوشتن مسیر پنل مدیریت در آن، عملاً آدرس را به همه نشان می‌دهد.
• فراموش کردن Sitemap: اضافه کردن یک خط Sitemap: کار ساده‌ای است که به کشف سریع‌تر صفحات کمک می‌کند.

سؤالات متداول

فایل robots.txt را کجا آپلود کنم؟

حتماً در ریشه دامنه، یعنی https://example.com/robots.txt. اگر در پوشه دیگری بگذاری، موتورهای جست‌وجو آن را نمی‌خوانند.

آیا robots.txt جلوی ایندکس شدن صفحه را می‌گیرد؟

نه لزوماً. این فایل فقط جلوی خزیدن را می‌گیرد. اگر صفحه‌ای از جای دیگری لینک گرفته باشد، ممکن است بدون توضیحات در نتایج ظاهر شود. برای جلوگیری قطعی از ایندکس، باید از تگ noindex یا رمزگذاری صفحه استفاده کنی.

تأخیر خزش (Crawl-delay) را تنظیم کنم؟

گوگل این دستور را نادیده می‌گیرد و سرعت خزش را از طریق سرچ کنسول تنظیم می‌کند. Bing و Yandex به آن توجه می‌کنند. اگر سرورت ضعیف است و فشار خزش اذیتش می‌کند، تنظیمش منطقی است؛ در غیر این صورت لازم نیست.

نداشتن robots.txt مشکلی ایجاد می‌کند؟

نه. اگر این فایل وجود نداشته باشد، موتورهای جست‌وجو فرض می‌کنند همه‌جا مجاز است و سایت را عادی می‌خزند. داشتنش برای کنترل دقیق‌تر و اعلام آدرس Sitemap مفید است، اما اجباری نیست.