فایل robots.txt؛ چراغ راهنمای رباتها و اشتباهات مرگبار آن
نگهبان دروازه ورودی: پرونده فرمانهای خزش سایت
فایل تنظیمات دسترسی، اولین مقصدی است که هر نرمافزار خودکار پیش از ورود به سایت آن را فراخوانی میکند. این فایل ساده متنی، قوانین حرکت در ساختار پوشهها را تعیین میکند.
یک بیدقتی ساده در این پرونده میتواند کل زحمات سئوی یک تیم را در چند روز به باد دهد.
مسدود کردن یک مسیر در این فایل به معنی حذف آن از صفحه نتایج نیست؛ این دستور صرفاً دانلود کدهای صفحه را برای ربات ممنوع اعلام میکند.
قوانین و دستورات پایهای در تنظیم مسیرها
برای برقراری نظم، این پرونده از چند دستور ساده و استاندارد جهانی پیروی میکند که خزندهها ملزم به رعایت آن هستند.
ترکیب صحیح این فرامین مانع از هجوم بیرویه به پردازنده هاست میشود.
- نام خزنده (User-agent): مشخص کردن اینکه دستور برای تمام رباتهاست یا یک ربات خاص.
- ممنوعیت ورود (Disallow): بستن مسیر پوشههای مدیریتی و سبدهای خرید.
- استثنای دسترسی (Allow): باز کردن دسترسی به فایلهای استایل در دل یک پوشه بسته.
- معرفی نقشه سایت: درج لینک مستقیم فایل نقشه در خط پایانی.
فجایع رایج در تنظیم نادرست پرونده
در پروژههای بازطراحی، بسیار دیده شده که توسعهدهنده پس از اتمام کار، کدهای مسدودکننده زمان آزمایش را پاک نکرده است.
همچنین بستن فایلهای استایل و اسکریپت قالب، مانع از رندر صحیح نسخه موبایل در ابزار تست گوگل میشود.
همیشه مطمئن شوید کدهای فرانتاند که وظیفه چیدمان المانها در گوشی را دارند، در این فایل باز باشند.
دستور اقدام عملی
نشانی سایت خود را همراه با پسوند robots.txt در مرورگر باز کنید. سطر به سطر فرامین را بازخوانی کنید و مطمئن شوید مسیر استایلها باز بوده و نشانی نقشه در انتها قید شده باشد.