ضرورت قرار دادن نقشه سایت در فایل robots.txt

ربات‌های موتورهای جستجو در ابتدای ورود به سایت ابتدا فایل robots.txt را می‌خوانند. قرار دادن خط Sitemap در انتهای این فایل به شناسایی سریع‌تر مسیر صفحات جدید کمک می‌کند.