بهترین robots.txt وردپرس

بهترین robots.txt وردپرس باید نسبت به کارایی سایت شما تنظیم بشه و نمی‌شه یک فایل برای چند سایت وردپرسی مورد استفاده قرار بگیره، بدلیل اینکه فایل ربات وردپرس نسبت به قالب و صفحات متفاوته اما چندتا گزینه مشترک می‌شه پیدا کردن در وردپرس و اونم صفحات ورود و خروج یا cgi و includes که ممکنه ربات رو به بن بست ببره

فایل‌های مختلفی مورد توجه موتورهای جستجو هستن، ازجمله: robots.txt،humans.txt،ads.txt،sitemap.xml که هرکدوم یه ویژگی منحصربفرد دارن.

فایل robots.txt برای جلوگیری خزش ربات جستجوگره با کاربرد از دسترس خارج کردن صفحات بی اهمیت یا تکراری از دید موتور جستجو ساخته شده

فایل humans.txt برای نمایش دست اندکاران پروژه‌ها

فایل ads.txt برای نمایش سرویس‌های تبلیغاتی ما به جهت جلوگیری از سواستفاده افراد غیرحقوقی تنظیم شده

فایل sitemap.xml هم برای خزش سریع‌تر و ایندکس‌گذاری بهینه موتورهای جستجو مورد استفاده قرار می‌گیره. (سایت مپ کاربر هم داریم که بصورت html تهیه می‌شه و کاربردش پیدا کردن بخش‌های مختلف سایت برای کاربراست)

robots.txt

برای ویرایش فایل ربات هم می‌تونید خودتون یه فایل txt ساده بسازید و بعد از نوشتن کدها در ریشه سایت آپلود کنید و هم با ابزار واسطه مثل افزونه یواست ویرایش کنید

در ویرایش کدهای این فایل باید خیلی دقت کنید، در صورت خطا سایت از دسترس موتورهای جستجو خارج می‌شه

اگه دقت کرده باشین اکثر سایت‌ها دسترسی موتور جستجو رو آزاد گذاشتن که هرجا دوس داره بره! گرچه این پیشنهاد خود گوگله اما دلیل نمی‌شه هرچی گوگل بگه ماهم اطاعت کنیم (بهینه سازی این فایل موجب بهینه شدن خزش ربات جستجوگرها می‌شه و مانع ایندکس‌گذاری صفحات بی ارزش در صفحات جستجو می‌شه)

از قابلیت‌های این فایل معرفی فایل سایت مپ، بستن دسترسی و یا آزاد گذاشتن خزنده‌هاست. قبلا گوگل از امکان تعداد خزش‌ها هم پشتیبانی می‌کرد.

برای نمونه می‌تونید فایل ربات وبلاگ منو ببینید و جزئیاتشو جستجو کنید برای یادگیری

برای عضویت در خبرنامه و تماس با من به صفحه درباره من مراجعه کنید

پیام بگذارید

نشانی ایمیل شما منتشر نخواهد شد.