سئو فایل robots.txt

سئو فایل robots.txt باید طبق سایت شما تنظیم بشه و نمی‌شه یک فایل برای چند سایت مورد استفاده قرار بگیره، فایل ربات برای سیستم‌های مدیریت محتوا متفاوته، مثلا در سیستم مدیریت محتوا وردپرس ویژگی‌های مشترکی مثل صفحات ورود و خروج یا cgi و includes وجود داره که ممکنه ربات رو به بن‌بست ببره

robots.txt

برای ویرایش فایل ربات می‌تونید خودتون یه فایل txt ساده بسازید و بعد از نوشتن کدها در ریشه سایت آپلود کنید، با ابزار واسطه مثل افزونه یواست ویرایشش کنید

در ویرایش کدهای این فایل باید خیلی دقت کنید، در صورت خطا سایت از دسترس موتورهای جستجو خارج می‌شه

اگه دقت کرده باشین اکثر سایت‌ها دسترسی موتور جستجو رو آزاد گذاشتن که هرجا دوس داره بره! گرچه این پیشنهاد خود گوگله اما دلیل نمی‌شه هرچی گوگل بگه ما هم اطاعت کنیم (بهینه سازی این فایل موجب بهینه شدن خزش ربات جستجوگرها می‌شه و مانع ایندکس‌گذاری صفحات بی ارزش در صفحات جستجو می‌شه)

از قابلیت‌های این فایل معرفی فایل سایت مپ، بستن دسترسی و یا آزاد گذاشتن خزنده‌هاست. قبلا گوگل از امکان تعداد خزش‌ها هم پشتیبانی می‌کرد.

برای نمونه می‌تونید فایل ربات وبلاگ منو در آدرس ehsaider.ir/robots.txt ببینید و جزئیاتشو جستجو کنید برای یادگیری. یکی از مواردی که در سئو همیشه اولویت داره فایل ربات و نقشه سایته

حتما با دیدن فایل ربات وبلاگم تعجب می‌کنید چرا من دسترسی رباتو آزاد گذاشتم اما باید بدونید برای افزایش بازده سئو وبلاگم از طریق فایل htaccess نوایندکس به صفحات مورد نظرم اضافه کردم

بیشتر بخوانید: تکنیک‌های ایندکس سریع

پیام بگذارید

نشانی ایمیل شما منتشر نخواهد شد.