خانه » وبلاگ سئو » سئو robots.txt

سئو robots.txt

سئو robots.txt باید بر اساس سایت شما تنظیم بشه و یک فایل برای چند سایت مورد استفاده قرار نمی‌گیره، فایل ربات برای سیستم‌های مدیریت محتوا متفاوته، مثلا در سیستم مدیریت محتوا وردپرس ویژگی‌های مشترکی مثل صفحات ورود و خروج یا cgi و includes وجود داره که ممکنه ربات رو به ناکجاآباد هدایت کنن

سئو robots.txt
سئو robots.txt

برای ویرایش فایل ربات می‌تونید خودتون یه فایل txt ساده بسازید و بعد از نوشتن کدها در ریشه سایت آپلود کنید، با ابزار واسطه مثل افزونه یواست ویرایشش کنید

در ویرایش کدهای این فایل باید خیلی دقت کنید، در صورت خطا، سایت از دسترس موتورهای جستجو خارج می‌شه

اگه دقت کرده باشین اکثر سایت‌ها دسترسی موتور جستجو رو آزاد گذاشتن که هرجا دوس داره بره! گرچه این پیشنهاد خود گوگله اما دلیل نمی‌شه هرچی گوگل بگه ما هم اطاعت کنیم (بهینه سازی این فایل موجب بهینه شدن نرخ خزش ربات جستجوگرها می‌شه و مانع نمایش محتوای این صفحات در نتایج جستجو می‌شه البته باید بدونید این دستورات نمی‌تونن مانع ایندکس شدن صفحات بشن)

از قابلیت‌های این فایل معرفی فایل سایت مپ، بستن دسترسی و یا آزاد گذاشتن خزنده‌هاست. قبلا گوگل از امکان تنظیم تعداد خزش‌ها هم پشتیبانی می‌کرد.

برای نمونه می‌تونید فایل ربات وبلاگ منو در آدرس ehsaider.ir/robots.txt ببینید و جزئیاتشو جستجو کنید برای یادگیری. یکی از مواردی که در سئو همیشه اولویت داره فایل ربات و نقشه سایته

منم در فایل ربات احسایدر دسترسی ربات به صفحات بی‌ارزش رو بستم و از طریق فایل htaccess نوایندکس به صفحات مورد نظرم اضافه کردم. مجموعه این اقدامات سبب از دست نرفتن بودجه خزش ربات گوگل می‌شه و حتما بلندمدت نتایج خوبی بدست میارید

سئو به معنی اقدامات خیلی عجیب نیست و همین کارای ریزه‌کاری تاثیر بالایی می‌ذاره

به دستورات زیر دقت کنید:

/Disallow: /wp-content

دستور بالا ریشه wp-content رو می‌بنده و با دستور زیر مسیر آپلود فایل‌ها رو باز می‌کنید:

/Allow: /wp-content/uploads

با دستور زیر می‌تونید آدرس سایت مپ سایتو به موتورهای جستجو بدید:

Sitemap: https://ehsaider.ir/sitemap.xml

حتما بعد از انجام تغییرات در این فایل از طریق سرچ کنسول فایل ربات رو بروزرسانی کنید و ببینید تغییرات جدید مانع دسترسی ربات به صفحات اصلی و مطالب نشه