با Robots.txt و پنالتی احتمالی آن آشنا شوید!

۲۵ دیدگاه

1. میزبان فا گفت:

   ۱۳۹۴-۰۳-۱۷ در ۱۲:۴۱ ب٫ظ

   البته نا گفته نماند در گوگل وبمستر تولز قسمتی هست به نام cheek robots.txt که توسط آن می توانید بررسی کنید گوگل می تواند سایت شما را صحیح کراول کند یا خیر .

   پاسخ
2. Mohammad گفت:

   ۱۳۹۴-۰۳-۱۷ در ۱۲:۵۶ ب٫ظ

   البته به نظر من بهتره که پوشه content از روبوت محدود شه.بعضاً دیدم سایت هایی وردپرسی برای خر پرونده تو کتابخانه یه پست ایجاد می کنند. این مطلب باعث دو تا مشکل میشه.اول فکر کنم از نظر سئو باشه که محتوا کوتاه و تکراری است(چون از اون عکس یا فایل تو نوشته ها معمولاً استفاده کردید) و هم افزایش بیخود صفحات سایت

   پاسخ
   • مسعود فاطمی گفت:

     ۱۳۹۴-۰۳-۱۷ در ۱:۰۱ ب٫ظ

     بهتره که پوشه wp-content رو بذاریم ایندکس بشه و اون صفحات attachment رو noindex یا غیرفعال کنیم.

     پاسخ
     • Mohammad گفت:

       ۱۳۹۴-۰۳-۱۷ در ۱:۱۲ ب٫ظ

       خوب فرضاً که noindex کردیم. مشکل اضافه شدن بیخود صفحات سایت رو چ طور برطرف کنیم؟!

       پاسخ
       • مسعود فاطمی گفت:

         ۱۳۹۴-۰۳-۱۷ در ۱:۲۰ ب٫ظ

         می‌شه از طریق پلاگین‌هایی مثل وردپرس سئو، صفحات attachment رو ریدایرکت کرد به خود فایل.

         پاسخ
3. انجمن سرگرمی و تفریحی روزهای شادی گفت:

   ۱۳۹۴-۰۳-۱۷ در ۱۱:۴۱ ب٫ظ

   ســـلام
   ممنون بابت ایمیلی که ارسال کردید،مطلب خیلی خوبی بود.من فایل رو بررسی کردم خدا رو شکر واسه من از این جهت مشکلی وجود نداره.
   مرسی

   پاسخ
4. لاراول گفت:

   ۱۳۹۴-۰۳-۱۸ در ۸:۵۹ ب٫ظ

   مرسی
   واقعا این فایل روبوت سایت رو این رو به اون رو میکنه بعضی مواقع

   پاسخ
5. مهدی گفت:

   ۱۳۹۴-۰۳-۲۰ در ۱۰:۰۴ ب٫ظ

   با سلام

   جناب فاطمی اگر لطف کنید و بتوانید یک آموزش و آشنایی کامل در مورد بحث robots ها در سایت قرار دهید ممنون میشم که اصلا این فایل چی هست و در کجاهای سایت استفاده میشه

   مرسی

   پاسخ
6. سعید گفت:

   ۱۳۹۴-۰۳-۲۵ در ۱۰:۵۵ ق٫ظ

   بی نظیرید…..

   پاسخ
7. علیرضا گفت:

   ۱۳۹۴-۰۳-۳۰ در ۷:۰۵ ب٫ظ

   لزوما ارتباطی به امنیت نداره.دلایل دیگه ای هست.

   پاسخ
8. کامیار گفت:

   ۱۳۹۴-۰۴-۰۸ در ۱:۲۹ ب٫ظ

   سلام خسته نباشید /

   تقریبا چند روزی من ی مشکلی با این فایل robots.txt پیدا کردم اینکه تعدادی از صفحات با توجه به فایل های JS و CSS بلاک کرده برای رفع این مشکل باید چه کاری انجام داد؟

   تصویر زیر ببنید
   http://up.vbiran.ir/uploads/2377143548242744645_dssss.jpg

   با حذف ۲ کد زیر از فایل robots این مشکل حل میشه؟

   Disallow: /*.js$
   Disallow: /*.css$

   سپاس

   پاسخ
   • مسعود فاطمی گفت:

     ۱۳۹۴-۰۴-۰۸ در ۴:۵۲ ب٫ظ

     بله رفع می‌شه.

     پاسخ
     • کامیار گفت:

       ۱۳۹۴-۰۴-۰۸ در ۱۰:۰۹ ب٫ظ

       سلام آقای فاطمی حذف کنم بعد مشکلی پیش نمیاد؟ سپاس

       پاسخ
       • مسعود فاطمی گفت:

         ۱۳۹۴-۰۴-۰۹ در ۰:۰۲ ق٫ظ

         نه مشکلی پیش نمیاد

         پاسخ
9. فوتیوب گفت:

   ۱۳۹۴-۰۴-۱۶ در ۱۰:۱۲ ب٫ظ

   سلام
   خیلی ممنون مقاله ی مفیدی بود

   پاسخ
10. جمال حسینی گفت:

    ۱۳۹۴-۰۵-۰۴ در ۸:۱۴ ب٫ظ

    سلام آقای فاطمی
    فایل robots من به شکل زیر هستش البته این سایت من انجمن مای بی بی هستش:

    Sitemap: http:// yoursite/MyBB/sitemap-index.xml

    User-Agent: *
    Disallow: /MyBB/captcha.php
    Disallow: /MyBB/editpost.php
    Disallow: /MyBB/misc.php
    Disallow: /MyBB/modcp.php
    Disallow: /MyBB/moderation.php
    Disallow: /MyBB/newreply.php
    Disallow: /MyBB/newthread.php
    Disallow: /MyBB/online.php
    Disallow: /MyBB/printthread.php
    Disallow: /MyBB/private.php
    Disallow: /MyBB/ratethread.php
    Disallow: /MyBB/report.php
    Disallow: /MyBB/reputation.php
    Disallow: /MyBB/search.php
    Disallow: /MyBB/sendthread.php
    Disallow: /MyBB/task.php
    Disallow: /MyBB/usercp.php
    Disallow: /MyBB/usercp2.php
    Disallow: /MyBB/calendar.php
    Disallow: /MyBB/*action=emailuser*
    Disallow: /MyBB/*action=nextnewest*
    Disallow: /MyBB/*action=nextoldest*
    Disallow: /MyBB/*year=*
    Disallow: /MyBB/*action=weekview*
    Disallow: /MyBB/*action=nextnewest*
    Disallow: /MyBB/*action=nextoldest*
    Disallow: /MyBB/*sort=*
    Disallow: /MyBB/*order=*
    Disallow: /MyBB/*mode=*
    Disallow: /MyBB/*datecut=*
    Allow: /

    ممنون میشم نظرتون رو بگین

    پاسخ
    • مسعود فاطمی گفت:

      ۱۳۹۴-۰۵-۱۲ در ۱۰:۱۰ ق٫ظ

      فکر نمی‌کنم مشکل خاصی داشته باشه چون فقط بخش‌های مدیریتی بسته شده

      پاسخ
11. آریان پور گفت:

    ۱۳۹۴-۰۵-۲۲ در ۴:۳۶ ب٫ظ

    بسیار خوب ..

    پاسخ
12. امیر گفت:

    ۱۳۹۴-۰۷-۰۱ در ۱۲:۱۲ ب٫ظ

    مظلبتون مفید و کاربردی بود. دو مورد رو تونستم تو روبو تکس سایتم اصلاح کنم و رتبم رو بهبود بدم. مرسی از آموطش مفیدتون

    پاسخ
13. سعید گفت:

    ۱۳۹۴-۰۷-۱۸ در ۶:۱۹ ب٫ظ

    خیلی ممنون
    از مطلبتون استفاده بردم

    پاسخ
14. روزیک گفت:

    ۱۳۹۴-۰۷-۲۴ در ۴:۰۰ ب٫ظ

    ممنون از راهنماییتون ، چنین مشکلی داشتیم که با راهنمایی شما برطرف شد.

    تشکر.

    پاسخ
15. امیر اکبری گفت:

    ۱۳۹۴-۰۸-۰۳ در ۰:۵۸ ق٫ظ

    سلام، ممنون بابت مطلب خوبتون فقط یه نکته مهم اینکه فایل روبوت تنها یه قرارداد اخلاقی هست و هر موتور جستجویی که بخواد می تونه این قرارداد رو نقض کنه و بدون توجه به گفته های شما هر لینکی که بخواد رو بررسی کنه،
    در صورتی که شما گفتید که موتورهای جست و جو و کلا خزنده ها بعد از عدم اجازه فایل روبوت دیگه به هیچ عنوان به اون فایل و آدرس نمی تونند دسترسی داشته باشند. در صورتی که این درست نیست اما خب طبیعتا اکثر موتورهای جست و جوی معروف این کار رو انجام میدن.
    نکته دیگه ای که باید ادمین ها حواسشون باشه اینه که یه وقت سولاخ سومبه های وب سایتشون و فایل های مهمشون رو اینطوری لو ندن به هکرها. چون این فایل برای همه دردسترس هست و هکرها می تونن ببینن که شما گفتید کجاها رو نبینن موتورهای جست و جو و اونها دقیقا میرن و اون قسمت ها رو میگردن

    پاسخ
    • مسعود فاطمی گفت:

      ۱۳۹۴-۰۸-۰۳ در ۱۲:۵۶ ب٫ظ

      ممنون از دیدگاه شما.
      بله ممکنه هر باتی بخواد بدون در نظر گرفتن اون فایل و شرایط نوشته شده سایت رو بررسی کنه. اما در مورد بات‌های مشهور مثل گوگل‌بات و … این فایل مثل یک پروتکل می‌مونه و «نباید» نادیده بگیرنش.

      پاسخ
16. davood گفت:

    ۱۳۹۴-۰۹-۰۸ در ۰:۲۶ ق٫ظ

    امکانش هست یک نفر برای سایت بنده یک robots.txt کامل و قابل اطمینان بسازه ؟

    پاسخ
    • مسعود فاطمی گفت:

      ۱۳۹۴-۱۰-۲۹ در ۸:۲۰ ب٫ظ

      به نظرم کار خوبی نیست چون هر سایت نیازهای متفاوتی داره

      پاسخ

شما چه دیدگاهی دارید؟