خانه / بازاریابی اینترنتی / سئو / ایجاد فایل Robots.txt سرگرم کننده

ایجاد فایل Robots.txt سرگرم کننده

در این مقاله قصد داریم باید ها و نبایدهای استفاده  و ایجاد فایل Robots.txt را با هم مرور کنیم. در این میان نمونه ای از شرکت های مختلف را بیان خواهیم کرد که از این فایل ها به شیوه خلاقانه استفاده کرده اند.

یکی از موضوعات خسته کننده در سئوی فنی ایجاد فایل Robots.txt است .  به ندرت پیش می آید که مشکل جذابی را بتوان با این فایل حل کرد.  شاید بتوان گفت  هدف اصلی فایل Robots.txt  این است که به خزنده ها نشان دهد چه مکان هایی را باید بخزند و از  خزیدن چه مکان هایی خودداری نمایند. بخش های اصلی که در یک فایل Robots.txt به چشم می خورد به شرح زیر است:

  • User-agent: نوع ربات را مشخص می کند.
  • Disallow: به خزنده ها پیشنهاد می کند ناحیه مشخص شده را نخزند.
  • Allow: به ربات ها اجازه می دهد ناحیه مشخص شده را بخزند.
  • Crawl-delay: به ربات ها می گوید قبل از ادامه خزیدن، چند ثانیه منتظر بمانند.
  • Sitemap: موقعیت نقشه سایت را مشخص می کند.
  • Noindex: به گوگل می گوید که صفحات مشخص شده را از ایندکس خارج کند.
  • #:  خطی را اضافه می کند که خوانده نمی شود.
  • علامت * : هر نوع متنی را منطبق می کند.
  • علامت$ : URL باید اینجا به پایان برسد.

سایر مواردی که باید در مورد فایل Robots.txt بدانید به شرح زیر است:

  • فایل txt باید در فولدر اصلی قرار  گیرد.
  • هر کدام از ساب دامین ها(Subdomain) باید فایل Robot خود را داشته باشند.
  • خزنده ها می توانند فایل txt را نادیده بگیرند.
  • همانطور که می دانید URL ها و فایل txt به حروف کوچک و بزرگ حساس اند.
  • عبارت Disallow تنها به خزنده پیشنهاد می کند که به موقعیت بیان شده نروند. بیشتر افراد تلاش می کنند از این گزینه برای خارج کردن صفحات از حالت ایندکس استفاده کنند اما این مورد کارساز نخواهد بود. اگر فردی به صورت خارجی به صفحه شما لینک داده باشد، در نتایج جستجو نشان داده می شود.
  • عباره Crawl-delay مورد پسند گوگل نیست اما شما می توانید تنظیمات خزیدن را در کنسول جستجوی گوگل(Google Search Console) مدیریت کنید.
  • بر اساس موارد زیر می توانید به CSS و JS اجازه کار بدهید:

User-Agent: Googlebot
Allow: .js
Allow: .css

  • فایل txt خود را در کنسول جستجوی گوگل و  ابزار وبمستر بینگ(Bing Webmaster Tools) تایید کنید.
  • برخی از افراد بر این باورند که عبارت Noindex در این فایل کارساز است اما برخی از متخصصان نیز با آن مخالف اند. بهتر است فرایند Noindex را از طریق متا ربات ها یا x ربات ها انجام دهید.
  • برای جلوگیری از ایجاد محتوای تکراری جلوی خزیدن را نگیرید.
  • صفحاتی که ریدایرکت شده اند را Disallow نکنید. عنکبوت ها قادر به دنبال کردن صفحات ریدایرکت شده نیستند.
  • Disallow کردن یک صفحه مانع از دیده شدن نسخه های قبلی در org می شود.
  • شما می توانید نسخه های قدیمی تر فایل txt را در Archive.org مورد جستجو قرار دهید. کافیست آدرس را وارد نمایید.
  • اندازه حداکثر برای فایل txt حدود ۵۰۰ کیلوبایت است.

از فایل Robots.txt به عنوان یک سرگرمی استفاده کنید:

بیشتر شرکت ها تلاش می کنند  فایل Robots.txt را به شیوه خلاقانه ای به کار ببرند.  در ادامه نمونه هایی از این خلاقیت را با هم مرور می کنیم.

شرکت نایک(Nike.com) تلاش کرده است شعار و آرم خود را داخل فایل Robot به نمایش بگذارد.

nike-robots-txt

سایت Seer نیز از هنر استفاده کرده و پیام خود را از این طریق به گوش جهانیان رسانده است.

seer-robots-txt

سایت TripAdvisor پیام استخدام را در فایل Robot.txt  قرار داده است.

tripadvisor-robots-txt

 فایل های سرگرم کننده:

سایت yelp تلاش کرده است به ربات ها گوشزد کند که قانون سوم اسیموف به خوبی کار می کند.

سایت last.fm نیز از همین کار استفاده کرده است.

lastfm-robots-txt

بر اساس گفته سایت یوتیوب، ما در حال حاضر جنگ موجود را به ربات ها باخته ایم.

youtube-robots-txt

سایت Page One Power مرجع جنگ ستاره ها را در فایل ربات خود نشان داده است.

pageonepower-robots-txt

سایت Humans.txt چه کاری انجام می دهد؟

سایت Humans.txt خود را به عنوان یک سایت ابداعی معرفی می کند که به افراد کمک می کند صاحبانی که پشت سایت ها قرار دارند را بشناسند. این یک فایل متنی است که در برگیرنده اطلاعاتی در مورد  افراد مختلف است که  در  ایجاد سایت مورد نظر شریک بوده اند.

یکی از نمونه های عجیبی که  در مورد استفاده از فایل Robots.txt وجود دارد ،  Oliver Mason است. این فرد با استفاده از این فایل تلاش می کند همه چیز را از دید افراد دور نگه دارد. محتویات موجود تنها به افرادی نمایش داده می شود که در فایل به آن ها اشاره شده است. خود این فرد نیز معتقد است چنین کاری ایده خوبی محسوب نمی شود.

صفحات ایندکس شده ای که نباید وجود داشته باشند:

اگر به زبان انگلیسی عبارت World’s Greatest SEO را در موتور جستجو وارد کنید متوجه می شوید که صفحه ای در سایت مت کاتز نشان داده می شود که وجود ندارد.بیشتر افراد همانگونه که قبلا نیز اشاره کردیم از فایل ربات خود برای جلوگیری از نمایش چنین صفحاتی استفاده می کنند. با اینکه صفحات ۴۰۴ هستند اما باز هم در نتایج جستجو با انکر تکستی  نمایش داده می شوند.

منبع

مطلب پیشنهادی

۶ مورد از اشتباهات حوزه سئو که می تواند کسب وکار شما را نابود کند

حتما شما نیز همانند سایر افراد به دنبال فروش بیشتر هستید.  بیشتر شرکت ها تلاش …

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *