فایل Robots.txt چیست؟

روش های ایجاد فایل Robots.txt :

قطعا روش های زیادی در سئو تاثیرگذار هستند که با کمی دقت می توانید سایت تان را بهینه سازی نمایید، این یک راهکار عالی برای افزایش سئوی سایت با استفاده از بخش های طبیعی برای هر وب سایتی است که به ندرت درباره آن صحبت می شود و اجرا کردن آن نیز اصلا سخت نیست. فایلی در هاستینگ (روت) شما باید ایجاد شود بنام robots.txt که از آن تحت عنوان پروتکل یا استاندارد حذف ربات نامیده می شود.

این یک فایل متنی کوچک از هر وب سایتی در اینترنت است که بسیاری از کاربران درباره آن اطلاعی ندارند. این فایل ربات برای کار با موتورهای جستجوگر طراحی شده و یک منبع غنی و مفید برای سئو وب سایت ها محسوب می شود. بارها مشاهده کرده ایم که صاحبین سایت ها به دنبال بهبود سئوی سایت خود هستند. زمانی که به آنها می گوییم که فایل Robots.txt چقدر اهمیت دارد، در کنار کم حجم بودن و کوچک بودن اندازه این فایل، باید به مهم بودن آن نیز توجه داشته باشید.

امروزه روش های مختلفی برای سئوی سایت وجود دارد که هرکدام از این فاکتورها تاثیرگذاری فوق العاده ای دارند که معمولا دشوار یا زمان بر نیستند و استفاده از فایل Robots.txt یکی از آنهاست. در این مقاله از سایت نیکداد تلاش کرده ایم که شما را بیشتر با فایل Robots.txt آشنا کنیم و معمولا موتورهای جستجوگری نظیر گوگل زیاد به آن اهمیت می دهند.

چرا فایل Robots.txt مهم است؟

در ابتدا باید نگاهی اهمیت این فایل بپردازیم که چرا اصلا فایل Robots.txt مهم است؟ فایل Robots.txt به عنوان پروتکل یا استاندارد حذف ربات نیز شناخته می شود، این در واقع یک فایل متنی که به روبات های وب (اغلب موتور های جستجو) می گوید کدام صفحات سایت شما را بخزند(ایندکس کنند). همچنین به ربات های گوگل می گوید که کدام صفحات را خزش نکند. مثلا شما فرض کنید که یک موتور جستجو در صدد بازدید از وب سایت شما است. قبل از بازدید از صفحه هدف، فایل Robots.txt را برای دستورالعمل بررسی می کند.

معمولا انواع مختلفی از فایل Robots.txt در دنیای وب وجود دارد که در این بخش به چند نمونه از آنها و ظاهر متفاوت آنها نگاهی می اندازیم.

فرض کنید موتور جستجو این نمونه فایل robots.txt را پیدا می کند:

این یک نمای کلی و اصلی از فایل Robots.txt می باشد.

ستاره * بعد از “user-agent” به این معنی است که فایل robots.txt برای همه روبات های وب که از سایت بازدید می کنند اعمال می شود.

اسلش بعد از “Disallow” به ربات می گوید که از هیچ صفحه ای در سایت بازدید نکند.

شاید از خودتان بپرسید که چرا کسی می خواهد از بازدید ربات های وب سایت خودش جلوگیری کند. از این گذشته، یکی از اهداف اصلی سئو سایت ها این است که موتورهای جستجوگر به راحتی در سایت ها بخزند و رتبه ها را افزایش دهند.

در اینجا با راهکارها و روش های مناسب سئو آشنا می شوید.

احتمالاً صفحات زیادی در سایت خود دارید، درست است؟

حتی اگر فکر نمی کنید که اینکار را می کنید، باید بررسی کنید و ممکن است متعجب شوید. اگر یک موتور جستجو در سایت شما بخزد، تک تک صفحات شما را می خزد. اگر صفحات زیادی دارید، خزیدن با ربات موتور جستجو در آنها زمان می برد که می تواند تأثیرات منفی بر رتبه شما داشته باشد. این دلیل است که Googlebot (ربات موتور جستجوی گوگل) دارای «بودجه خزیدن» است.

این به دو بخش تقسیم می شود. اولین مورد محدودیت سرعت خزیدن است. در اینجا گوگل توضیح داده است:

بخش دوم تقاضا برای خزیدن است:

اساساً، بودجه خزیدن عبارت است از “تعداد URL هایی که Googlebot می تواند و می خواهد بخزد.”

شما می خواهید به Googlebot کمک کنید تا عملیات خزیدن را برای سایت شما به بهترین شکل ممکن انجام دهد. به عبارت دیگر، باید با ارزش ترین صفحات شما را ایندکس کنند.

به گفته گوگل، عوامل خاصی وجود دارند که بر روی خزیدن و نمایه سازی سایت تأثیر منفی می گذارند.

در اینجا فاکتورها و عواملی وجود دارد:

پس بیایید درباره فایل Robots.txt دوباره صحبت کنیم. اگر صفحه و فایل Robots.txt مناسب ایجاد نموده اید، می توانید به ربات های گوگل بگویید که از دیدن صفحات خاص اجتناب نمایند. به پیامدها و خطرات فکر کنید. اگر به ربات های گوگل بگویید که فقط مفیدترین محتوای شما را بخزند، ربات ها سایت شما را فقط بر اساس آن محتوا می خزند و فهرست بندی می نمایند.

همانطور که گوگل می گوید:

شما نمی خواهید سرور شما توسط خزنده گوگل غرق شود یا اینکه خزیدن را برای صفحات بی اهمیت یا مشابه در سایت انجام دهید. با استفاده صحیح از فایل Robots.txt ، می توانید به ربات های موتور جستجوگر بگویید که خزیدن را عاقلانه انجام دهند و این همان چیزی است که فایل Robots.txt در زمینه سئو مفید واقع می شود.

جذب قدرت robots.txt هستید؟

خب تا اینجا با فایل ربات دات تی اکس تی آشنا شده اید و حالا بیاید درباره پیدا کردن و استفاده مناسب از آن صحبت کنیم.

پیدا کردن فایل robots.txt

اگر می خواهید نگاه سریعی به فایل Robots.txt هاست تان داشته باشید، یک راه بسیار سریع و آسان وجود دارد که در این روش برای هر سایتی جواب می دهد. بنابراین می توانید فایل های سایت تان را زیر نظر بگیرید و ببینید که آنها دقیقا چه کاری انجام می دهد. تنها کاری که باید انجام دهید این است که آدرس اصلی سایت را در نوار جستجوی مرورگر تان تایپ کنید (به عنوان مثال، nikdad.net/test/) سپس فایل ربات ما به شکل robots.txt/   و همین حالا می توانید در آدرس https://nikdad.net/robots.txt فایل ربات نیکداد را مشاهده نمایید.

به طور کلی سه حالت برای وب سایت شما اتفاق خواهد افتاد:

۱) یک فایل Robots.txt پیدا خواهید کرد.

۲) یک فایل خالی پیدا خواهید کرد.

مثلا سایت دیزنی فایل Robots.txt می باشد.

۳) شما یک خطای ۴۰۴ دریافت خواهید کرد.

مثلا در تصویر زیر وب سایت متد یک خطای ۴۰۴ را در فایل Robots.txt دریافت کرده است.

چند لحظه وقت بگذارید و فایل Robots.txt سایت خود را مشاهده کنید.

اگر یک فایل خالی یا با صفحه خطای ۴۰۴ روبرو شده اید، باید آن را برطرف کنید.

همچنین اگر یک فایل مناسب و معتبر پیدا کرده اید، احتمالاً روی تنظیمات پیش‌ فرض تنظیم شده است که هنگام ساختن سایت تان ایجاد شده اند.

همچنین این روش برای مشاهده فایل های robots.txt سایت های دیگر نیز مفید است و به خوبی می توانید آنها را ملاحضه نمایید و نکاتی که مرتبط با فایل Robots.txt یاد گرفته اید، می تواند تمرین ارزشمندی باشد.

جستجوی فایل Robots.txt:

مرحله بعدی شما به داشتن یا نداشتن فایل ربات.txt بستگی دارد. (با روش بالا بررسی کنید که آیا اینکار را انجام می دهید)

اگر شما فایل ربات ندارید، باید آن را از اول ایجاد کنید، یک ویرایشگر متن ساده همانند Notepad (ویندوز) یا TextEdit (مک) باز کنید.

برای اینکار فقط از یک ویرایشگر متن ساده استفاده نمایید. اگر از برنامه هایی نظیر مایکروسافت ورد استفاده می کنید، برنامه می تواند کد اضافی را در متن وارد کند.

Editpad.org یک گزینه رایگان عالی است و دقیقا همان چیزی است که در این مقاله می توانید از آن استفاده نمایید.

اگر شما فایل robots.txt را دارید، باید آن را در دایرکتوری ریشه سایت خود بیابید. اگر به جستجوی در کد منابع عادت ندارید، ممکن است پیدا کردن نسخه قابل ویرایش فایل robots.txt کمی دشوار باشد.

شما می توانید با ورود به بخش روت هاستینگ وب سایت تان و در بخش مدیریت فایل یا ftp می توانید آن را پیدا کنید.

شما باید در چیزی مشابه زیر فایل مورد نظر را پیدا کنید:

فایل robots.txt خود را پیدا کنید و آن را برای ویرایش باز نمایید و تمام متن را حذف کنید و اما فایل را نگه دارید.

توجه: اگر از وردپرس استفاده می کنید، ممکن است هنگام رفتن به yoursite.com/robots.txt فایل robots.txt را ببینید، اما نمی توانید آن را در فایل‌ های خود پیدا کنید.

این به این خاطر است که وردپرس یک فایل robots.txt مجازی ایجاد می کند اگر robots.txt در فهرست اصلی وجود نداشته باشد. اگر این اتفاق برای شما افتاد، باید یک فایل robots.txt جدید ایجاد کنید.

ساخت فایل robots.txt

با استفاده از یک ویرایشگر متن ساده(دلخواه تان) می توانید فایل robots.txt جدید ایجاد کنید. (به یاد داشته باشید، فقط از یک ویرایشگر متن ساده استفاده کنید.)

همچنین اگر قبلاً یک فایل robots.txt دارید، مطمئن شوید که متن را حذف کرده اید (اما نه فایل). در ابتدا باید با برخی از روش های استفاده شده در فایل robots.txt آشنا شوید.

گوگل توضیحات خوبی درباره برخی از اصطلاحات اساسی robots.txt دارد:

ما نشان داده ایم که چگونه یک فایل robot.txt ساده را تنظیم کنید، و سپس نگاهی به نحوه سفارشی سازی آن برای سئو داشته باشید.

با تنظیم عبارت user-agent شروع کنید. ما آن را طوری تنظیم می کنیم که برای همه ربات های وب اعمال شود.

این کار را با استفاده از یک ستاره بعد از عبارت user-agent انجام دهید، مانند این:

بعد، «Disallow:» را تایپ کنید اما بعد از آن چیزی تایپ نکنید.

از آنجایی که پس از disallow چیزی وجود ندارد، ربات های وب هدایت می شوند تا کل سایت شما را بخزند. در حال حاضر، همه چیز در سایت شما یک بازی منصفانه است.

تا اینجا، فایل robots.txt شما باید به شکل زیر باشد:

می دانیم که این کاملا ساده به نظر می رسد، این دو خط در حال حاضر کارهای زیادی انجام می دهند.

همچنین می توانید به نقشه سایت XML خود لینک دهید، اما لازم نیست. اگر می خواهید این چیزی است که باید تایپ کنید:

این دقیقا چیزی است که اساس یک فایل robots.txt را شامل می شود. حالا بیاید به سطوح بعدی برویم و این فایل کوچک را به بهینه ساز و تقویت کننده سئو تبدیل کنیم.

بهینه سازی فایل robots.txt برای سئو

روش بهینه سازی فایل robots.txt به محتوایی که در سایت خود دارید بستگی دارد. انواع راه ها برای استفاده از robots.txt به نفع شما وجود دارد.

در اینجا برخی از رایج ترین روش های استفاده از آنها را خدمتتان معرفی می کنیم:

(به خاطر داشته باشید که نباید از robots.txt برای مسدود کردن صفحات از موتور های جستجو استفاده کنید. این یک اشتباه بزرگ است)

یکی از بهترین کاربرد فایل robots.txt این است که بودجه خزیدن موتور های جستجو را با گفتن به آن‌ ها برای خزیدن در قسمت‌ هایی از سایت شما که برای عموم نمایش داده نمی‌ شوند، به حداکثر برسانید.

به عنوان مثال، اگر از فایل robots.txt سایت (nikdad.net/test/) بازدید کنید، خواهید دید که صفحه ورود به سیستم (wp-admin) را غیر مجاز می کند.

از آنجایی که آن صفحه فقط برای ورود به باطن سایت استفاده می شود، منطقی نیست که ربات های موتور جستجو وقت خود را برای خزیدن در آن تلف کنند.

(اگر وردپرس دارید، می توانید از Disallow: /wp-admin/ استفاده کنید.)

شما می توانید از یک دستور مشابه برای جلوگیری از خزیدن ربات ها در صفحات خاص استفاده نمایید. بعد از disallow بخشی از لینک را بعد از .net می آید وارد کنید. آن را بین دو اسلش رو به جلو قرار دهید.

بنابراین اگر می‌خواهید به یک ربات بگویید که صفحه شما http://yoursite.net/page/ را نخزد، می‌ توانید این بخش را تایپ کنید:

ممکن است بپرسید که چه نوع صفحاتی را از فهرست بندی حذف کنید. در اینجا چند سناریوی رایج وجود دارد که در آن اتفاق می افتد:

محتوای تکراری هدفمند. در حالی که محتوای تکراری بیشتر چیز بدی است، موارد انگشت شماری وجود دارد که در آنها ضروری و قابل قبول است.

به عنوان مثال، اگر نسخه چاپگر مناسبی از یک صفحه دارید، از نظر فنی محتوای تکراری دارید. در این مورد، می‌ توانید به ربات‌ ها بگویید که یکی از آن نسخه‌ ها (معمولاً نسخه مناسب چاپگر) را نبرند.

اگر صفحاتی را آزمایش می کنید که محتوای یکسانی دارند اما طرح‌ های متفاوتی دارند، این نیز مفید است.

صفحات thank-you یکی از صفحات مورد علاقه بازاریابی است زیرا به معنای یک سرنخ جدید است.

…درست؟

همانطور که مشخص است، برخی از صفحات تشکر از طریق گوگل قابل دسترسی هستند. این بدان معناست که افراد می توانند بدون گذراندن فرآیند جذب سرنخ به این صفحات دسترسی داشته باشند و این خبر بدی است.

با مسدود کردن صفحات تشکر خود، می توانید مطمئن شوید که فقط سرنخ های واجد شرایط آنها را می بینند.

بنابراین فرض کنید صفحه تشکر شما در https://yoursite.com/thank-you/ یافت می شود. در فایل robots.txt، مسدود کردن آن صفحه به شکل زیر است:

از آنجایی که هیچ قانون جهانی برای غیر مجاز کردن صفحات وجود ندارد، فایل robots.txt شما منحصر به سایت شما خواهد بود. در اینجا از قضاوت خود استفاده کنید.

دو دستور العمل دیگر وجود دارد که باید بدانید: noindex و nofollow.

آیا می‌ دانید که دستور العمل عدم اجازه ما از آن استفاده کرده‌ایم؟

در واقع از ایندکس شدن صفحه جلوگیری نمی کند. بنابراین از نظر تئوری، شما می توانید یک صفحه را غیر مجاز یا دیسالو کنید که همچنان می تواند در فهرست قرار گیرد.

به طور کلی، شما این را نمی خواهید.

به همین دلیل است که شما به دستور العمل noindex نیاز دارید. با دستور العمل عدم اجازه کار می کند تا مطمئن شود ربات ها صفحات خاصی را بازدید یا فهرست نمی کنند.

اگر صفحه‌ هایی دارید که نمی خواهید ایندکس شوند (مانند آن صفحات با ارزش تشکر)، می‌ توانید از دستور العمل‌ های Disallow و Noindex استفاده کنید:

اکنون، آن صفحه در SERP ها نشان داده نمی شود.

در نهایت، دستور العمل nofollow وجود دارد. این در واقع همان لینک nofollow است. به طور خلاصه، به ربات‌ های وب می گوید که پیوند های یک صفحه را خزش نکنند.

اما دستور nofollow قرار است کمی متفاوت اجرا شود زیرا در واقع بخشی از فایل robots.txt نیست.

با این حال، دستور العمل nofollow همچنان به روبات‌ های وب آموزش می دهد، بنابراین همان مفهوم است. تنها تفاوت این است که در کجا اتفاق می افتد.

کد منبع صفحه ای را که می خواهید تغییر دهید پیدا کنید و مطمئن شوید که بین تگ های <head> قرار دارید.

سپس این خط را قرار دهید:

<meta name=”robots” content=”nofollow”>

پس باید به شکل زیر باشد:

مطمئن شوید که این خط را بین هیچ تگ دیگری قرار نمی دهید – فقط تگ های <head>.

این یکی دیگر از گزینه‌ های خوب برای صفحات تشکر است، زیرا ربات‌ های وب لینک‌ ها را به هیچ lead magnets یا محتوای انحصاری دیگر نمی خزند.

اگر می خواهید هر دو دستور العمل noindex و nofollow را اضافه کنید، از این خط کد استفاده کنید:

<meta name=”robots” content=”noindex,nofollow”>

این به ربات های وب هر دو دستور العمل را در یک زمان می دهد.

تست کردن همه چیز

در نهایت، فایل robots.txt خود را آزمایش کنید تا مطمئن شوید که همه چیز معتبر است و به درستی کار می کند.

گوگل از یک تست و آزمایش کننده فایل ربات txt به طور رایگان در بخش Webmaster خودش استفاده می کنید که می توانید با کلیک بر روی robots.txt Tester آن را مشاهده و استفاده نمایید.

ابتدا باید با کلیک بر روی گزینه “ورود به سیستم” در گوشه سمت راست بالا وارد حساب کاربری وب مستر خود شوید.(از اکانت جیمیل تان استفاده نمایید)

در این بخش property (به عنوان مثال، وب سایت) را انتخاب کنید و روی “Crawl” در نوار کناری سمت چپ کلیک کنید.

گزینه “Robots.txt Tester” را خواهید دید. روی آن کلیک کنید.

اگر از قبل کدی در کارد وجود دارد، آن را حذف کرده و با فایل robots.txt جدید خود جایگزین کنید.

روی “test” در قسمت پایین سمت راست صفحه کلیک کنید.

اگر متن “test” به “Allowed” تغییر کند، به این معنی است که robots.txt شما معتبر است.

دراینجا اطلاعات بیشتری درباره این ابزار وجود دارد تا بتوانید معنی همه چیز را با جزئیات بیاموزید.

در نهایت، robots.txt خود را در دایرکتوری ریشه خود آپلود کنید (یا اگر قبلاً داشتید آن را در آنجا ذخیره کنید). شما اکنون به یک فایل قدرتمند مجهز شده اید و باید دید جستجوی خود را افزایش دهید.

نتیجه گیری:

به پایان این مقاله جذاب رسیده ایم که امیدواریم با راه اندازی فایل robots.txt به طور صحیح آشنا شده باشید و ما سعی می کنیم از این به بعد در سایت نیکداد آموزش های سئو و طراحی سایت زیادی قرار دهیم تا بتوانید آگاهی و دانش تان را افزایش دهید. شما قطعا با این فایل می توانید سئوی سایت تان را بهبود ببهشید و به بازدیدکنندگان تان نیز کمک خواهید کرد. اگر ربات های موتور جستجوگر بتوانند با خزش در بین مطالب مورد علاقه، محتوای شما را به بهترین شکل در نتایج گوگل یا همان SERP سازماندهی و نمایش دهند، شما بیشتر در معرض دید بازدیدکننده ها قرار خواهید گرفت.

شما برای ساخت فایل robots.txt تلاش زیادی لازم نیست انجام دهید، شما با یکبار راه اندازی برای همیشه دارای یک فایل ربات در سایت تان هستید و می توانید در صورت نیاز به آسانی در آن تغییرات انجام دهید.چه در حال راه اندازی اولین یا پنجمین سایت خود باشید، استفاده از robots.txt می تواند تفاوت چشمگیری ایجاد کند.

توصیه می کنم اگر قبلاً آن را انجام نداده‌ اید، همین حالا از آن استفاده نمایید. در پایان پیشنهاد می کنیم برای بهبود سئو و بهینه سازی سایت تان از صفحات بک لینک و رپورتاژ وب سایت نیکداد دیدن نمایید که پکیج های بی نظیری را برای شما دوستان عزیز تدارک دیده ایم و همچنین ابزارهای مختلف سئو را نیز می توانید از سایت ما خریداری نمایید.