طراخی فروشگاه اینترنتی

طراحی سایت

___

----

_---_

DATA NEGAR Co.

نماد اعتماد الکترونیکی

222222222222222222

آمار بازدید

  • کل (online):۱۹۰۹۱
  • اعضاء (online):۸
  • میهمان (online):۱۹۰۸۳
  • بازدید امروز::۴۷۲۸
  • بازدید دیروز::۱۲۰۹۳
  • بازدید کل::۲۲۹۷۹۷۴۳
  • فایل robots.txt چیست؟

  • فایل Robots.txt یکی از ساده‌ترین فایل‌های یک وب‌سایت است، اما در عین حال یکی از ساده‌ترین را ها برای تخریب سئو سایت است. فقط یک کاراکتر بی جا می تواند سئو شما را خراب کند و موتورهای جستجو را از دسترسی به محتوای مهم سایت شما باز دارد. به همین دلیل است که پیکربندی نادرست robots.txt بسیار رایج است؛ حتی در بین متخصصان باتجربه سئو!
  • بازدید این صفحه : ۱۶
    تاريخ : 26 آبان 1401

فایل robots.txt چیست؟

فایل robots.txt چیست؟

Robots.txt یک فایل متنی ساده است که می توانید روی سرور خود قرار دهید تا نحوه دسترسی ربات ها به صفحات شما را کنترل کنید. این شامل قوانینی برای خزنده ها است که تعیین می کند کدام صفحات باید خزیده شوند یا نباید خزیده شوند. فایل باید در دایرکتوری ریشه وب سایت شما قرار گیرد. بنابراین، برای مثال، اگر وب سایت شما domain.com نام دارد، فایل robots.txt باید در domain.com/robots.txt باشد.

فایل چگونه robots.txt چگونه کار می کند؟

خزنده ها برنامه هایی هستند که در وب می خزند. آنها کاربردهای مختلفی دارند، اما موتورهای جستجو از آنها برای یافتن محتوای وب برای ایندکس استفاده می کنند. این فرآیند را می توان به چند مرحله تقسیم کرد:
  • خزنده‌ها دارای صفی از URLها هستند که هم وب‌سایت‌های جدید و هم قبلاً شناخته شده‌ای را دارند که می‌خواهند بخزند.
  • قبل از خزیدن یک وب سایت، خزنده ها ابتدا به دنبال فایل robots.txt در دایرکتوری ریشه وب سایت می گردند.
  • اگر هیچ فایل robots.txt وجود نداشته باشد، خزنده ها آزادانه وب سایت را می خزند. با این حال، اگر یک فایل robots.txt معتبر وجود داشته باشد، خزنده‌ها به دنبال دستورالعمل‌ها در داخل آن می‌گردند و بر این اساس به خزیدن وب‌سایت ادامه می‌دهند.
  • اگر یک موتور جستجو نتواند صفحه را بخزد، آن صفحه نمی تواند ایندکس شود و در نتیجه در صفحات نتایج جستجو ظاهر نمی شود.
با این حال، دو نکته وجود دارد:
1. صفحه‌ای که از خزیدن مسدود شده است ممکن است همچنان ایندکس شود
غیرمجاز کردن خزیدن در فایل robots.txt تضمین نمی کند که موتورهای جستجو صفحه را ایندکس نمی کنند. اگر اطلاعاتی در مورد محتوا در منابع دیگر بیابند و تصمیم بگیرند که محتوای مهمی است، همچنان ممکن است این کار را انجام دهند. به عنوان مثال، آنها می توانند پیوندهای منتهی به صفحه را از سایت های دیگر پیدا کنند، از انکر تکست استفاده کنند و آن را در صفحه نتایج جستجو نشان دهند.
2. نمی‌توانید ربات‌ها را مجبور کنید از قوانین موجود در robots.txt پیروی کنند
Robots.txt فقط یک دستورالعمل است، نه یک قانون اجباری. شما نمی توانید ربات ها را مجبور به اطاعت از آن کنید. اکثر خزنده ها، به ویژه آنهایی که توسط موتورهای جستجو استفاده می شوند، هیچ صفحه ای را که توسط robots.txt مسدود شده است، نمی خزند. با این حال، موتورهای جستجو تنها موتورهایی نیستند که از خزنده ها استفاده می کنند. ربات های مخرب ممکن است دستورالعمل ها را نادیده بگیرند و به هر حال به صفحات دسترسی پیدا کنند. به همین دلیل است که نباید از robots.txt به عنوان راهی برای محافظت از داده های حساس وب سایت خود در برابر خزیدن استفاده کنید. اگر باید مطمئن شوید که ربات‌ها برخی از محتوای شما را نمی‌خزند، بهتر است از آن با یک رمز عبور محافظت کنید.

چرا به فایل robots.txt نیاز دارید؟

Robots.txt بخش ضروری وب سایت شما نیست، اما یک فایل بهینه سازی شده می تواند از بسیاری جهات برای سایت شما مفید باشد. مهمتر از همه، می تواند به شما کمک کند بودجه خزش خود را بهینه کنید. ربات‌های موتور جستجو منابع محدودی دارند و تعداد URL‌هایی را که می‌توانند در یک وب‌سایت مشخص بخزند محدود می‌کنند. بنابراین اگر بودجه خزیدن خود را در صفحات کم اهمیت هدر دهید، ممکن است صفحات با ارزش تر خزش نشود. اگر وب سایت کوچکی دارید، ممکن است این یک مشکل سطحی به نظر برسد، اما هر کسی که یک وب سایت بزرگ دارد می داند که استفاده بهینه از منابع ربات های موتور جستجو چقدر حیاتی است.
با فایل robots.txt، می توانید از خزیدن برخی صفحات، به عنوان مثال، صفحات با کیفیت پایین جلوگیری کنید. این بسیار مهم است؛ زیرا اگر صفحات قابل ایندکس با کیفیت پایین زیادی دارید، ممکن است بر کل سایت تأثیر بگذارد و ربات های موتورهای جستجو را از خزیدن صفحات با کیفیت بالا منصرف کند.
علاوه بر این، robots.txt به شما امکان می دهد مکان نقشه سایت XML خود را مشخص کنید. نقشه سایت یک فایل متنی است که آدرس‌هایی را که می‌خواهید موتورهای جستجو ایندکس کنند فهرست می‌کند. قرار دادن آدرس آن در فایل robots.txt یافتن آن را برای ربات های موتورهای جستجو آسان تر می کند.

از ایندکس شدن چه صفحاتی باید جلوگیری شود؟

با استفاده از فایل robots.txt میتوان از ایندکس شدن بسیاری از صفحات مانند دسته بندی ها، تگ ها و صفحات خاص جلوگیری کرد. برخی از صفحاتی که باید توسط robots.txt از ایندکس شدن جلوگیری شوند، موارد زیر است.
  • صفحاتی که محتوای تکراری دارند ( duplicate content)
  • تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
  • فیلتر بندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
  • صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند ( در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
  • تمامی صفحات ادمین و پنل سایت
  • صفحه پروفایل کاربران سایت
  • صفحات چت
  • برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند

چگونه فایل robots.txt را تغییر دهیم؟

اینکه چگونه می توانید فایل robots.txt خود را تغییر دهید، به شدت به سیستمی که استفاده می کنید بستگی دارد. اگر از یک CMS یا یک پلتفرم تجارت الکترونیک استفاده می کنید، ممکن است به ابزارها یا افزونه های اختصاصی دسترسی داشته باشید که می توانند به شما کمک کنند به راحتی به فایل دسترسی پیدا کرده و آن را تغییر دهید. برای مثال، Wix و Shopify به شما اجازه می‌دهند که robots.txt را مستقیماً ویرایش کنید. برای وردپرس می توانید از افزونه هایی مانند Yoast SEO استفاده کنید.
اگر از CMS یا پلتفرم تجارت الکترونیک استفاده نمی کنید، ممکن است لازم باشد ابتدا فایل را دانلود کنید، آن را ویرایش کنید و سپس دوباره در سایت خود آپلود کنید.
شما می توانید فایل را به روش های مختلف دانلود کنید:
آدرس domain.com/robots.txt را در مرورگر وارد کنید و بعد از رویت شدن فایل به سادگی محتوا را کپی کنید.
از ابزارهای ارائه شده توسط سرویس میزبانی خود استفاده کنید. به عنوان مثال، ممکن است یک پنل اختصاصی برای مدیریت فایل ها یا دسترسی از طریق پروتکل FTP باشد.
برای دانلود یک کپی از فایل خود از Google یا Bing’s robots.txt testers استفاده کنید.
هنگامی که robots.txt را دانلود کردید، به سادگی می توانید آن را در ویرایشگر متن دلخواه خود مانند Notepad (ویندوز) یا TextEdit (مک) ویرایش کنید. مطمئن شوید که فایل را در استاندارد UTF-8 رمزگذاری کرده اید و به یاد داشته باشید که نام آن باید "robots.txt" باشد.
پس از اصلاح robots.txt، می‌توانید فایل را مشابه دانلود آن آپلود کنید. می توانید از ابزارهای اختصاصی ارائه شده توسط هاست خود استفاده کنید، از ابزارهای داخلی CMS استفاده کنید یا فایل ها را مستقیماً توسط پروتکل های FTP به سرور ارسال کنید.
هنگامی که فایل شما در دسترس عموم قرار گرفت، موتورهای جستجو می توانند آن را به طور خودکار پیدا کنند. اگر به دلایلی می‌خواهید موتورهای جستجو فوراً تغییرات را ببینند، از طریق این لینک گوگل را مطلع کنید.
در طول فرآیند خزیدن خودکار، خزنده‌های Google متوجه تغییراتی می‌شوند که در فایل robots.txt خود ایجاد کرده‌اید و هر 24 ساعت یک بار نسخه کش شده را به‌روزرسانی می‌کنند. اگر نیاز دارید حافظه کش را سریعتر به روز کنید، از robots.txt Tester استفاده کنید.




حاصل جمع را بنویسید : به اضافه






*حاصل جمع را بنویسید : به اضافه



Copyright 2016 By RVKP CO. All Rights Reserved