دسته بندی
-
فایل robots.txt چیست؟
-
فایل Robots.txt یکی از ساده‌ترین فایل‌های یک وب‌سایت است، اما در عین حال یکی از ساده‌ترین را ها برای تخریب سئو سایت است. فقط یک کاراکتر بی جا می تواند سئو شما را خراب کند و موتورهای جستجو را از دسترسی به محتوای مهم سایت شما باز دارد. به همین دلیل است که پیکربندی نادرست robots.txt بسیار رایج است؛ حتی در بین متخصصان باتجربه سئو!
-
00
-
بازدید این صفحه : ۱۰۴۹تاريخ : 26 آبان 1401
بزرگنمایی تصویر
فایل robots.txt چیست؟
Robots.txt یک فایل متنی ساده است که می توانید روی سرور خود قرار دهید تا نحوه دسترسی ربات ها به صفحات شما را کنترل کنید. این شامل قوانینی برای خزنده ها است که تعیین می کند کدام صفحات باید خزیده شوند یا نباید خزیده شوند. فایل باید در دایرکتوری ریشه وب سایت شما قرار گیرد. بنابراین، برای مثال، اگر وب سایت شما domain.com نام دارد، فایل robots.txt باید در domain.com/robots.txt باشد.فایل چگونه robots.txt چگونه کار می کند؟
خزنده ها برنامه هایی هستند که در وب می خزند. آنها کاربردهای مختلفی دارند، اما موتورهای جستجو از آنها برای یافتن محتوای وب برای ایندکس استفاده می کنند. این فرآیند را می توان به چند مرحله تقسیم کرد:- خزنده‌ها دارای صفی از URLها هستند که هم وب‌سایت‌های جدید و هم قبلاً شناخته شده‌ای را دارند که می‌خواهند بخزند.
- قبل از خزیدن یک وب سایت، خزنده ها ابتدا به دنبال فایل robots.txt در دایرکتوری ریشه وب سایت می گردند.
- اگر هیچ فایل robots.txt وجود نداشته باشد، خزنده ها آزادانه وب سایت را می خزند. با این حال، اگر یک فایل robots.txt معتبر وجود داشته باشد، خزنده‌ها به دنبال دستورالعمل‌ها در داخل آن می‌گردند و بر این اساس به خزیدن وب‌سایت ادامه می‌دهند.
- اگر یک موتور جستجو نتواند صفحه را بخزد، آن صفحه نمی تواند ایندکس شود و در نتیجه در صفحات نتایج جستجو ظاهر نمی شود.
1. صفحه‌ای که از خزیدن مسدود شده است ممکن است همچنان ایندکس شود
غیرمجاز کردن خزیدن در فایل robots.txt تضمین نمی کند که موتورهای جستجو صفحه را ایندکس نمی کنند. اگر اطلاعاتی در مورد محتوا در منابع دیگر بیابند و تصمیم بگیرند که محتوای مهمی است، همچنان ممکن است این کار را انجام دهند. به عنوان مثال، آنها می توانند پیوندهای منتهی به صفحه را از سایت های دیگر پیدا کنند، از انکر تکست استفاده کنند و آن را در صفحه نتایج جستجو نشان دهند.
2. نمی‌توانید ربات‌ها را مجبور کنید از قوانین موجود در robots.txt پیروی کنند
Robots.txt فقط یک دستورالعمل است، نه یک قانون اجباری. شما نمی توانید ربات ها را مجبور به اطاعت از آن کنید. اکثر خزنده ها، به ویژه آنهایی که توسط موتورهای جستجو استفاده می شوند، هیچ صفحه ای را که توسط robots.txt مسدود شده است، نمی خزند. با این حال، موتورهای جستجو تنها موتورهایی نیستند که از خزنده ها استفاده می کنند. ربات های مخرب ممکن است دستورالعمل ها را نادیده بگیرند و به هر حال به صفحات دسترسی پیدا کنند. به همین دلیل است که نباید از robots.txt به عنوان راهی برای محافظت از داده های حساس وب سایت خود در برابر خزیدن استفاده کنید. اگر باید مطمئن شوید که ربات‌ها برخی از محتوای شما را نمی‌خزند، بهتر است از آن با یک رمز عبور محافظت کنید.
چرا به فایل robots.txt نیاز دارید؟
Robots.txt بخش ضروری وب سایت شما نیست، اما یک فایل بهینه سازی شده می تواند از بسیاری جهات برای سایت شما مفید باشد. مهمتر از همه، می تواند به شما کمک کند بودجه خزش خود را بهینه کنید. ربات‌های موتور جستجو منابع محدودی دارند و تعداد URLهایی را که می‌توانند در یک وب‌سایت مشخص بخزند محدود می‌کنند. بنابراین اگر بودجه خزیدن خود را در صفحات کم اهمیت هدر دهید، ممکن است صفحات با ارزش تر خزش نشود. اگر وب سایت کوچکی دارید، ممکن است این یک مشکل سطحی به نظر برسد، اما هر کسی که یک وب سایت بزرگ دارد می داند که استفاده بهینه از منابع ربات های موتور جستجو چقدر حیاتی است.با فایل robots.txt، می توانید از خزیدن برخی صفحات، به عنوان مثال، صفحات با کیفیت پایین جلوگیری کنید. این بسیار مهم است؛ زیرا اگر صفحات قابل ایندکس با کیفیت پایین زیادی دارید، ممکن است بر کل سایت تأثیر بگذارد و ربات های موتورهای جستجو را از خزیدن صفحات با کیفیت بالا منصرف کند.
علاوه بر این، robots.txt به شما امکان می دهد مکان نقشه سایت XML خود را مشخص کنید. نقشه سایت یک فایل متنی است که آدرس‌هایی را که می‌خواهید موتورهای جستجو ایندکس کنند فهرست می‌کند. قرار دادن آدرس آن در فایل robots.txt یافتن آن را برای ربات های موتورهای جستجو آسان تر می کند.
از ایندکس شدن چه صفحاتی باید جلوگیری شود؟
با استفاده از فایل robots.txt میتوان از ایندکس شدن بسیاری از صفحات مانند دسته بندی ها، تگ ها و صفحات خاص جلوگیری کرد. برخی از صفحاتی که باید توسط robots.txt از ایندکس شدن جلوگیری شوند، موارد زیر است.- صفحاتی که محتوای تکراری دارند ( duplicate content)
- تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
- فیلتر بندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
- صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند ( در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
- تمامی صفحات ادمین و پنل سایت
- صفحه پروفایل کاربران سایت
- صفحات چت
- برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند
چگونه فایل robots.txt را تغییر دهیم؟
اینکه چگونه می توانید فایل robots.txt خود را تغییر دهید، به شدت به سیستمی که استفاده می کنید بستگی دارد. اگر از یک CMS یا یک پلتفرم تجارت الکترونیک استفاده می کنید، ممکن است به ابزارها یا افزونه های اختصاصی دسترسی داشته باشید که می توانند به شما کمک کنند به راحتی به فایل دسترسی پیدا کرده و آن را تغییر دهید. برای مثال، Wix و Shopify به شما اجازه می‌دهند که robots.txt را مستقیماً ویرایش کنید. برای وردپرس می توانید از افزونه هایی مانند Yoast SEO استفاده کنید.اگر از CMS یا پلتفرم تجارت الکترونیک استفاده نمی کنید، ممکن است لازم باشد ابتدا فایل را دانلود کنید، آن را ویرایش کنید و سپس دوباره در سایت خود آپلود کنید.
شما می توانید فایل را به روش های مختلف دانلود کنید:
آدرس domain.com/robots.txt را در مرورگر وارد کنید و بعد از رویت شدن فایل به سادگی محتوا را کپی کنید.
از ابزارهای ارائه شده توسط سرویس میزبانی خود استفاده کنید. به عنوان مثال، ممکن است یک پنل اختصاصی برای مدیریت فایل ها یا دسترسی از طریق پروتکل FTP باشد.
برای دانلود یک کپی از فایل خود از Google یا Bing’s robots.txt testers استفاده کنید.
هنگامی که robots.txt را دانلود کردید، به سادگی می توانید آن را در ویرایشگر متن دلخواه خود مانند Notepad (ویندوز) یا TextEdit (مک) ویرایش کنید. مطمئن شوید که فایل را در استاندارد UTF-8 رمزگذاری کرده اید و به یاد داشته باشید که نام آن باید "robots.txt" باشد.
پس از اصلاح robots.txt، می‌توانید فایل را مشابه دانلود آن آپلود کنید. می توانید از ابزارهای اختصاصی ارائه شده توسط هاست خود استفاده کنید، از ابزارهای داخلی CMS استفاده کنید یا فایل ها را مستقیماً توسط پروتکل های FTP به سرور ارسال کنید.
هنگامی که فایل شما در دسترس عموم قرار گرفت، موتورهای جستجو می توانند آن را به طور خودکار پیدا کنند. اگر به دلایلی می‌خواهید موتورهای جستجو فوراً تغییرات را ببینند، از طریق این لینک گوگل را مطلع کنید.در طول فرآیند خزیدن خودکار، خزنده‌های Google متوجه تغییراتی می‌شوند که در فایل robots.txt خود ایجاد کرده‌اید و هر 24 ساعت یک بار نسخه کش شده را به‌روزرسانی می‌کنند. اگر نیاز دارید حافظه کش را سریعتر به روز کنید، از robots.txt Tester استفاده کنید.
نظر شما
-
خدمات طراحی سایت
-
ویترین اخبار
- راه اندازی سایت نشریه الکترونیک فرهنگ انقلاب اسلامی
- ملاک شناخت یک شرکت طراحی سایت قوی و توانا برای راه اندازی سایت اینترنتی شما چیست؟
- فرا رسیدن نوروز باستانی، یادآور شکوه ایران و یگانه یادگار جمشید جم بر همه ایرانیان پاک پندار، راست گفتار و نیک کردار خجسته باد
- راه اندازی وب سایت اینترنتی ماشین سازی درستگاههای تولید آرد
- راه اندازی وب سایت اینترنتی ملک آریا
- 7 مورد از قابلیتهای غیرمنتظره در iOS 7
- Apex در برابر Nova: مقایسه دو لانچر اندروید
- پاداش 15,000 دلاری برای شکستن قفل TouchID
- نیکون از AW1، اولین دوربین ضد آب با قابلیت تعویض لنز، پرده برداشت
- لومیا 1520 نوکیا و این بار مشخصات فنی، قیمت و زمان عرضه
- رکورد فروش موبایل در دست 8 مدل
- اپل در حال تست نسخه های 701 و702 و 71 سیستم عامل iOS؟
- علت دقیق سرعت پایین اینترنت را نمیدانیم
- بررسی اکسپریا Z1 سونی
- آموزش ساخت ایمیل یاهو پس از حذف ایران!
- سهام توییتر روانه بازار بورس میشود
- تبلیغات تازه مایکروسافت علیه آیفون شکست خورد
- مدیرعامل اینتل: تبلتهای زیر 100 دلاری در تعطیلات سال نوی میلادی از راه میرسند
- 27 شهریور iOS 7 برای آیفونها و آیپدها منتشر میشود
- کنسول بازی جدید سونی با قابلیت های جذاب و قیمت مناسب معرفی شد: Vita TV
- کمپانی دل برای چینی ها لب تاب لوحی می سازد!!!
- ایسوس فون پد 7 اینچی جدید را معرفی کرد: تبلت/تلفن هیبریدی با اسپیکر دو کاناله
- یاهو لوگوی جدید خود را رونمایی کرد
- ایسوس از لپتاپ لمسی و ارزان قیمت X102BA با پردازنده AMD پرده برداشت
- دوباره Moto X و این بار تصویر رندر شده تبلیغاتی آن [بروز شد]
- ولخرجیهای گوگل در حوزه دیتاسنتر ادامه دارد: 6-1 میلیارد دلار در سه ماهه دوم 2013
- تشکیل گروه جهانی« طراحی فناوریهای پوشیدنی» در موتورولا، با استناد به آگهی استخدام این شرکت
- آشنایی با سیستمفایلها و نحوه فرمتکردن درایوهای خارجی در مک
- سرفیس RT هنوز نمرده است
- دانلود کنید: اپلیکیشن VLC برای کاربران iOS منتشر شد
- بررسی همهجانبۀ شایعات پیرامون ساعتهای هوشمند
- تصاویر واضح از آیفون ارزان قیمت در کنار آیفون 5 فاش شد
- تبدیل تصاویر به فرمت ICO و استخراج آیکونها از فایل‌های با فرمت EXE و DLL
- نسخه جدید اندروید در 2 مردادماه معرفی میشود
- ال جی از نام G2 برای پرچمدار بعدی خود استفاده می‌کند
- مشخصات فنی و بنچمارک گلکسی نوت 3 فاش شد
- تصویر و مشخصات جدید آیفون 5S به بیرون درز کرد: صفحه نمایش IGZO، دوربین 12 مگاپیکسل، پردازنده سریعتر و پردازنده گرافیکی چهار هستهای
- آیا میتوان پس از مرگ اطلاعات با ارزش را در اختیار خانواده، دوستان و آشنایان قرار داد؟
- تصاحب Omek توسط اینتل ممکن است باعث شود هرگز نیاز به لمس کامپیوتر خود نباشید
- نسخه جدید تحت وب نقشه گوگل در دسترس همگان قرار گرفت
- تلفن G2 ال جی مجهز به باتری 2540 میلی آمپر ساعتی است
- جزئیات بیشتر از دوربین 20 مگاپیکسلی هونامی: سنسوری بزرگ ولی نه به اندازهی لومیا 1020
- مرور تاریخچه دوربین در گوشیهای برجسته نوکیا
- دریافت استاندارد و رتبه 6 از 10 گوگل توسط سایت شرکت راوک نگار پارس
- بروزرسانی تعدادی از جدیدترین نمونه آثار طراحی سایت های هوشمند راوک نگار پارس
-
نماد اعتماد الکترونیکی
-
آمار بازدید
- کل (online):۱۱۸۶
- اعضاء (online):۱
- میهمان (online):۱۱۸۵
- بازدید امروز::۱۰۵۴
- بازدید دیروز::۱۴۷۹
- بازدید کل::۲۸۸۶۵۴۶۵
-
تبلیغات