پنجشنبه ۱۳ بهمن ۰۱ | ۱۰:۴۶ ۱۴ بازديد
«میزان دارایی خزیدن» تعداد صفحاتی می باشد که Googlebot در زمان زمان معینی در یک سایت می خزد و فهرست می کند.
خزیدن ربات در موتورهای جستجو گرانبها می باشد، البته خزیدن می تواند سایت‌هایی را که قدرت پژوهش به بازدید ربات‌ها و کاربران را ندارند، زیر تأثیر قرار دهد. ربات گوگل برای هر وبسایت یک بخش دارایی ای را که متناسب با مطلوبیت و ماهیت آنها باشد، کنار میگذارد. برخی از سایت‌ها تبارک‌تر میباشند، برخی دیگر از اختیارات زیادی برخوردارند، به این ترتیب از Googlebot یاری هزینه بیشتری دریافت می‌کنند.
گوگل میزان دارایی خزیدن را به وضوح تعریف و تمجید نمی کند، اما آنها می گویند مقصود این هست که حق اولویت بندی گردد که چه چیزی باید خزیده شود، چه زمانی بایستی خزیده گردد و چقدر دقیق خزیده شود.
از آنجایی که منبع محدودی از خزیدن دارید، میتوانید robots.txt را نصب کنید تا از صفحه های اضافی از طریق Googlebot دوری کرده و آنان‌را به مورد ها اصلی معرفی فرمایید. سئو در مشهد این کار باعث حذف ضایعات بودجه خزیدن شما میشود و هم شما و هم گوگل را از نگرانی راجع به صفحات نامربوط نجات میدهد.
2. از ردپای محتوای تکراری دوری فرمائید
موتورهای جستجو در زمینه ی محتوای تکراری حساس می باشند ، با این اکنون، برای خزیدن صفحات محتوای تکراری و نمایش آنان در SERP ها، نیازی به ربات ندارید.
Robots.txt یک گزینه برای به دست کم رساندن محتوای تکراری موجود برای خزیدن میباشد. روش‌های دیگری برای اطلاع‌رسانی به Google در امر محتوای تکراری میباشد اما میتوانید با استفاده از فایل‌های robots.txt محتوای تکراری را حذف فرمایید تا بودجه خزیدن خود را نیز نگهداری کنید.
3. بها لینک را به صفحه ها مناسب منتقل نمائید
لینک و پیوند های داخلی یکی‌از راههای بهبود سئو است. صفحه ها با بهترین عملکرد شما می‌توانند اعتبار صفحه ها ضعیف و معدل شمارا در چشم گوگل افزایش دهند. فایل‌های robots.txt به ربات‌ها می‌گوید که بعد از رسیدن به صفحه‌ای با دستورالعمل که تعریف و تمجید شده، به آن اعتنا کند.
این بدان معناست که در حالتی‌که از دستور شما تبعیت کنند، بعضی یا کل صفحات را تحقیق نمی‌کنند. بها پیوند سازی شما زیاد می باشد و وقتی که از robots.txt به صدق به کارگیری می کنید، بها پیوند به صفحاتی که واقعاً میخواهید ارتقاء دهید منتقل میشود. فقط از فولدر‌های robots.txt برای صفحاتی استفاده نمایید که نیازی ندارید در آن برگه لینک سازی به دیگر صفحات داشته باشید.
4. دستور کار های خزیدن را برای ربات های انتخابی انتخاب کنید
حتی‌در همان موتور جستجو، ربات های مختلفی وجود داراست. Google دارای خزنده‌هایی غیروابسته از «Googlebot» اساسی میباشد، برای مثال Googlebot Images، Googlebot Videos، AdsBot و مورد ها دیگر. با robots.txt می توانید خزنده‌ها را از فایل‌هایی که نمیخواهید در جستجوها ظاهر شوند، دور کنید. از جمله، در صورتی‌که میخواهید پوشه‌ها را از نمایش در جستجوهای Google Images مسدود کنید، می توانید شیوه نامه‌های غیر مجاز را روی فایل‌های تصویری خود قرار دهید.
در فهرست‌های شخصی، robots.txt قادر است از ربات‌های موتور جستجو هجران کند، البته به خاطر داشته باشید که این شغل از اطلاعات حساس و خصوصی محافظت نمی‌کند.
پرسش و پاسخ متداول
پوشه robots.txt چه می کند؟
Robots.txt در واقع یک پوشه میباشد با پسوند TXT که به ربات ها و خرنده های موتورهای جستجو این را می گوید که در کدام صفحه های یا بخش های یک وب سایت حق خزیدن ندارند.
نمونه های فولدر robots.txt کدامند؟
Disallow : از این فرمان برای اینکه دسترسی به یک پوشه خاص یا url محدود شود، به کارگیری می گردد. Crawl-delay : دستوری برای ساخت کردن ژرف اندیشی در حین تفحص محتوا به وسیله ربات ها میباشد. Sitemap : انتخاب شرایط نقشه تارنما. User-agent : از این دستور به دو شکل می توان بهره برد.
فایلrobots.txt چه تاثیری بر سئو دارااست؟
درست است که فایل robots.txt درجه بلندتر را تضمین نمی کندف اما برای بهبود seo اصلی میباشد. این فایل ها جزئی از سئو فنی محسوب میشوند که در نتیجه سبب رضایت بازدیدکنندگان شما میشود. میزان دارایی خزیدن خود را نگهداری فرمائید. از ردپای محتوای تکراری جلوگیری کنید بها پیوند را به صفحه ها مناسب منتقل کنید 4. دستور کار های خزیدن را
راهنمای جامع کدهای وضعیت HTTP (Status codes)