گزارش Crawl Stats در سرچ کنسول چیست؟ [+ بررسی عملکرد خزش گوگل]

اگر شما هم صاحب یک وب‌سایت هستید و به سئو اهمیت می‌دهید، حتماً نام ابزار قدرتمند گوگل سرچ کنسول به گوشتان خورده است. یکی از ویژگی‌های کلیدی این ابزار، گزارش Crawl Stats است. این گزارش اطلاعاتی ارزشمند درباره نحوه خزیدن ربات گوگل‌ در سایت شما ارائه می‌دهد و به شما کمک می‌کند تا مشکلات احتمالی را شناسایی و رفع کنید. اما شاید این سوال برای شما پیش آمده باشد که گزارش Crawl Stats چیست؟ چرا اهمیت دارد و چگونه می‌توان از آن برای بهبود عملکرد وب‌سایت استفاده کرد؟ در این مطلب با آژانس بازاریابی محتوا، مهام قدم‌به‌قدم شما را با این گزارش و جزئیات آن آشنا می‌کنیم.

گزارش Crawl Stats در سرچ کنسول: نگاهی دقیق به عملکرد گوگل‌بات‌ها

اگر بخواهیم به طور خلاصه بگوییم، گزارش Crawl Stats یا همان آمار خزیدن، یکی از ابزارهای مهم در سرچ کنسول گوگل است که به شما کمک می‌کند تا روند خزیدن ربات‌های گوگل را روی وب‌سایت خود مشاهده و تحلیل کنید. این گزارش به شما اطلاعات مفیدی در مورد نحوه دسترسی گوگل‌بات‌ها به صفحات سایت، زمان پاسخ‌دهی سرور و بسیاری از جزئیات فنی دیگر می‌دهد که می‌تواند در بهبود سئو و عملکرد سایت شما بسیار تاثیرگذار باشد.

اما برخلاف سایر گزارش‌های سرچ کنسول که به راحتی از منوی اصلی قابل دسترسی هستند، گزارش Crawl Stats در یک بخش جداگانه در تنظیمات سرچ کنسول قرار دارد. برای دسترسی به این گزارش باید مراحل خاصی را طی کنید که در ادامه به آن خواهیم پرداخت.

به نقل از سایت وب یوز:

اگر وب سرور شما در ایران است و جامعه هدف سایت شما را کاربران ایرانی تشکیل می‌دهند، به دلیل اینکه گوگل بات از آی پی آدرس خارج از ایران اقدام به کراول صفحات می‌کند، بنابراین طبیعی است که میانگین زمان صرف شده برای بارگذاری صفحات توسط گوگل بات نسبت به کاربران داخل ایران بیشتر باشد.

دسترسی به گزارش Crawl Stats در سرچ کنسول

گزارش Crawl Stats در بخش تنظیمات سرچ کنسول قرار دارد. برای مشاهده آن باید ابتدا وارد قسمت Settings (تنظیمات) در سرچ کنسول شوید و سپس به بخش Crawling بروید. در این بخش، گزینه‌ای به نام Crawl Stats وجود دارد که با کلیک بر روی آن می‌توانید وارد گزارش مربوطه شوید.

نکته مهم

تمام داده‌هایی که در این گزارش مشاهده می‌کنید، مربوط به 90 روز گذشته است و نشان‌دهنده نحوه خزیدن ربات‌های گوگل طی این مدت زمان است. بنابراین، اگر شما به دنبال اطلاعات به‌روزتری هستید، باید مطمئن شوید که گزارش مربوطه را به‌طور منظم بررسی می‌کنید.

محدودیت‌ها و پیش‌نیازهای مشاهده گزارش

یک نکته مهم در خصوص گزارش Crawl Stats این است که فقط برای پراپرتی‌های سطح دامنه قابل مشاهده است. اگر وب‌سایت خود را به روش Domain Property در سرچ کنسول ثبت کرده باشید، مشکلی برای دسترسی به این گزارش نخواهید داشت. اما اگر از روش URL Prefix استفاده کرده‌اید، باید مطمئن شوید که دامنه شما در سطح کلی ثبت شده باشد تا این گزارش برای شما قابل دسترسی باشد.

گوگل همچنین توصیه می‌کند که اگر وب‌سایت شما بیشتر از 1000 صفحه دارد، حتماً گزارش Crawl Stats را بررسی کنید. در سایت‌های کوچک‌تر، این گزارش معمولاً آن‌قدرها حیاتی نیست و نیازی به توجه دقیق به آن نخواهید داشت.

۵ نکته کلیدی برای بررسی گزارش Crawl Stats یک سایت

گزارش Crawl Stats در سرچ کنسول گوگل ابزاری قدرتمند است که به شما کمک می‌کند تا نحوه خزیدن ربات‌های گوگل روی سایت خود را دقیقاً تحلیل کنید. این گزارش به شما اجازه می‌دهد که از مشکلات فنی سایت آگاه شوید، بودجه خزیدن خود را بهینه کنید و از مشکلاتی مانند خرابی‌ها یا صفحات ایندکس نشده جلوگیری کنید. در اینجا پنج نکته کلیدی برای استفاده از گزارش Crawl Stats آورده‌ایم که به شما در بهبود سئو و عملکرد سایتتان کمک می‌کند.

بررسی وضعیت هاست (Host Status)

اگر سایت شما شامل چندین زیر دامنه است، گزارش Crawl Stats می‌تواند به شما کمک کند تا وضعیت خزش ربات‌های گوگل را برای هرکدام از این زیر دامنه‌ها به طور مجزا بررسی کنید. مثلاً اگر یک فروشگاه آنلاین به آدرس shop.website.com و یک وبلاگ به آدرس blog.website.com دارید، با استفاده از این گزارش می‌توانید ببینید که ربات‌های گوگل چطور به هرکدام از این بخش‌ها دسترسی دارند و وضعیت خزش هرکدام را به تفکیک بررسی کنید. اگر شما در مشهد هستید و به دنبال خدمات طراحی سایت در مشهد یا خدمات سئو در مشهد می‌گردید، استفاده از گزارش Crawl Stats می‌تواند ابزار مفیدی برای بهبود عملکرد سایت شما باشد.

تحلیل وضعیت HTTP صفحات کرال‌شده

یکی از مهم‌ترین بخش‌های گزارش Crawl Stats، بررسی کدهای وضعیت HTTP است. به این صورت که شما می‌توانید بررسی کنید که آیا ربات‌های گوگل به صفحات با وضعیت 200 (درستی) دسترسی دارند یا خیر. صفحات با وضعیت نادرست مانند 404 یا 301 می‌توانند باعث هدر رفتن بودجه خزیدن (Crawl Budget) شما شوند، که می‌تواند تاثیر منفی روی خدمات سئو شما داشته باشد.

برای مشاهده دقیق وضعیت HTTP صفحات کرال‌شده، به بخش Settings > Crawl Stats > Crawl requests breakdown بروید. در این قسمت می‌توانید درصد درخواست‌های مربوط به صفحات ریدایرکت یا خطای 404 را مشاهده کنید. همچنین، اگر به دنبال سفارش تولید محتوا برای بهینه‌سازی بیشتر صفحات سایت خود هستید، این گزارش می‌تواند به شما کمک کند تا اطمینان حاصل کنید که تمامی صفحات شما به درستی ایندکس و خزیده شده‌اند.

بررسی هدف خزش (By Purpose)

گزارش Crawl Stats به دو دسته‌بندی اصلی در هدف خزش صفحات اشاره دارد:

• صفحات بازیابی (Recrawl): ربات‌های گوگل این صفحات را برای به‌روزرسانی اطلاعات یا کشف محتوای جدید دوباره بررسی می‌کنند.
• صفحات دیسکاوری (Discovery): صفحاتی که برای اولین بار کرال می‌شوند و اطلاعات جدیدی به پایگاه داده گوگل اضافه می‌کنند.

با استفاده از این بخش، می‌توانید بررسی کنید که آیا گوگل صفحات جدید شما را به درستی کشف کرده یا خیر. اگر به عنوان مثال، گوگل در حال کشف صفحات جدید سایت شما نباشد، ممکن است مشکل در ساختار داخلی لینک‌ها یا مشکلات دیگر در سایت وجود داشته باشد.

برای بررسی دقیق این داده‌ها، به بخش Settings > Crawl Stats > Crawl Requests: HTML بروید. اینجا اطلاعات دقیق‌تری در مورد اینکه گوگل چه تعداد از صفحات شما را روزانه کرال می‌کند و چطور آن‌ها را دسته‌بندی می‌کند، به شما داده می‌شود.

شناسایی نوع فایل‌های کرال‌شده

یکی از ویژگی‌های جالب گزارش Crawl Stats، این است که می‌توانید مشاهده کنید که ربات گوگل بیشتر به کدام نوع فایل‌ها دسترسی دارد. برای سایت‌های مبتنی بر جاوا اسکریپت یا سایت‌هایی که تصاویر زیادی دارند، این اطلاعات می‌تواند بسیار مفید باشد. به عنوان مثال، اگر سایت شما تصاویر زیادی دارد و جستجو برای تصاویر بخش مهمی از استراتژی سئو شما است، با استفاده از این گزارش می‌توانید ببینید که گوگل چقدر به تصاویر شما دسترسی پیدا کرده و آن‌ها را خزیده است.

این اطلاعات به شما کمک می‌کند که بررسی کنید آیا گوگل می‌تواند تمام محتوای تصویری سایت شما را ایندکس کند یا خیر و آیا نیاز به بهینه‌سازی بیشتر دارید. اگر شما به دنبال خدمات طراحی سایت برای بهبود تجربه کاربری و بهینه‌سازی ساختار سایت خود هستید، این گزارش می‌تواند به شما کمک کند تا مطمئن شوید که گوگل به درستی محتوای سایت شما را خزیده و ایندکس کرده است. همچنین، اگر در زمینه بهبود عملکرد سایت خود نیاز به راهنمایی بیشتری دارید، مشاوره سئو می‌تواند به شما در تحلیل دقیق‌تر و رفع مشکلات سئو کمک کند.

تحلیل نوع ربات‌های گوگل (Googlebot Type)

گزارش Crawl Stats همچنین اطلاعات دقیق‌تری در مورد نوع ربات‌های گوگل که سایت شما را کرال کرده‌اند، ارائه می‌دهد. به طور کلی، ربات‌های مختلفی مانند Googlebot Desktop و Googlebot Mobile وجود دارند که به سایت شما دسترسی پیدا می‌کنند. این گزارش به شما نشان می‌دهد که کدام ربات بیشتر در حال خزیدن در صفحات سایت شما است و آیا سایت شما برای نسخه‌های موبایل به خوبی بهینه‌سازی شده است یا خیر.

علاوه بر این، گزارش Crawl Stats اطلاعاتی از قبیل خطاهای DNS، مشکلات TimeOut و مشکلات fetching فایل robots.txt را که در گزارش‌های سرور معمولاً یافت نمی‌شوند، به شما می‌دهد. این داده‌ها می‌توانند به شناسایی مشکلات زیرساختی و فنی سایت کمک کنند که بر تجربه کاربری و سئو تأثیر منفی می‌گذارند.

مروری بر گزارش Crawl Stats و ۳ معیار کلیدی آن در سرچ کنسول

گزارش Crawl Stats در سرچ کنسول گوگل به شما این امکان را می‌دهد که عملکرد ربات‌های گوگل را در رابطه با خزیدن در صفحات سایت خود به طور دقیق مشاهده و تحلیل کنید. در این گزارش، شما با یک نمودار گرافیکی روبرو خواهید شد که مشابه نمودارهایی است که در دیگر بخش‌های سرچ کنسول نیز دیده‌اید. این نمودار نمایانگر فعالیت‌های خزیدن ربات‌های گوگل در طی 90 روز گذشته است و اطلاعات مهمی را در اختیار شما قرار می‌دهد. در این نمودار، سه معیار اصلی وجود دارد که می‌توانید با کلیک روی هرکدام آن‌ها را فعال یا غیرفعال کنید:

۱. Total Crawl Requests (تعداد کل درخواست‌ها)

این معیار، تعداد کل درخواست‌هایی که ربات‌های گوگل به سایت شما ارسال کرده‌اند را نشان می‌دهد. این درخواست‌ها شامل همه درخواست‌ها هستند، اعم از موفق و ناموفق. به این ترتیب، شما می‌توانید ببینید که ربات‌ها چه تعداد از صفحات سایت شما را بررسی کرده‌اند و آیا درخواست‌های ناموفقی نیز در میان آن‌ها وجود داشته است یا خیر.

۲. Total Download Size (حجم کل دانلودها)

این معیار نشان‌دهنده حجم کل داده‌هایی است که ربات‌های گوگل در زمان خزیدن روی سایت شما دانلود کرده‌اند. این اندازه‌گیری می‌تواند به شما کمک کند تا میزان مصرف منابع سرور توسط ربات‌ها را درک کنید و به بهینه‌سازی سرعت و کارایی سایت بپردازید.

۳. Average Response Time (میانگین زمان پاسخ)

این متریک، میانگین زمان پاسخ‌دهی به درخواست‌های ربات‌های گوگل را نشان می‌دهد. زمان پاسخ‌دهی سرور به ربات‌ها از اهمیت ویژه‌ای برخوردار است، چرا که تأخیر زیاد در پاسخ می‌تواند تأثیر منفی بر تجربه کاربری و سئو سایت شما داشته باشد. اگر زمان پاسخ‌دهی به طور قابل توجهی بالا باشد، می‌تواند نشان‌دهنده مشکلات عملکردی در سرور یا ساختار سایت باشد.

با حرکت موس روی نمودار، می‌توانید به راحتی آمار و اطلاعات مربوط به هر روز را مشاهده کنید. این ویژگی به شما این امکان را می‌دهد که تغییرات خزیدن گوگل در طول زمان را پیگیری کنید و روند آن را به دقت تحلیل نمایید.

بخش‌های تکمیلی گزارش Crawl Stats

در پایین نمودار، یک بخش به نام Host Status وجود دارد که اطلاعات مهمی را در خصوص وضعیت هاست سایت شما نمایش می‌دهد. این بخش شامل کدهای پاسخ از سوی هاست، مشکلات احتمالی در ارتباط با هاست، و جزئیات دیگر است که در ادامه به آن‌ها خواهیم پرداخت.

بعد از نمودار و بخش Host Status، چهار جدول مختلف در زیر گزارش وجود دارد که داده‌های مربوط به خزیدن ربات‌های گوگل را بر اساس پارامترهای مختلف دسته‌بندی می‌کنند. این چهار جدول شامل:

• نوع پاسخ‌ها: اطلاعات مربوط به کدهای پاسخ دریافتی از سرور.
• نوع فایل‌های خزیده‌شده: جزئیاتی در مورد انواع فایل‌هایی که ربات گوگل در طول فرآیند خزیدن به آن‌ها دسترسی داشته است.
• نوع ربات‌های گوگل: مشخص می‌کند که کدام نوع از ربات‌های گوگل (مثل Googlebot Desktop یا Googlebot Mobile) صفحات سایت شما را خزیده‌اند.
• هدف خزیدن: نشان‌دهنده هدف ربات‌های گوگل از خزیدن صفحات، چه برای بازبینی و چه برای کشف محتوای جدید.

این گزارش نه تنها به شما کمک می‌کند که به بررسی دقیق‌تر وضعیت خزیدن گوگل بپردازید، بلکه می‌تواند به شناسایی مشکلات احتمالی در سایت و سرور شما نیز کمک کند. اطلاعات دقیق‌تر در این گزارش می‌تواند به بهینه‌سازی عملکرد سایت و افزایش سرعت ایندکس شدن صفحات توسط گوگل کمک شایانی کند.

نکات ضروری برای تحلیل گزارش آمار خزیدن (Crawl Stats) در سرچ کنسول

گزارش Crawl Stats در سرچ کنسول یک ابزار قدرتمند برای بررسی نحوه عملکرد ربات‌های گوگل در سایت شماست. اما پیش از اینکه وارد جزئیات این گزارش شویم، ضروری است که با نکات کلیدی در مورد آن آشنا شوید. این نکات به شما کمک می‌کند تا بتوانید به درستی از داده‌های این گزارش استفاده کنید و اطلاعات مفیدی را استخراج نمایید.

این گزارش تمام درخواست‌های خزیدن را نشان نمی‌دهد

یکی از نکات مهم در مورد گزارش Crawl Stats این است که این گزارش همه درخواست‌های خزیدن را نشان نمی‌دهد. این بدان معناست که شما ممکن است در برخی مواقع تفاوت‌هایی بین داده‌های گزارش و لاگ سرور خود مشاهده کنید. این اختلاف طبیعی است، چرا که گزارش مربوطه تنها درخواست‌های غالب‌تر و بیشتر را ثبت می‌کند.

به همین دلیل، اگر در حال بررسی این گزارش هستید و می‌خواهید دقیقاً بدانید که سئو چیست و چرا برخی صفحات از دسترس ربات‌ها خارج می‌شوند، ممکن است لازم باشد به دیگر منابع نیز مراجعه کنید.

آدرس‌های اینترنتی در این گزارش به صورت نمونه جمع‌آوری می‌شوند

گزارش Crawl Stats به‌طور معمول URLهایی را که به‌طور تصادفی از مجموعه داده‌های خزیده‌شده انتخاب می‌کند، به نمایش می‌گذارد. بنابراین، وقتی که شما روی یک ردیف از جدول کلیک می‌کنید، URLهایی که نمایش داده می‌شوند، تنها نمونه‌ای از آن نوع پاسخ هستند و نه همه URLها. توجه داشته باشید که در بالای لیست URLها عبارت Examples ذکر شده است که این آدرس‌ها تنها به عنوان نمونه جمع‌آوری شده‌اند.

اگر علاقه دارید اطلاعات بیشتری در مورد تحلیل رفتار ربات‌ها و صفحات سایت خود پیدا کنید، ممکن است بخواهید دوره آموزش سئو را در نظر بگیرید، که به شما در درک بهتر جزئیات فنی و بهبود عملکرد سایت کمک خواهد کرد.

آدرس‌های گزارش‌شده واقعی هستند، نه تنها کانونیکال‌ها

یکی از دیگر نکات مهم در مورد گزارش Crawl Stats این است که تنها URLهای کانونیکال در آن نمایش داده نمی‌شوند. به عبارت دیگر، URLهایی که ممکن است به صفحات کانونیکال هدایت شوند، نیز در این گزارش وجود دارند. به طور مثال، اگر صفحه‌ای ریدایرکت به صفحه‌ای دیگر شود، هر دو URL به‌طور مجزا در گزارش ثبت خواهند شد، حتی اگر در نهایت همه آن‌ها به یک URL کانونیکال منتهی شوند.

گزارش Crawl Stats منابع خارجی را نمایش نمی‌دهد

گزارش Crawl Stats تنها داده‌های مربوط به سایت شما را نشان می‌دهد و منابع خارجی همچون تصاویر، ویدیوها یا دیگر رسانه‌ها که از منابع خارج از دامنه شما بارگذاری شده‌اند را در بر نمی‌گیرد. اگر این منابع در سایت شما به‌طور مستقیم بارگذاری نشوند، گزارشی در مورد خزیدن آن‌ها نخواهید داشت.

اگر قصد دارید که سایت خود را به‌طور حرفه‌ای بهینه‌سازی کنید و بخواهید همه جنبه‌های عملکرد سایت خود را تحلیل کنید، شاید نیاز به درک دقیق‌تر دیجیتال مارکتینگ چیست و چگونه می‌تواند بر روی بهبود SEO سایت تاثیر بگذارد، داشته باشید.

گزارش Crawl Stats داده‌های زیردامنه‌ها را نیز نمایش می‌دهد

یکی از ویژگی‌های جالب گزارش Crawl Stats این است که اگر سایت شما شامل چندین زیردامنه باشد، می‌توانید داده‌های مربوط به خزیدن ربات‌ها در هر یک از این زیردامنه‌ها را نیز مشاهده کنید. به عنوان مثال، اگر سایت شما به صورت example.com است و شما همچنین en.example.com یا de.example.com دارید، می‌توانید آمار مربوط به هر یک از این زیردامنه‌ها را به‌طور جداگانه بررسی کنید.

این ویژگی می‌تواند در فرآیند بهینه‌سازی برای شما بسیار مفید باشد، به‌ویژه اگر در حال گذراندن دوره آموزش طراحی سایت باشید و به دنبال بهبود ساختار و عملکرد زیردامنه‌های سایت خود هستید.

داده‌های مربوط به هر دو پروتکل HTTP و HTTPS در گزارش Crawl Stats موجود است

گزارش Crawl Stats هم داده‌های مربوط به پروتکل‌های HTTP و هم HTTPS را جمع‌آوری می‌کند. اگر پراپرتی شما به‌طور کامل با استفاده از روش Domain ثبت شده باشد، می‌توانید داده‌های هر دو پروتکل را مشاهده کنید. اما اگر سایت شما از روش URL-Prefix برای ثبت استفاده کرده باشد، داده‌ها برای هر دو پروتکل جمع‌آوری می‌شوند، اما در بخش URLهای نمونه فقط آدرس‌هایی که با پروتکل سایت شما هم‌خوانی دارند، نمایش داده می‌شوند.

این نکات کلیدی به شما کمک خواهند کرد تا بتوانید از گزارش Crawl Stats برای بهبود عملکرد سایت خود به‌خوبی استفاده کنید. درک درست از این گزارش می‌تواند شما را در مسیر بهینه‌سازی سایت و بالا بردن رتبه در نتایج جستجو کمک کند.

کاربرد گزارش Crawl Stats در سرچ کنسول

گزارش Crawl Stats در سرچ کنسول یکی از ابزارهای حیاتی برای تحلیل رفتار ربات‌های گوگل و ارزیابی نحوه خزیدن آن‌ها در سایت شما است. اکنون که فهمیدیم گوگل چگونه داده‌ها را جمع‌آوری می‌کند و این گزارش چگونه به شما کمک می‌کند، زمان آن رسیده که کاربردهای عملی آن را بررسی کنیم. در این بخش، به تفکیک تمامی داده‌های موجود در گزارش و کاربرد آن‌ها خواهیم پرداخت تا ببینیم این اطلاعات به چه دردی می‌خورند و چگونه می‌توانند به بهبود سئو و عملکرد سایت شما کمک کنند.

بررسی نحوه خزش گوگل بات‌ها

یکی از بهترین ویژگی‌های گزارش Crawl Stats در سرچ کنسول، نموداری است که وضعیت کلی خزش (Crawl) ربات‌های گوگل در سایت شما را نمایش می‌دهد. این نمودار به شما کمک می‌کند تا در یک نگاه اجمالی متوجه شوید که بات‌های گوگل چگونه و در چه زمانی سایت شما را خزیده‌اند. برای تحلیل دقیق‌تر، بهتر است هر یک از سه متریک اصلی این گزارش را به طور جداگانه بررسی کنید.

مجموع درخواست‌های خزیدن (Total Crawl Requests)

یکی از اصلی‌ترین متریک‌هایی که در نمودار Crawl Stats مشاهده خواهید کرد، مجموع درخواست‌های خزیدن است. با فعال کردن این متریک در نمودار، می‌توانید تعداد کل درخواست‌هایی که بات‌های گوگل به سایت شما ارسال کرده‌اند را مشاهده کنید. این درخواست‌ها شامل درخواست‌های موفق و ناموفق است.

مهم است بدانید که اگر برای یک URL مشخص درخواست‌های تکراری ارسال شده باشد، این درخواست‌ها به صورت جداگانه ثبت می‌شوند. بنابراین، حتی اگر بات گوگل چندین بار به یک صفحه سر بزند، این درخواست‌ها به عنوان درخواست‌های جداگانه محاسبه می‌شوند.

درخواست‌های ناموفق: دلایل احتمالی

درخواست‌های ناموفق یکی از مشکلاتی است که ممکن است به دلیل برخی عوامل در گزارش Crawl Stats مشاهده کنید. این درخواست‌های ناموفق می‌تواند به دلایل مختلفی اتفاق بیفتد، که در ادامه برخی از رایج‌ترین آن‌ها آورده شده است:

• مسدود بودن URL از طریق فایل robots.txt: اگر URLای توسط فایل robots.txt مسدود شده باشد، بات‌های گوگل به آن صفحه دسترسی نخواهند داشت و با پاسخ‌های خطا مانند HTTP 429 یا 5XX روبرو می‌شوند.
• مشکلات DNS یا سروری: گاهی اوقات ممکن است منابع سایت به دلایلی مانند مشکلات DNS یا مشکلات سروری در دسترس نباشند. این مشکلات باعث می‌شوند که بات گوگل نتواند به صفحات دسترسی پیدا کند و درخواست‌های ناموفق ارسال کند.
• تغییر مسیرهای پی‌درپی یا لوپ‌های ریدایرکت: اگر صفحات سایت شما در چرخه‌های ریدایرکت (Redirect Loop) قرار گیرند، بات گوگل ممکن است با مشکلاتی در خزیدن مواجه شود. به عنوان مثال، اگر صفحه 1 به صفحه 2 ریدایرکت شده باشد و صفحه 2 دوباره به صفحه 1 ریدایرکت شود، این چرخه باعث ارسال درخواست‌های ناموفق خواهد شد.

با توجه به این اطلاعات، گزارش Crawl Stats به شما این امکان را می‌دهد که مشکلات مربوط به خزیدن سایت را شناسایی کرده و اقداماتی برای رفع آن‌ها انجام دهید. به این ترتیب، می‌توانید اطمینان حاصل کنید که سایت شما به درستی توسط گوگل ایندکس می‌شود و هیچ مشکلی در مسیر خزیدن بات‌ها وجود ندارد.

حجم کل دانلود (Total Download Size) در گزارش Crawl Stats: بررسی داده‌ها

یکی از متریک‌های مهم در گزارش Crawl Stats، حجم کل دانلود است که به شما اطلاعاتی درباره میزان داده‌هایی که در طول 90 روز گذشته توسط ربات‌های گوگل دانلود شده‌اند، می‌دهد. این داده‌ها شامل منابع مختلفی از جمله فایل‌های HTML، تصاویر، اسکریپت‌ها و فایل‌های CSS می‌شوند.

نکته جالب در مورد این متریک این است که منابعی که قبلاً توسط بات‌ها دانلود و ذخیره شده‌اند، اگر کش (Cache) برای آن‌ها فعال باشد، در محاسبات مجدد در نظر گرفته نمی‌شوند. به این معنا که فقط حجم منابعی که برای اولین بار توسط ربات‌ها درخواست شده‌اند محاسبه می‌شود. این ویژگی کمک می‌کند تا شما از حجم واقعی داده‌هایی که در زمان خزش توسط گوگل بات‌ها دانلود می‌شود، مطلع شوید و از بروز تکرارهای غیرضروری در مصرف پهنای باند جلوگیری کنید.

حجم دانلود به شما کمک می‌کند تا بفهمید که چقدر داده‌ها برای ایندکس شدن و بررسی توسط ربات‌های گوگل نیاز به دانلود دارند، که این مسئله می‌تواند بر سرعت خزش سایت شما تاثیر بگذارد. به‌طور مثال، اگر حجم فایل‌ها و منابع سنگین باشد، این می‌تواند باعث کندی فرآیند خزش و در نهایت کاهش سرعت ایندکس شدن صفحات شما در نتایج جستجو شود.

بررسی سلامت هاست با استفاده از گزارش Crawl Stats سرچ کنسول: Host Status

در گزارش Crawl Stats سرچ کنسول، یکی از بخش‌های مهمی که به شما کمک می‌کند تا وضعیت سلامت هاست سایت خود را ارزیابی کنید، Host Status است. این بخش دقیقاً زیر نمودار اصلی گزارش قرار دارد و وضعیت عملکرد هاست شما در طی 90 روز گذشته را نشان می‌دهد. این اطلاعات می‌تواند به شما کمک کند تا از بروز مشکلات احتمالی در زمان خزیدن ربات‌های گوگل جلوگیری کنید و در صورت لزوم، اقداماتی برای بهبود عملکرد سایت انجام دهید.

در این بخش، شما با سه نوع آیکن مواجه می‌شوید که هرکدام وضعیت خاصی از سلامت هاست را نشان می‌دهند:

✅ تیک سبز (وضعیت عالی)

اگر در کنار گزینه Host Status یک تیک سبز مشاهده کردید، به این معناست که در طی 90 روز گذشته، هیچ مشکلی در عملکرد هاست شما گزارش نشده است. این نشان‌دهنده‌ی عملکرد پایدار و بدون مشکل هاست شما در زمان خزیدن ربات‌های گوگل است و به طور کلی به معنای وضعیت عالی سرور و پاسخ‌دهی به درخواست‌های خزیدن است.

✔ تیک سفید (مشکلات جزئی)

وقتی در کنار گزینه Host Status یک تیک سفید ظاهر شود، به این معناست که در 90 روز گذشته، حداقل یک مشکل جزئی در زمان خزیدن ربات‌های گوگل گزارش شده است. این مشکلات ممکن است مربوط به مواردی مانند قطعی‌های موقت یا مشکلات سرور باشد که احتمالاً حل شده‌اند یا به صورت موقت رخ داده‌اند. این وضعیت می‌تواند نشان‌دهنده‌ی نقص‌های کوچک و غیرمستمر باشد که تأثیرات زیادی بر عملکرد سایت نداشته‌اند.

❗ علامت تعجب قرمز (مشکل جدی)

اگر به جای تیک سبز یا سفید، یک علامت تعجب قرمز مشاهده کردید، این یک هشدار جدی است. این آیکن نشان‌دهنده‌ی بروز حداقل یک مشکل جدی در 7 روز گذشته است که ممکن است تأثیرات منفی بر فرآیند خزیدن ربات‌های گوگل داشته باشد. مشکلاتی مانند عدم دسترسی به سایت یا زمان‌های طولانی برای بارگذاری ممکن است دلیل این مشکل باشد. در این صورت، توصیه می‌شود فوراً به بررسی سرور و عملکرد سایت خود پرداخته و علت بروز مشکل را شناسایی و برطرف کنید.

اگر روی باکس Host Status در گزارش Crawl Stats کلیک کنید، به یک گزارش دقیق‌تر دست خواهید یافت که وضعیت خزیدن ربات‌های گوگل را نه تنها برای دامنه اصلی، بلکه برای تمام دامنه‌های فرزند نیز نمایش می‌دهد. این گزارش به شما کمک می‌کند تا سلامت هاست سایت و عملکرد ربات‌های گوگل در فرآیند خزیدن را به دقت بررسی کنید. در این گزارش، سه پارامتر اصلی ارزیابی می‌شود که در حالت ایده‌آل باید تمامی آن‌ها با یک تیک سبز رنگ ظاهر شوند.

Robots.txt Fetch

یکی از مهم‌ترین پارامترهایی که در گزارش Host Status بررسی می‌شود، وضعیت واکشی فایل robots.txt است. این فایل برای ربات‌های جستجوگر مانند گوگل بات‌ها به عنوان دستورالعملی برای خزیدن سایت عمل می‌کند. اگر در زمان تلاش ربات‌های گوگل برای خواندن فایل robots.txt مشکلی پیش بیاید، این موضوع می‌تواند تأثیر منفی بر فرآیند خزیدن و ایندکس شدن صفحات سایت شما داشته باشد.

در این بخش، گوگل بررسی می‌کند که آیا در زمان واکشی فایل robots.txt پاسخ مناسبی از سرور دریافت کرده است یا خیر. به طور معمول، دو کد پاسخ معتبر وجود دارد:

• 200 OK: این پاسخ به این معنی است که فایل robots.txt به درستی واکشی شده و هیچ مشکلی برای ربات‌ها وجود ندارد.
• 404 Not Found: در صورتی که فایل robots.txt در دسترس نباشد، این کد نشان‌دهنده‌ی عدم وجود این فایل است که می‌تواند مشکلی برای خزیدن صفحات نداشته باشد (البته بهتر است فایل robots.txt برای هدایت ربات‌ها به صفحات مجاز وجود داشته باشد).

DNS Resolution: فرآیند ترجمه آدرس‌های IP به دامنه‌های قابل فهم برای کاربران

DNS resolution یا همان وضوح DNS به فرآیندی اطلاق می‌شود که در آن آدرس‌های IP به نام دامنه‌ها تبدیل می‌شوند. در واقع، این پروسه مانند یک مترجم عمل می‌کند که از طریق آن نام‌های دامنه قابل فهم برای انسان‌ها (مثل example.com) به آدرس‌های IP که کامپیوترها و سرورها برای برقراری ارتباط با یکدیگر استفاده می‌کنند، ترجمه می‌شوند.

در گزارش Crawl Stats، پارامتر DNS resolution برای شناسایی مشکلات مرتبط با سرور DNS طراحی شده است. این بخش از گزارش به مدیران سایت کمک می‌کند تا در صورتی که مشکلاتی در ارتباط بین گوگل بات‌ها و سرور DNS سایت وجود داشته باشد، آن را شناسایی کنند و برای رفع آن اقدام کنند.

چطور مشکلات DNS رخ می‌دهند؟

مشکلات DNS معمولاً زمانی پیش می‌آید که:

• سرور DNS قادر به شناسایی نام دامنه یا هاست (hostname) نیست.
• سرور DNS به درخواست‌ها پاسخ نمی‌دهد.

در این شرایط، وقتی گوگل بات‌ها تلاش می‌کنند تا سایت شما را خزیده و اطلاعات آن را جمع‌آوری کنند، به دلیل ناتوانی در حل نام دامنه به آدرس IP، نمی‌توانند به درستی به سایت دسترسی پیدا کنند.

نمودار خطای DNS در گزارش Crawl Stats

در نمودار DNS resolution گزارش Crawl Stats، بهترین حالت این است که خط نمودار در سطح صفر قرار گیرد، که به این معنی است که هیچ مشکلی در ارتباط با سرور DNS وجود ندارد و همه چیز به درستی کار می‌کند. اما اگر این خط به سمت نقطه چین حرکت کند، این موضوع نشان‌دهنده‌ی وجود مشکلاتی در سرور DNS است که مانع از انجام فرآیند خزیدن و ایندکسینگ صفحات سایت شما مانند صفحه بازاریابی محتوا چیست می‌شود.

بنابراین، برای حفظ عملکرد بهینه سایت در موتورهای جستجو، ضروری است که خطای DNS resolution را به حداقل برسانید و از بروز هرگونه مشکل در ارتباطات سرور DNS با ربات‌های گوگل جلوگیری کنید.

Server Connectivity: بررسی اتصال صحیح سرور با ربات‌های گوگل

پارامتر Server Connectivity در گزارش Crawl Stats به طور خاص برای ارزیابی وضعیت اتصال سرور طراحی شده است. این پارامتر کمک می‌کند تا مشخص شود که آیا ربات‌های گوگل هنگام خزیدن در سایت شما با مشکلات اتصال مواجه شده‌اند یا خیر.

در صورتی که سرور شما نتواند به درستی به درخواست‌های ربات‌های گوگل پاسخ دهد یا اگر پاسخ دریافتی ناقص باشد، نمودار Server Connectivity در گزارش به سمت خط نقطه چین حرکت خواهد کرد. این نشان‌دهنده‌ی وجود مشکل در اتصال است. اگر این مشکل به صورت متوالی و در تاریخ‌های مختلف تکرار شود، احتمالاً مشکل جدی‌تری وجود دارد که باید به آن رسیدگی کنید.

چه زمانی باید اقدامات لازم را انجام دهید؟

اگر در نمودار این پارامتر، قله‌هایی مشاهده کنید که به سمت نقطه چین حرکت می‌کنند و این مشکل در تاریخ‌های مختلف تکرار می‌شود، نشان می‌دهد که اتصال سرور شما پایدار نیست. در این صورت، پیشنهاد می‌شود با ارائه‌دهنده هاستینگ خود تماس بگیرید تا مشکل را بررسی کرده و در صورت لزوم، به یک سرویس هاستینگ پایدارتر و مطمئن‌تر مهاجرت کنید.

وجود این مشکلات می‌تواند تاثیر زیادی بر عملکرد خزیدن ربات‌های گوگل و در نهایت بر سئو خارجی سایت شما داشته باشد، بنابراین لازم است که از عملکرد صحیح و پایدار سرور اطمینان حاصل کنید تا تجربه خزیدن بهینه برای ربات‌ها فراهم شود.

تحلیل پاسخ سرور به درخواست‌های کراول: بررسی وضعیت سایت در گزارش Crawl Stats

در گزارش Crawl Stats سرچ کنسول، یکی از جداول مهم، مربوط به پاسخ سرور است که به درخواست‌های خزیدن ربات‌ها در سایت شما داده می‌شود. این جدول اطلاعات بسیار مفیدی را در اختیار شما قرار می‌دهد که می‌توانید از آن برای ارزیابی وضعیت کلی سایت و عملکرد آن در زمان کراول استفاده کنید.

ساختار جدول و نحوه تحلیل پاسخ‌ها

در این جدول، داده‌ها بر اساس نوع پاسخ سرور دسته‌بندی شده‌اند. با کلیک بر روی هر ردیف، نمونه‌هایی از URLها که همان پاسخ را دریافت کرده‌اند، نمایش داده می‌شود. این اطلاعات به شما کمک می‌کند تا به راحتی بفهمید که کدام صفحات سایت شما با چه پاسخ‌هایی روبرو شده‌اند و بر اساس آن‌ها عملکرد کلی سایت را تحلیل کنید.

پاسخ‌های خوب و وضعیت مطلوب

هرچه درصد پاسخ‌های 200 OK (موفقیت‌آمیز) در این جدول بیشتر باشد، نشان‌دهنده‌ی وضعیت بهتر سایت شما است. در واقع، پاسخ‌هایی که نشان‌دهنده‌ی یک خزیدن موفق هستند، به طور معمول شامل کدهای زیر می‌شوند:

• 200 (OK): یعنی صفحه به درستی بارگذاری شده و هیچ مشکلی در واکشی آن وجود نداشته.
• 301 (Moved Permanently): انتقال دائمی صفحه به یک آدرس جدید.
• 302 (Found): انتقال موقت صفحه به آدرس جدید.
• 300 (Multiple Choices): نمایش گزینه‌های مختلف برای انتخاب.
• 304 (Not Modified): صفحه بدون تغییر از کش مرورگر استفاده کرده است.

حتی کدهایی مانند 404 (Not Found) یا Blocked by robots.txt در صورتی که خودتان آن‌ها را برای صفحات خاص تنظیم کرده باشید، معمولاً در دسته پاسخ‌های مناسب قرار می‌گیرند، زیرا نشان‌دهنده‌ی این است که سایت شما طبق سیاست‌های تعیین شده، از خزیدن برخی صفحات جلوگیری کرده است.

پاسخ‌های منفی و مشکلات احتمالی

در مقابل، پاسخ‌هایی که مشکلاتی را در زمان خزیدن ایجاد می‌کنند، شامل موارد زیر می‌شوند:

• Robots.txt not available: فایل robots.txt در دسترس نیست.
• 401/407 (Unauthorized): دسترسی غیرمجاز به صفحه.
• 5XX (Server Error): مشکلات داخلی سرور که مانع از پاسخ‌دهی به ربات‌ها می‌شود.
• 4XX (Client Error except 404): خطاهای سمت کاربر، مانند دسترسی به صفحات ناموجود (به غیر از 404).
• DNS Unresponsive: سرور DNS پاسخ نمی‌دهد.
• Fetch Error: خطا در فراخوانی صفحه.
• Page could not be reached: صفحه قابل دسترسی نیست.
• Page Timeout: زمان‌بندی برای بارگذاری صفحه به پایان رسیده است.

چرا این تحلیل اهمیت دارد؟

تحلیل پاسخ‌های مختلف سرور به درخواست‌های کراول به شما کمک می‌کند تا مشکلات مختلف در دسترسی گوگل به سایتتان را شناسایی کرده و برای بهبود آن‌ها اقدام کنید. هرچه درصد پاسخ‌های موفق و بدون خطا بیشتر باشد، احتمال اینکه سایت شما در نتایج جستجو رتبه بهتری کسب کند نیز بیشتر خواهد بود.

اگر درصد خطاهای 4XX یا 5XX زیاد باشد، باید به صورت فوری مشکلات سرور، تنظیمات robots.txt، یا مسائل دسترسی به سایت را بررسی و رفع کنید تا از بروز مشکلات خزیدن جلوگیری کرده و تجربه کاربری بهتری برای ربات‌های گوگل فراهم کنید.

بررسی انواع فایل‌های خزیده شده در گزارش Crawl Stats: تجزیه و تحلیل فایل‌ها بر اساس نوع

در گزارش Crawl Stats، یکی از جداول مفید برای تحلیل عملکرد ربات‌های گوگل، جدول By File Type است که به شما این امکان را می‌دهد تا عملکرد گوگل بات‌ها را برای انواع مختلف فایل‌ها در سایتتان بررسی کنید. این جدول اطلاعات دقیقی از نحوه خزیدن گوگل روی انواع فایل‌های سایت شما ارائه می‌دهد و به شما کمک می‌کند تا میزان کراول هر نوع فایل را با یکدیگر مقایسه کنید.

ساختار جدول و تجزیه و تحلیل داده‌ها

در این جدول، داده‌ها بر اساس نوع فایل‌های مختلف سایت شما دسته‌بندی می‌شوند. از این طریق می‌توانید ببینید که گوگل بات‌ها بیشتر بر روی چه نوع فایل‌هایی تمرکز دارند. برای مشاهده جزئیات بیشتر، کافی است روی هر ردیف کلیک کنید تا URLهای نمونه مربوط به آن نوع فایل را مشاهده کنید. به عنوان مثال، اگر بر روی فایل‌های تصویر (Image) کلیک کنید، خواهید دید که گوگل چگونه این فایل‌ها را در زمان خزیدن پردازش کرده است و چه وضعیت‌هایی برای این URLها برگردانده شده است.

در بالای جدول، نمودار مخصوصی برای هر نوع فایل نمایش داده می‌شود که روند کراول گوگل بات‌ها را برای آن فایل‌ها نشان می‌دهد. این نمودارها به شما کمک می‌کنند تا الگوهای خزیدن گوگل را برای هر نوع فایل تحلیل کنید.

انواع فایل‌های خزیده شده توسط گوگل بات‌ها

گوگل بات‌ها قادر به شناسایی و خزیدن روی انواع مختلف فایل‌ها هستند. این فایل‌ها شامل موارد زیر می‌شوند:

• HTML
• فایل‌های تصویری (Image)
• ویدیو
• جاوا اسکریپت (JavaScript)
• JSON
• XML
• PDF
• CSS
• RSS
• صدا
• KML

چطور می‌توان از این گزارش برای بهبود عملکرد خزیدن استفاده کرد؟

تحلیل داده‌های این بخش از گزارش Crawl Stats می‌تواند دید خوبی از وضعیت خزیدن گوگل به شما بدهد. یکی از نخستین مواردی که باید بررسی کنید این است که ربات‌ها بیشتر کدام نوع فایل را در سایت شما خزیده‌اند. این اطلاعات به شما کمک می‌کند تا فایل‌هایی که نیاز به کراول ندارند را از طریق فایل robots.txt مسدود کنید تا منابع سایت شما بی‌جهت مصرف نشوند.

همچنین، بررسی میانگین نرخ پاسخ برای هر نوع فایل و تحلیل حجم دانلود منابع می‌تواند به شما در بهینه‌سازی بودجه خزیدن کمک کند. به طور مثال، اگر گوگل بات‌ها حجم زیادی از تصاویر یا فایل‌های سنگین را هر بار کراول کنند، این امر می‌تواند بر روی عملکرد خزیدن و رتبه‌بندی سایت تاثیر منفی بگذارد.

در نتیجه، تجزیه و تحلیل دقیق این داده‌ها به شما این امکان را می‌دهد که تصمیمات بهتری برای مدیریت منابع سایت بگیرید و فرآیند خزیدن گوگل را برای بهینه‌سازی عملکرد سایت خود هدایت کنید.

بررسی هدف گوگل بات‌ها از خزیدن: تحلیل هدف‌های کراول در گزارش Crawl Stats

یکی از بخش‌های جذاب و مفید در گزارش Crawl Stats، جدول By Purpose است که هدف گوگل بات‌ها را از خزیدن نشان می‌دهد. این داده‌ها به شما کمک می‌کنند تا درک بهتری از نحوه تعامل گوگل با سایت خودتان پیدا کنید و به طور خاص بفهمید که چرا ربات‌های گوگل صفحات سایت شما را کراول می‌کنند. به طور کلی، هدف گوگل بات‌ها از خزیدن در سایت شما می‌تواند یکی از دو مورد زیر باشد:

بازخوانی (Refresh)

در این حالت، گوگل بات‌ها مجدداً به سراغ صفحاتی می‌روند که قبلاً آن‌ها را پیدا کرده و ایندکس کرده‌اند. هدف از این خزیدن و سئو تکنیکال،  به روز رسانی اطلاعات موجود در ایندکس گوگل و اطمینان از اینکه محتوای سایت شما به طور مرتب و دقیق در نتایج جستجو نشان داده می‌شود، است.

کشف (Discovery)

در این حالت، ربات‌ها به سراغ صفحاتی می‌روند که قبلاً توسط آن‌ها کشف نشده‌اند. این نوع خزیدن به گوگل کمک می‌کند تا صفحات جدید سایت شما را پیدا کرده و آن‌ها را به فهرست ایندکس خود اضافه کند. این هدف بیشتر در سایت‌های جدید یا سایت‌هایی که به طور مرتب محتوای جدید منتشر می‌کنند، مشاهده می‌شود.

چطور می‌توان از این داده‌ها استفاده کرد؟

در جدول By Purpose، برای هر یک از این دو هدف، داده‌ها به همراه نمودارهای مربوط به ۳ متریک کلیدی که قبلاً توضیح داده شده‌اند، به نمایش درمی‌آید. به علاوه، وقتی بر روی هر یک از این ردیف‌ها کلیک می‌کنید، URLهای نمونه‌ای که مربوط به این دسته از خزیدن‌ها هستند، نشان داده می‌شود.

تحلیل انواع گوگل‌بات‌ها در گزارش Crawl Stats: بررسی نوع ربات‌ها و نحوه خزیدن آن‌ها

در گزارش Crawl Stats در سرچ کنسول، یکی از بخش‌های جالب و کاربردی، جدول By Googlebot Type است که داده‌های مربوط به انواع مختلف گوگل‌بات‌ها را بر اساس Google User Agents یا عوامل کاربری گروه‌بندی می‌کند. این جدول به شما امکان می‌دهد تا رفتار و عملکرد هر نوع ربات گوگل را در هنگام خزیدن صفحات سایت خود تجزیه و تحلیل کنید. به عبارت دیگر، شما می‌توانید ببینید که کدام یک از ربات‌های گوگل صفحات سایت شما را شناسایی و خزیده‌اند و این اطلاعات می‌تواند کمک زیادی در درک نحوه تعامل گوگل با سئو آن پیج سایت شما انجام دهد.

انواع گوگل‌بات‌ها در گزارش Crawl Stats

در این جدول، داده‌ها بر اساس نوع رباتی که به خزیدن سایت شما پرداخته، تقسیم می‌شود. هر نوع ربات هدف خاصی دارد و رفتار متفاوتی را در هنگام واکشی منابع سایت نشان می‌دهد. در اینجا به برخی از رایج‌ترین گوگل‌بات‌ها اشاره می‌کنیم:

smartphone (عامل کاربر موبایل)

این ربات برای خزیدن سایت‌ها از دستگاه‌های موبایل طراحی شده است. به طور معمول، ربات موبایلی برای بررسی نسخه موبایلی صفحات سایت شما و ارزیابی تجربه کاربری از طریق گوشی‌های همراه استفاده می‌شود.

desktop (عامل کاربر رایانه)

این ربات برای خزیدن سایت‌ها از نسخه دسکتاپ طراحی شده است. گوگل از این ربات برای بررسی محتوای نسخه دسکتاپ صفحات و ایندکس آن‌ها استفاده می‌کند.

image (ربات تصاویر)

ربات image به طور خاص برای خزیدن و بررسی تصاویر سایت شما است. این ربات کمک می‌کند تا گوگل تصاویر سایت را شناسایی کرده و آن‌ها را ایندکس کند.

video (ربات ویدیو)

این ربات مسئول خزیدن و بررسی ویدیوهای موجود در سایت شما است تا گوگل بتواند محتوای ویدیویی شما را به درستی شناسایی و ایندکس کند.

Page resource load

این ربات در فرآیند خزیدن به طور معمول منابع ثانویه صفحه را واکشی می‌کند. به عبارت دیگر، ابتدا ربات‌های دیگر مانند desktop یا smartphone منابع اصلی صفحه (مانند HTML و CSS) را واکشی می‌کنند، سپس ربات Page resource load منابع دیگر مثل تصاویر، ویدیوها یا فایل‌های JavaScript را واکشی می‌کند.

AdsBot

AdsBot یک ربات خاص است که به بررسی سایت‌ها از نظر تبلیغات و کیفیت آن‌ها می‌پردازد. طبق مستندات گوگل، این ربات معمولاً هر دو هفته یک بار سایت‌ها را بررسی می‌کند تا مطمئن شود که سایت‌ها از نظر تبلیغاتی سازگار با سیاست‌های گوگل هستند.

StoreBot

این ربات برای خزیدن سایت‌های فروشگاهی و بررسی محصولات و اطلاعات مربوط به آن‌ها طراحی شده است.

Other agent type

این دسته برای ربات‌هایی است که در گروه‌های بالا قرار نمی‌گیرند، اما همچنان به خزیدن سایت‌ها پرداخته‌اند. این ربات‌ها می‌توانند شامل انواع دیگر ربات‌های خاص گوگل یا ربات‌های سفارشی باشند.

چگونه این اطلاعات به شما کمک می‌کند؟

در صورتی که روی هر یک از این ربات‌ها کلیک کنید، جزئیات بیشتری در رابطه با آن ربات و رفتار آن در زمان خزیدن به شما نمایش داده می‌شود. این می‌تواند شامل میزان درخواست‌های ربات، وضعیت پاسخ‌ها، و URLهایی که توسط آن ربات مورد خزیدن قرار گرفته است، باشد.

این داده‌ها به شما کمک می‌کنند تا مشخص کنید که کدام ربات‌ها بیشتر درگیر خزیدن سایت شما هستند. معمولاً، گوگل بات موبایلی یا همان smartphone بیشترین تعداد درخواست را ارسال می‌کند، زیرا با توجه به روند جهانی استفاده از موبایل برای جستجو، گوگل می‌خواهد صفحات سایت‌ها را از نظر موبایل‌فرندلی بودن بررسی کند.

• برای سایت‌های فروشگاهی: اگر سایت شما فروشگاهی است، ممکن است StoreBot نقشی کلیدی در خزیدن داشته باشد. بررسی دقیق این ربات می‌تواند به شما کمک کند تا مطمئن شوید محصولات شما به درستی ایندکس می‌شوند.
• برای سایت‌های خبری یا پرمحتوا: اگر محتوای شما به روزرسانی‌های مکرر دارد (مثل سایت‌های خبری)، توجه ویژه به Page resource load و ربات‌های smartphone برای اطمینان از ایندکس شدن صحیح مطالب جدید بسیار اهمیت دارد.

تحلیل قله‌ها و دره‌ها در نمودار گزارش Crawl Stats در سرچ کنسول

یکی از مهم‌ترین بخش‌های گزارش Crawl Stats در سرچ کنسول، نموداری است که فراز و فرودها یا به عبارتی قله‌ها و دره‌ها را نمایش می‌دهد. این نمودار به شما کمک می‌کند تا به‌طور دقیق‌تری رفتار گوگل بات در زمان خزیدن روی سایتتان را تحلیل کنید.

اگر در نمودار تنها Total Crawl Requests را فعال کرده باشید، قله‌ها نشان‌دهنده روزهایی هستند که بیشترین خزش روی سایت شما انجام شده است و دره‌ها به روزهایی اشاره دارند که فعالیت ربات‌ها نسبت به روزهای دیگر کمتر بوده است. این داده‌ها می‌توانند راهنمای خوبی برای شناسایی الگوهای خزیدن و شناسایی مشکلات احتمالی در فرآیند کراول سایت شما باشند.

تحلیل قله‌ها و دره‌ها: وقتی سرعت خزیدن پایین است

اگر نمودار شما شامل دره‌های زیاد یا سرعت خزیدن پایین است، باید موارد زیر را در نظر بگیرید:

سایت‌های تازه تأسیس

اگر سایت شما تازه راه‌اندازی شده است، به‌طور طبیعی تعداد دفعات خزیدن روی آن نسبت به سایت‌های قدیمی‌تر کمتر خواهد بود. دلیل این امر، کم بودن بک لینک‌های معتبر و منابع خارجی است که گوگل به سایت شما ارسال می‌کند. برای رفع این مشکل، نقشه سایت (Sitemap) را به سرچ کنسول ارسال کرده و به تولید محتوای باکیفیت و مناسب ادامه دهید.

بهینه‌سازی بودجه خزش

گوگل به‌صورت خودکار سایت‌ها را به تعداد دفعات مشخصی خزیده و خزیدن اضافی انجام نمی‌دهد. اگر سایت شما نیاز به سرعت بیشتر در خزیدن دارد، باید به بهینه‌سازی بودجه خزش توجه کنید. به عبارتی، مدیریت منابع و تنظیمات مختلف برای خزیدن سایت از اهمیت بالایی برخوردار است.

بررسی فایل robots.txt

گاهی اوقات کاهش سرعت خزیدن به دلیل مشکلات در فایل robots.txt رخ می‌دهد. حتماً این فایل را بازبینی کرده و اطمینان حاصل کنید که دستورات آن به‌درستی تنظیم شده‌اند. ممکن است برخی از URLها به اشتباه مسدود شده باشند و این موضوع باعث کند شدن یا کاهش خزیدن ربات‌ها شود.

کیفیت محتوا

محتوای با کیفیت و مطابق با دستورالعمل‌های گوگل اهمیت زیادی در سرعت خزیدن دارد. اگر محتوای شما ارزشمندی نداشته باشد یا مطابق با الگوریتم‌های گوگل نباشد، ربات‌های گوگل تمایلی به خزیدن در صفحات شما نخواهند داشت. تولید محتوای مفید و معتبر می‌تواند به افزایش سرعت خزیدن سایت شما کمک کند.

تحلیل قله‌ها و دره‌ها: وقتی سرعت خزیدن بالا است

اگر سرعت خزیدن سایت شما زیاد است و نمودار شامل قله‌های زیاد است، باید به نکات زیر توجه کنید:

بررسی لاگ سرور

برای اینکه بفهمید چرا سایت شما بیشتر از حد معمول خزیده می‌شود، لاگ‌های سرور را بررسی کنید. در این لاگ‌ها می‌توانید مشاهده کنید که کدام نوع گوگل‌بات سایت شما را خزیده است. این می‌تواند به شما کمک کند تا تحلیل کنید که کدام ربات‌ها به بیشترین میزان سایت شما را کراول کرده‌اند.

نرخ خزش بالا در صورتی که مشکلی ایجاد نکند

در صورتی که نرخ خزیدن بالا باعث مشکلات عملکردی سایت شما نشود، نیازی به نگرانی نیست. اگر robots.txt به درستی تنظیم شده باشد و سایت شما بهینه باشد، تعداد زیاد درخواست‌ها می‌تواند تاثیری منفی نداشته باشد. اما اگر این میزان خزیدن باعث فشار به سرور یا کاهش سرعت سایت شده است، نیاز به اقدام خواهید داشت.

تنظیم نرخ خزیدن ربات‌ها

اگر احساس کردید که سرعت خزیدن بسیار بالا است و این موضوع به عملکرد سایت آسیب می‌زند، می‌توانید با استفاده از ابزارهای Search Console، میزان سرعت خزیدن ربات‌ها را تنظیم کنید. این تنظیمات به شما این امکان را می‌دهند که به مدت 90 روز محدودیت‌هایی برای خزیدن ربات‌های گوگل اعمال کنید.

جمع‌بندی؛ راهنمای کامل گزارش Crawl Stats در سرچ کنسول

گزارش Crawl Stats در سرچ کنسول گوگل ابزاری بسیار قدرتمند برای تحلیل عملکرد گوگل‌بات‌ها و خزیدن سایت شما است. این گزارش می‌تواند به شما کمک کند تا از نحوه خزش ربات‌های گوگل، مشکلات موجود در سایت، و چگونگی بهینه‌سازی کراول مطلع شوید. با استفاده از این گزارش، شما می‌توانید موارد مختلفی مانند مجموع درخواست‌های خزیدن، حجم دانلود منابع، زمان پاسخ سرور، وضعیت هاست، و انواع فایل‌های خزیده‌شده را تجزیه‌وتحلیل کنید. همچنین، بررسی رفتار گوگل‌بات‌ها به شما کمک می‌کند تا وضعیت سایت را از نظر انواع دستگاه‌ها و عوامل کاربر مختلف بهتر درک کنید.

با درک درست از این داده‌ها، می‌توانید مشکلات مربوط به سرعت خزیدن، مشکلات سرور یا فایل‌های مسدود شده را شناسایی کرده و اقدامات لازم را برای بهبود عملکرد سایت انجام دهید. به‌طورکلی، داشتن یک استراتژی مناسب برای بهینه‌سازی کراول و تنظیمات مختلف سایت، می‌تواند به ایندکس سریع‌تر و بهتر صفحات شما توسط گوگل کمک کند و در نتیجه به بهبود رتبه سایت شما در نتایج جستجو منجر شود.

سؤالات متداول گزارش crawl stats سرچ کنسول

چرا سرعت خزیدن سایت من پایین است؟

سرعت خزیدن پایین معمولاً به دلایل مختلفی از جمله کم بودن بک‌لینک‌ها، مشکلات در فایل robots.txt، یا کیفیت پایین محتوا بستگی دارد. برای رفع این مشکل، مطمئن شوید که سایت شما نقشه سایت (Sitemap) به روز دارد و محتوای ارزشمندی برای کاربران و ربات‌ها تولید می‌کنید. همچنین، از بهینه‌سازی بودجه خزش و بررسی دوره‌ای فایل robots.txt غافل نشوید.

چگونه می‌توانم سرعت خزیدن سایت خود را افزایش دهم؟

برای افزایش سرعت خزیدن، باید به کیفیت محتوا، بک‌لینک‌ها، و ساختار سایت توجه کنید. استفاده از نقشه سایت به‌روز و بررسی فایل robots.txt می‌تواند به ربات‌ها کمک کند که راحت‌تر صفحات سایت شما را پیدا کنند. همچنین، از ابزارهای سرچ کنسول برای بهینه‌سازی بودجه خزش و درخواست خزیدن بیشتر استفاده کنید.

چه زمانی باید نگران قله‌ها و دره‌ها در نمودار Crawl Stats باشم؟

قله‌ها و دره‌ها در نمودار Crawl Stats می‌توانند نشان‌دهنده تغییرات در سرعت خزیدن سایت شما باشند. اگر دره‌ها نشان‌دهنده کاهش فعالیت ربات‌ها هستند، ممکن است به مشکلاتی مانند کیفیت پایین محتوا، مشکلات سرور یا پیکربندی نادرست فایل robots.txt اشاره کنند. اگر قله‌ها زیاد هستند و باعث فشار بر سرور شما می‌شوند، باید تنظیمات خزیدن در سرچ کنسول را بررسی کرده و در صورت لزوم، سرعت خزیدن را کاهش دهید.