آشنایی با گزارش crawl stats سرچ کنسول یکی از مهم­ترین مواردی است که برای رشد سایت باید به آن توجه کنید. گزارش Crawl Stats درGoogle Search Console، شامل اطلاعات مربوط به فعالیت Googlebot در وب سایت شما در بازه زمانی خاصی است. این گزارش اطلاعاتی مانند تعداد درخواست ها، تعداد صفحات بازدید شده، میانگین زمان دریافت صفحات و میانگین حجم فایل‌هایی که دریافت شده‌اند را نمایش می‌دهد.

به عنوان مثال، این گزارش می‌تواند به شما نشان دهد که چند درخواست Googlebot برای وب سایت شما ارسال شده است و چند صفحه به صورت موفقیت‌آمیز دریافت شده‌اند و یا این که چند صفحه به صورت موفقیت‌آمیز دریافت نشده‌اند. همچنین، این گزارش می‌تواند به شما نشان دهد که چند درصد از بودجه‌ی خزش مصرف شده است و چقدر بودجه‌ی خزش باقی مانده است.

فهرست مطالب

Crawl Stats چیست؟

در این قسمت می­خواهیم در مورد آشنایی با گزارش crawl stats سرچ کنسول صحبت کنیم. Crawl Stats یا آمار کرال، یکی از قابلیت‌های سرچ کنسول گوگل است که به وبمسترها اجازه می‌دهد تا بررسی کنند که گوگل چگونه وب سایت شان را کرال می‌کند و چقدر زمان صرف می‌کند تا به صفحات مختلف دسترسی پیدا کند.

در واقع Crawl Stats شامل آمار و اطلاعات مفیدی است که برای بهینه سازی کرال وب سایت شما و افزایش رتبه در موتورهای جستجو مفید است. این آمارها شامل مواردی مانند تعداد درخواست‌ها، تعداد صفحات کرال شده، زمان کرال صفحات و میانگین زمان پاسخگویی سرور وب سایت شما به گوگل هستند.

با استفاده از اطلاعات در دسترس درCrawl Stats ، شما می‌توانید بررسی کنید که آیا گوگل به صفحات مهم وب سایت شما دسترسی دارد یا نه، زمان کرال صفحات را بررسی کنید و در صورت لزوم اقدام به بهینه‌سازی سرور وب سایت خود کنید تا بتوانید باعث افزایش سرعت و کاهش زمان پاسخگویی سرور خود به گوگل شوید.

آشنایی با جزئیات Host Status

برای آشنایی با گزارش crawl stats سرچ کنسول، باید با بخش­های مختلف آن نیز آشنا شوید. بخش Host Status در Crawl Stats شامل اطلاعات مفیدی در مورد هر هاستی است که توسط کرالر بازدید شده است. در این بخش، برای هر هاست، تعداد درخواست‌هایی که برای آن فرستاده شده، تعداد بایت دریافتی و میزان زمان پاسخ‌دهی این هاست به درخواست‌ها نمایش داده می‌شود. برخی از اطلاعاتی که در این بخش قابل مشاهده هستند، عبارت­اند از:

Hostname: نام دامنه هاست مربوطه

Requests: تعداد درخواست‌های ارسال شده به هاست

Bytes In: تعداد بایت‌های دریافت شده از هاست

Bytes Out: تعداد بایت‌های ارسال شده به هاست

Status Codes: تعداد درخواست‌های موفق و ناموفق به هاست بر اساس کدهای HTTP

DNS Lookups: تعداد نگاه‌داشت‌های DNS برای این هاست

Connection Timeouts: تعداد ارتباط‌هایی که به دلیل عدم پاسخگویی هاست ایجاد نشدند

Total Connection Time: مجموع زمان صرف شده برای برقراری ارتباط با هاست (در میلی‌ثانیه)

Retryable Errors: تعداد خطاهایی که می‌توانند با تلاش دوباره رفع شوند

Non-retryable Errors: تعداد خطاهایی که نمی‌توان با تلاش دوباره رفع کرد.

معرفی بخش By Response

درCrawl Stats ، بخش By Response شامل آمار و اطلاعات مفیدی در مورد وضعیت درخواست‌های کرالینگ و پاسخ سایت به این درخواست‌ها است. این بخش شامل چهار زیر بخش زیر است:

Status Codes: در این قسمت، وضعیت کدهای HTTP درخواست‌های کرالینگ نمایش داده می‌شود. برای هر کد HTTP، تعداد درخواست‌هایی که با این کد پاسخ داده شده و میزان بایت داده دریافت شده نمایش داده می‌شود.

Hosts: این بخش شامل اطلاعات مربوط به هاست‌های مختلفی است که سایت با آن‌ها ارتباط برقرار کرده است. برای هر هاست، تعداد درخواست‌هایی که برای آن فرستاده شده، تعداد بایت دریافتی و میزان زمان پاسخ‌دهی این هاست به درخواست‌ها نمایش داده می‌شود.

Content Types: در این بخش، نوع محتوای دریافت شده از سایت بر اساس MIME type نمایش داده می‌شود. برای هر نوع محتوا، تعداد درخواست‌ها، تعداد بایت دریافتی و میزان زمان پاسخ‌دهی نمایش داده می‌شود.

URLs: در این قسمت، آمار و اطلاعات مربوط به URLهای مختلفی که کرالر به آن‌ها دسترسی داشته است، نمایش داده می‌شود. برای هرURL ، تعداد درخواست‌ها، تعداد بایت دریافتی و میزان زمان پاسخ‌دهی نمایش داده می‌شود.

آشنایی با بلوک filetype

بخش FileType در Crawl Stats شامل اطلاعات مربوط به نوع فایل‌هایی است که توسط کرالر دریافت شده‌اند. برای هر نوع فایل، تعداد فایل‌هایی که دریافت شده‌اند، تعداد بایت‌های دریافتی، و میانگین اندازه فایل نمایش داده می‌شود. این بخش از Crawl Stats برای شناخت نوع محتوایی که توسط کرالر دریافت شده است و بررسی عملکرد کرالر در دسترسی به این محتوا بسیار مفید است.

در بخش FileType، بلوک FileType بر اساس پسوند فایل ها گروه‌بندی شده است. برخی از پسوندهای معمول فایل‌ها عبارتند از html، css، js، pdf، jpg، png و غیره. اطلاعاتی که در این بخش نمایش داده می‌شود، شامل:

Extension: پسوند فایل‌ها

Requests: تعداد درخواست‌هایی که برای فایل‌های این پسوند فرستاده شده‌اند

Bytes In: تعداد بایت‌هایی که دریافت شده است

Bytes Out: تعداد بایت‌هایی که ارسال شده است

Mimetype: نوع MIME فایل‌هایی که با این پسوند دارایی هستند

Average File Size: میانگین اندازه فایل‌هایی که با این پسوند دریافت شده‌اند

آشنایی با بلوک crawl purpose

در گزارشات Crawl Stats در Google Search Console، بخشی به نام “Crawl Purpose” وجود دارد که نشان دهنده هدف بارگیری صفحات وب توسط ربات گوگل است. این بلوک نشان می دهد که ربات گوگل در هنگام اسکن وب سایت، صفحات را به چه منظوری دریافت کرده است.

در این بلوک، سه هدف بارگیری صفحات وب توسط ربات گوگل مشخص می­شود:

نمایش: ربات گوگل صفحات را به منظور نمایش در نتایج جستجوی گوگل بارگیری می­کند.

کاوش: ربات گوگل صفحات را به منظور ایجاد نقشه سایت، بررسی ساختار و محتوای سایت و بهبود فرایند ایندکس شدن صفحات بارگیری می­کند.

مسیریابی: ربات گوگل صفحات را به منظور جمع آوری لینک­ها و مسیریابی به صفحات دیگر بارگیری می­کند.

با بررسی بلوک Crawl Purpose در گزارشات Crawl Stats، می­توانید بفهمید که ربات گوگل صفحات وب­سایت شما را به چه منظوری بارگیری می­کند و این اطلاعات می­تواند به بهبود سئو و بهینه سازی سایت کمک کند.

همچنین، با استفاده از این بلوک می توانید بررسی کنید که ربات گوگل صفحات خاصی از سایت شما را برای هدف خاصی دریافت کرده است یا خیر. به عنوان مثال اگر در بلوک Crawl Purpose فقط هدف “کاوش” برای صفحات شما نشان داده شده باشد، احتمالاً صفحات شما در نتایج جستجوی گوگل قرار نخواهند گرفت و باید برای بهبود شانس ایندکس شدن آنها، به بهبود ساختار و محتوای سایت خود بپردازید.

آشنایی با بلوک google bot type

بلوک Googlebot Type یک گزارش در بخش Crawl Stats ابزار Search Console گوگل است که نشان می دهد که چه نوع Googlebot ها به صفحات وب سایت شما دسترسی داشته اند.Googlebot ها عامل های رباتیک گوگل هستند که وظیفه فراهم کردن اطلاعات به موتور جستجوی گوگل را بر عهده دارند.

Googlebot Type برای شناسایی انواع مختلف Googlebot ها استفاده می شود، از جمله Googlebot، Googlebot-Image، Googlebot-News و غیره. با دسترسی به این گزارش، می توانید ببینید کدام Googlebot ها بیشترین تعداد درخواست را به صفحات وب سایت شما داشته اند و بر اساس آن تصمیماتی در مورد بهینه سازی سایت خود اتخاذ کنید.

همچنین، با استفاده از این گزارش می توانید نحوه فعالیت Googlebot ها را بررسی کنید، مانند زمانی که Googlebot ها به صفحات وب سایت شما دسترسی داشته­اند، تعداد صفحاتی که به آنها دسترسی داشته­اند و مدت زمانی که برای بارگیری هر صفحه صرف کرده­اند.

با این حال، باید توجه داشت که این گزارش تنها برای شناسایی نوعGooglebot ها استفاده می­شود و نشانگری از کیفیت یا عملکرد وب سایت شما نیست. به علاوه برخی از Googlebot ها ممکن است از سایر منابعی مانند Google AdSense یا Google Analytics دسترسی داشته باشند، اما در گزارش Crawl Stats نمایش داده نمی­شوند.

در صورتی که شما به مشکلاتی در ارتباط با دسترسیGooglebot ها به صفحات وب سایت خود مواجه شده­اید، می­توانید از این گزارش استفاده کنید تا این مشکلات را شناسایی کنید. برای مثال، اگر Googlebot ها به صفحات وب سایت شما دسترسی ندارند، ممکن است این به دلیل بلاک شدن آنها توسط فایروال یا فیلترهای امنیتی باشد. با استفاده از این گزارش می­توانید بفهمید کدام Googlebot ها بلاک شده اند و چگونه این مشکل را حل کنید.

همچنین با استفاده از این گزارش، می­توانید بفهمید کدام صفحات وب­سایت شما توسطGooglebot ها شناسایی نشده­اند. این می­تواند به شما کمک کند تا محتوایی که شاید به طور اشتباهی از نظرGooglebot ها پنهان شده باشد، را پیدا کنید و بهبود ببخشید.

در کل، گزارش بلوک Googlebot Type یکی از ابزارهای مفید Search Console گوگل است که به شما کمک می کند تا دسترسیGooglebot ها به صفحات وب سایت خود را بررسی کنید و مشکلاتی را که ممکن است باعث محدودیت دسترسی آنها به صفحات وب سایت شما شده اند، شناسایی کنید.

نکاتی درباره بررسی نرخ خزش

بررسی نرخ خزش (Crawl Rate) بسیار مهم است زیرا این عملیات به کنترل دسترسیGooglebot ها به صفحات وب­سایت شما کمک می­کند و می تواند به بهبود سئو وب سایت شما کمک کند. در ادامه، نکاتی که باید در بررسی نرخ خزش در نظر داشته باشید را برای شما بیان می­کنیم:

شناسایی منابع بارگیری اضافی: اگر صفحات وب­سایت شما با سرعت کمی بارگیری می­شوند، ممکن است Googlebot ها نتوانند به صورت کامل به صفحات دسترسی پیدا کنند. بنابراین، اگر نرخ خزش شما کاهش یافته است، باید منابع بارگیری اضافی را شناسایی کرده و حذف کنید.

اطمینان از پاسخگویی سرور: سرورهایی که نمی­توانند بهGooglebot ها پاسخگو باشند، ممکن است در نرخ خزش کاهشی را تجربه کنند. بنابراین، باید مطمئن شوید که سرور شما پاسخگویی درستی بهGooglebot ها دارد.

شناسایی خطاهای محتوا: خطاهای محتوا مانند خطاهای 404، ممکن است باعث کاهش نرخ خزش شوند. بنابراین، باید این خطاها را شناسایی کرده و برطرف کنید.

مطمئن شوید که وب­سایت شما بهینه شده است: وب­سایت هایی که بهینه نشده­اند، ممکن است در نرخ خزش کاهشی تجربه کنند. بنابراین باید مطمئن شوید که وب سایت شما بهینه شده است و محتوای آن به درستی ساختاردهی شده است.

توجه به بودجه crawl سایت

هزینه‌ی بودجه‌ی Crawl سایت به معنای مجموع حجمی از منابعی است که گوگل برای خزش صفحات وب سایت شما در نظر می‌گیرد. در اینجا یک سری نکات در مورد توجه به بودجه Crawl سایت وجود دارد:

سرعت بارگیری صفحات وب سایت شما: اگر صفحات شما با سرعتی کم بارگیری می شوند، Googlebot ها ممکن است به دسترسی به تمامی صفحات وب سایت شما نتوانند، بنابراین برای کاهش بودجه Crawl سایت، باید سرعت بارگیری صفحات را افزایش دهید.

حذف صفحات نامربوط و مشابه: صفحاتی که نامربوط به محتوای وب سایت شما هستند یا محتوای مشابه دارند، نباید در نتایج جستجوی گوگل نمایش داده شوند. حذف این صفحات می تواند باعث کاهش بودجه Crawl سایت شما شود.

استفاده از robots.txt: با استفاده از فایلrobots.txt ، می­توانیدGooglebot ها را به جهت اسکن صفحاتی که شما نمی­خواهید فهرست شوند، مسدود کنید. این کار می­تواند باعث کاهش بودجه Crawl سایت شما شود.

نوشته نکاتی در باب آشنایی با گزارش crawl stats سرچ کنسول اولین بار در آکادمی وندو. پدیدار شد.