ربات گوگل چیست؟[11 نکته برای بهینه سازی ربات گوگل]

تصور کنید هر بار که چیزی را در گوگل جستجو می‌کنید، انگار درِ یک کتابخانه بی‌پایان را باز می‌کنید. اما پشت این صحنه شگفت‌انگیز، ربات‌های هوشمندی کار می‌کنند که مثل کتابدارانی بی‌خواب، اطلاعات را دسته‌بندی و به بهترین شکل به شما ارائه می‌دهند. این ربات‌ها نه‌تنها سرعت دسترسی ما به اطلاعات را بالا می‌برند، بلکه به طور مداوم وب‌سایت‌ها را بررسی می‌کنند تا بهترین نتایج را برای کاربران نمایش دهند.

ربات‌های گوگل، با نام‌های مختلفی مانند گوگل‌بات، وظیفه دارند صفحات وب را پیمایش و محتوای آن‌ها را تجزیه‌وتحلیل کنند. این فرآیند پایه و اساس چیزی است که ما به‌عنوان سئو چیست می‌شناسیم. یعنی بهینه‌سازی سایت‌ها برای جلب توجه این ربات‌ها و در نهایت دستیابی به جایگاه بهتر در نتایج جستجو.

در این مقاله از  مهام ، قصد داریم با زبانی ساده و جذاب، شما را با دنیای شگفت‌انگیز ربات‌های گوگل آشنا کنیم و ببینیم این موجودات هوشمند چه نقشی در تجربه کاربری و دنیای آنلاین ما دارند. همراه ما باشید!

ربات گوگل چیست؟

ربات گوگل یا گوگل‌بات (Googlebot)، نرم‌افزار خودکار و هوشمندی است که به‌طور مداوم در اینترنت به جستجو و بازدید از صفحات وب‌سایت‌ها می‌پردازد. این ربات‌ها به دنبال یافتن صفحات جدید و ایندکس کردن آن‌ها برای نمایش در نتایج جستجو هستند. هدف اصلی گوگل‌بات، بهبود نتایج جستجو و نمایش دقیق‌تر محتوای مرتبط به کاربران است.

یکی از جنبه‌های مهم عملکرد ربات گوگل، «بودجه خزش» (Crawl Budget) است. بودجه خزش به تعداد صفحاتی که گوگل‌بات می‌تواند در یک بازه زمانی معین بررسی و ایندکس کند، اطلاق می‌شود. این بودجه به عوامل مختلفی بستگی دارد، از جمله کیفیت سایت، سرعت بارگذاری صفحات، تعداد لینک‌های داخلی و حتی اعتبار سایت. اگر سایت شما به‌درستی بهینه‌سازی شده باشد و سرعت بارگذاری آن بالا باشد، گوگل‌بات قادر خواهد بود صفحات بیشتری را در مدت‌زمان کوتاه‌تری بررسی کند. این امر می‌تواند به ایندکس سریع‌تر صفحات جدید و در نتیجه بهبود نتایج جستجوی سایت کمک کند.

در نتیجه، مدیریت صحیح بودجه خزش از طریق بهبود ساختار سایت و استفاده از ابزارهایی مانند نقشه سایت (Sitemap) و فایل robots.txt می‌تواند تأثیر زیادی در بهبود عملکرد سایت در نتایج گوگل داشته باشد.

ربات گوگل و سئو

ربات‌های گوگل یا همان گوگل‌بات‌ها، نقش حیاتی در فرآیند سئو دارند. این ربات‌ها به طور مداوم در اینترنت به جستجوی اطلاعات و بررسی صفحات وب‌سایت‌ها می‌پردازند. از آنجا که یکی از اهداف اصلی گوگل، نمایش نتایج جستجوی مرتبط و دقیق است، ربات‌ها اطلاعات سایت‌ها را ایندکس کرده و آن‌ها را در پایگاه داده‌های گوگل ذخیره می‌کنند. این اطلاعات در نهایت تأثیر زیادی بر روی سه نوع سئو دارد: سئو داخلی، سئو خارجی و سئو تکنیکال.

در این بخش، به تفصیل بررسی می‌کنیم که چگونه ربات‌های گوگل می‌توانند بر این سه جنبه تأثیر بگذارند و چه اقداماتی باید انجام دهید تا سایت شما برای ربات‌ها بهینه‌سازی شود و در نتایج جستجو رتبه بهتری پیدا کند. اگر میخواهید طراحی سایت و سئو را به صورت حرفه ای فرا بگیرید دوره آموزش سئو و دوره آموزش طراحی سایت بهترین انتخاب برای شماست.

سئو داخلی

سئو داخلی به اقداماتی اطلاق می‌شود که در داخل سایت شما انجام می‌شود و بر محتوای سایت و ساختار آن تمرکز دارد. این اقدامات شامل بهینه‌سازی ساختار URL، ایجاد محتوای باکیفیت، استفاده از متا تگ‌ها و تگ‌های هدر، و ایجاد لینک‌های داخلی مناسب می‌شود. گوگل‌بات‌ها برای ایندکس کردن صفحات شما از ساختار داخلی سایت استفاده می‌کنند. برای این که ربات‌های گوگل بتوانند به راحتی در صفحات سایت شما جستجو کنند و آن‌ها را ایندکس کنند، باید سایت شما به گونه‌ای طراحی شده باشد که گوگل‌بات‌ها به راحتی بتوانند محتوای سایت را درک کنند.

یکی از مهم‌ترین جنبه‌های سئو داخلی، ایجاد یک ساختار URL ساده و منطقی است که به ربات‌ها کمک می‌کند صفحات را سریع‌تر پیدا کنند. همچنین، استفاده از تگ‌های متا مانند تگ عنوان و تگ توضیحات متا به گوگل‌بات‌ها اطلاعاتی راجع به محتوا و هدف صفحه ارائه می‌دهد. علاوه بر این، استفاده از لینک‌های داخلی که به صفحات دیگر سایت شما اشاره دارند، موجب می‌شود ربات‌ها بتوانند به راحتی از یک صفحه به صفحه دیگر بروند و کل سایت شما را بررسی کنند. به دلیل اهمیت بالای سئو داخلی اگر در این کار متخصص نیستید حتما از مشاوره سئو تخصصی استفاده کنید.

سئو خارجی

سئو خارجی به تمامی فعالیت‌هایی اطلاق می‌شود که خارج از سایت شما انجام می‌شود و به بهبود رتبه سایت شما در نتایج جستجو کمک می‌کند. این فعالیت‌ها شامل کسب بک‌لینک از سایت‌های معتبر و افزایش اعتبار سایت از طریق رسانه‌های اجتماعی، انجمن‌ها و سایر پلتفرم‌های آنلاین است. ربات‌های گوگل از طریق این لینک‌ها به سایت شما دسترسی پیدا می‌کنند و اعتبار سایت شما را ارزیابی می‌کنند.

هر چه سایت‌های معتبرتر و مرتبط‌تر به سایت شما لینک دهند، احتمال اینکه گوگل‌بات‌ها سایت شما را بیشتر مورد توجه قرار دهند و در نتایج جستجو بالاتر بیاورند، بیشتر خواهد بود. به همین دلیل، ایجاد بک‌لینک‌های باکیفیت و متنوع از سایت‌های معتبر در صنعت شما بسیار اهمیت دارد. علاوه بر این، فعالیت‌های رسانه‌های اجتماعی و پست‌های مهم از دیگر راه‌های تقویت سئو خارجی به شمار می‌آیند که گوگل‌بات‌ها به آن‌ها توجه می‌کنند.

سئو تکنیکال

سئو تکنیکال جنبه‌های فنی سایت شما را بهینه می‌کند تا برای گوگل‌بات‌ها قابل‌فهم و دسترسی باشد. در واقع، اگر سایت شما از نظر فنی مشکلی داشته باشد، ربات‌های گوگل قادر نخواهند بود که به راحتی در آن جستجو کنند و ممکن است برخی از صفحات سایت شما ایندکس نشوند. سئو تکنیکال شامل مجموعه‌ای از اقدامات است که به بهبود عملکرد سایت و تسهیل روند خزیدن ربات‌ها کمک می‌کند.

از مهم‌ترین اقدامات سئو تکنیکال می‌توان به بهینه‌سازی سرعت بارگذاری صفحات، استفاده از پروتکل HTTPS، طراحی ساختار URL مناسب، و رفع مشکلات فنی مانند ارورهای 404 و مشکلات در فایل robots.txt اشاره کرد. این اقدامات به ربات‌های گوگل کمک می‌کند تا به راحتی صفحات شما را پیدا کنند و اطلاعات سایت را به‌درستی ایندکس کنند. به‌علاوه، استفاده از نقشه سایت (Sitemap) می‌تواند فرآیند خزیدن را برای گوگل‌بات‌ها تسهیل کند و به آن‌ها نشان دهد که چه صفحاتی در سایت شما باید ایندکس شوند.

انواع ربات‌های گوگل

ربات‌های گوگل مانند کارمندانی دقیق عمل می‌کنند که وظیفه‌ای مشخص دارند. این ربات‌ها با جستجو در صفحات وب، اطلاعات را جمع‌آوری کرده و برای نمایش بهتر نتایج جستجو به کار می‌گیرند. در ادامه، انواع ربات‌های گوگل و وظایف آن‌ها معرفی می‌شوند.

Googlebot Desktop

ربات Googlebot Desktop مسئول خزیدن و ایندکس نسخه دسکتاپ صفحات وب است. این ربات اطلاعات مربوط به نسخه دسکتاپ سایت را بررسی کرده و برای نمایش در نتایج جستجو ذخیره می‌کند. استفاده از خدمات سئو به بهینه‌سازی محتوای سایت و نمایش بهتر در نتایج جستجوی گوگل کمک می‌کند.

Googlebot Mobile

الگوریتم Mobile First Index برای بررسی و ایندکس نسخه موبایل سایت‌ها طراحی شده است. با افزایش استفاده کاربران از دستگاه‌های موبایل، این ربات اهمیت بیشتری پیدا کرده است. بهبود تجربه کاربری در نسخه موبایل با استفاده از خدمات طراحی سایت می‌تواند تأثیر زیادی بر نتایج جستجوی سایت داشته باشد.

Googlebot Image

Googlebot Image وظیفه دارد تصاویر موجود در صفحات وب را شناسایی و ایندکس کند. این ربات با بررسی تصاویر و تگ‌های ALT، آن‌ها را برای نمایش در نتایج جستجوی تصاویر آماده می‌کند. استفاده از محتوای تصویری مناسب و بهینه از طریق سفارش تولید محتوا به این فرآیند کمک می‌کند.

Googlebot Video

Googlebot Video به طور تخصصی برای خزیدن و ایندکس ویدئوها طراحی شده است. این ربات ویدئوهای موجود در صفحات وب را بررسی می‌کند و برای نمایش در نتایج جستجوی ویدئویی آماده می‌سازد. برای بهبود دسترسی این ربات، استفاده از توضیحات کامل و داده‌های ساختار‌یافته ضروری است.

AdsBot

AdsBot مخصوص بررسی کیفیت تبلیغات و صفحات تبلیغاتی گوگل است. این ربات عملکرد تبلیغات را بررسی کرده و اطلاعات لازم را برای بهینه‌سازی کمپین‌های تبلیغاتی جمع‌آوری می‌کند. صفحات تبلیغاتی بهینه‌شده با تکنیک‌های سئو، کیفیت تبلیغات را افزایش می‌دهند.

ربات گوگل چگونه کار می‌کند؟

ربات های گوگل به طور مداوم در حال گشت‌وگذار در اینترنت است تا اطلاعات جدید را جمع‌آوری کرده و پایگاه داده‌های گوگل را به‌روزرسانی کند.

عملکرد این ربات به دو مرحله اصلی تقسیم می‌شود:

1. خزش (Crawling): ربات گوگل لینک‌های موجود در صفحات وب را دنبال کرده و محتوای صفحات جدید را کشف می‌کند.
2. ایندکس‌کردن (Indexing): پس از خزش، اطلاعات جمع‌آوری‌شده تحلیل می‌شود و در پایگاه داده گوگل ذخیره می‌شود تا در نتایج جستجو نمایش داده شود.

ربات گوگل چگونه از سایت شما بازدید می‌کند؟

وقتی ربات گوگل وارد یک سایت می‌شود، ابتدا فایل‌های اصلی مانند robots.txt را بررسی می‌کند تا ببیند کدام صفحات اجازه خزیدن دارند و کدام صفحات مسدود شده‌اند. سپس، با دنبال کردن لینک‌های داخلی و خارجی موجود در سایت، به صفحات دیگر دسترسی پیدا می‌کند.

عوامل مهم در بازدید ربات گوگل:

• ساختار سایت: اگر سایت به خوبی طراحی شده باشد، ربات‌ها به راحتی می‌توانند بین صفحات حرکت کنند.
• نقشه سایت (Sitemap): این فایل به ربات‌ها کمک می‌کند که صفحات مهم را سریع‌تر پیدا کنند.
• سرعت سایت: سایت‌هایی که سریع‌تر بارگذاری می‌شوند، تجربه بهتری برای ربات‌ها ارائه می‌دهند.
• بودجه خزش (Crawl Budget): تعداد صفحاتی که ربات گوگل در یک بازه زمانی مشخص می‌تواند بررسی کند، بهینه‌سازی این بودجه باعث می‌شود صفحات مهم‌تر ایندکس شوند.

ربات‌های گوگل فروشگاه‌های اینترنتی بزرگ را چطور ایندکس می‌کنند؟

فروشگاه‌های اینترنتی بزرگ معمولاً صفحات زیادی دارند که شامل محصولات، دسته‌بندی‌ها و صفحات مرتبط است. ربات‌های گوگل در این سایت‌ها با رویکرد خاصی عمل می‌کنند:

1. بررسی ساختار دسته‌بندی: ربات‌ها ابتدا به صفحات دسته‌بندی سر می‌زنند و از آنجا به صفحات محصول دسترسی پیدا می‌کنند.
2. شناسایی لینک‌های داخلی: لینک‌دهی داخلی قوی به ربات‌ها کمک می‌کند تا محصولات و بخش‌های مختلف سایت را پیدا کنند.
3. بررسی محتوای پویا: در فروشگاه‌های آنلاین، بسیاری از صفحات به صورت پویا بارگذاری می‌شوند. استفاده از داده‌های ساختاریافته (Schema Markup) به ربات‌های گوگل کمک می‌کند تا اطلاعات محصولات مانند نام، قیمت، و توضیحات را سریع‌تر ایندکس کنند.
4. مدیریت صفحات تکراری: فروشگاه‌های اینترنتی ممکن است صفحات تکراری برای محصولات مشابه داشته باشند. برای جلوگیری از مشکلات سئو، استفاده از تگ‌های canonical ضروری است.

فروشگاه‌های بزرگ معمولاً با کمک خدمات سئو حرفه‌ای ساختار سایت و محتوای خود را بهینه‌سازی می‌کنند تا ربات‌ها بتوانند به بهترین شکل اطلاعات را ایندکس کنند.

11 نکته برای بهینه‌سازی سایت برای ربات گوگل

ربات‌های گوگل مسئول خزیدن و ایندکس کردن صفحات سایت هستند و عملکرد آن‌ها به‌طور مستقیم بر رتبه سایت شما در نتایج جستجو تأثیر می‌گذارد. بهینه‌سازی سایت برای ربات گوگل به معنای فراهم کردن دسترسی آسان‌تر به صفحات، ارائه محتوای ارزشمند و جلوگیری از خطاهایی است که می‌توانند تجربه کاربری و نتایج جستجو را مختل کنند. در اینجا 11 نکته کلیدی برای بهینه‌سازی سایت جهت تعامل بهتر با ربات‌های گوگل آورده شده است:

1. استفاده صحیح از فایل robots.txt

robots.txt فایل مهمی است که به ربات‌های گوگل نشان می‌دهد کدام صفحات باید خزش شوند و کدام صفحات باید نادیده گرفته شوند. این فایل باید با دقت تنظیم شود تا ربات‌ها بتوانند به صفحات موردنظر دسترسی داشته باشند و صفحات غیرضروری یا حساس از خزش مستثنی شوند.

2. ایجاد نقشه سایت XML

نقشه سایت XML به ربات‌های گوگل کمک می‌کند که ساختار سایت را به‌طور کامل درک کنند. این فایل، تمام صفحات مهم سایت را در قالبی ساده معرفی می‌کند و باعث می‌شود صفحات جدید و به‌روزرسانی‌ها سریع‌تر ایندکس شوند.

3. ایجاد محتوای تازه

محتوای تازه و به‌روز یکی از عوامل اصلی جذب ربات‌های گوگل است. صفحات با محتوای جدید به‌راحتی توسط ربات‌ها شناسایی شده و در پایگاه داده گوگل ذخیره می‌شوند.

4. افزایش سرعت سایت

سرعت سایت نقش حیاتی در بهینه‌سازی برای ربات‌های گوگل دارد. سایت‌هایی که سرعت بارگذاری بالایی دارند، راحت‌تر توسط ربات‌ها بررسی و ایندکس می‌شوند. کاهش حجم تصاویر، استفاده از کش مرورگر و بهینه‌سازی کدها از راهکارهای بهبود سرعت سایت است.

5. استفاده از لینک‌های داخلی

لینک‌های داخلی به ربات‌های گوگل کمک می‌کنند که صفحات مختلف سایت را بهتر پیدا کنند. این کار علاوه بر بهبود خزش، باعث افزایش ارزش صفحات داخلی سایت نیز می‌شود.

6. طبقه‌بندی URL

ساختار URL سایت باید منظم و ساده باشد. URL‌های طولانی یا پیچیده ممکن است خزش صفحات را دشوار کنند. استفاده از کلمات کلیدی در URL و حذف پارامترهای اضافی توصیه می‌شود.

7. بارگذاری صحیح جاوا اسکریپت

استفاده نادرست از جاوا اسکریپت می‌تواند باعث شود برخی از صفحات یا عناصر سایت توسط ربات‌های گوگل شناسایی نشوند. برای جلوگیری از این مشکل، جاوا اسکریپت باید به درستی بارگذاری و در صورت امکان، از اجرای مستقیم محتوا بدون جاوا اسکریپت استفاده شود.

8. بهینه‌سازی تصاویر

تصاویر بزرگ یا بدون توضیحات مناسب، فرآیند ایندکس‌کردن را دشوار می‌کنند. استفاده از تگ‌های ALT، کاهش حجم تصاویر و استفاده از فرمت‌های استاندارد می‌تواند به بهبود عملکرد سایت کمک کند.

9. بررسی لینک‌های شکسته و ریدایرکت‌ها

لینک‌های شکسته و ریدایرکت‌های نامناسب می‌توانند بودجه خزش سایت را هدر دهند و مانع از ایندکس‌شدن صفحات جدید شوند. بررسی مداوم لینک‌ها و رفع خطاهای مربوط به آن‌ها ضروری است. برای گسب اطلاعات بیشتر از ریدایرکت ها مخصوصا ریدایرکت 301 حتما به این صفحه سر بزنید.

10. تنظیم عنوان و توضیحات متا

عنوان‌ها و توضیحات متا به ربات‌های گوگل کمک می‌کنند که محتوای صفحه را بهتر درک کنند. استفاده از کلمات کلیدی مرتبط و توصیفات دقیق در این بخش، شانس نمایش صفحه در نتایج جستجو را افزایش می‌دهد.

11. ایجاد فایل robots.txt و نقشه سایت

ایجاد همزمان فایل robots.txt و نقشه سایت XML به‌عنوان یک راهنمای دقیق برای ربات‌های گوگل عمل می‌کند. این فایل‌ها با ارائه اطلاعاتی درباره صفحاتی که باید خزش شوند یا ایندکس شوند، فرآیند بهینه‌سازی را تکمیل می‌کنند.

اصلاً نگران نباشید! آژانس مهام با سابقه 7 ساله در ارائه طراحی سایت در مشهد و خدمات سئو در مشهد، یکی از بهترین انتخاب‌ها برای بهینه‌سازی سایت شماست. تیم مهام با تجربه‌ای گسترده در این حوزه، آماده است تا سایت شما را به بهترین شکل ممکن برای ربات‌های گوگل بهینه کند.

مقایسه عملکرد ربات گوگل با مرورگر وب

ربات گوگل (Googlebot) و مرورگر وب هر دو وظیفه‌ای مشابه دارند: دریافت اطلاعات از صفحات وب. با این حال، عملکرد و هدف آن‌ها متفاوت است. مرورگر وب برای نمایش محتوای صفحات به کاربران طراحی شده، در حالی که ربات گوگل برای خزیدن (Crawling) و ایندکس‌کردن (Indexing) صفحات به منظور نمایش در نتایج جستجو استفاده می‌شود. در ادامه شباهت‌ها و تفاوت‌های این دو و جزئیات عملکرد ربات‌های گوگل بررسی می‌شود.

به نقل از سایت: آکادمی وبسیما

لینک‌های موجود در صفحات وب و درخواست ایندکس سایت در گوگل سرچ کنسول سیگنال‌هایی هستند که ربات گوگل را برای ورود به صفحات سایت شما فرا می‌خوانند. برای ارسال درخواست ایندکس صفحات سایت در گوگل سرچ کنسول می‌توانید از ابزار URL inspection tool استفاده کنید.

1. شباهت ربات گوگل و مرورگر وب

ربات‌های گوگل و مرورگر وب هر دو صفحات وب را پردازش می‌کنند. اما تفاوت اصلی در هدف پردازش است. مرورگر وب مانند Chrome یا Firefox محتوای صفحه را دریافت و برای کاربران به نمایش درمی‌آورد. در مقابل، ربات گوگل اطلاعات صفحات را جمع‌آوری و برای تجزیه‌وتحلیل ذخیره می‌کند.

ربات گوگل لینک‌های موجود در صفحه را دنبال کرده، به صفحات دیگر سایت دسترسی پیدا می‌کند و آن‌ها را در پایگاه داده‌های گوگل ثبت می‌کند. به این فرآیند خزیدن (Crawling) گفته می‌شود. پس از آن، اطلاعات جمع‌آوری‌شده تحلیل شده و در مرحله ایندکس‌کردن (Indexing) ذخیره می‌شود تا در جستجوی کاربران قابل نمایش باشد.

2. ربات‌های گوگل هر چند وقت یک‌بار به سایت سر می‌زنند؟

زمان‌بندی بازدید ربات‌های گوگل از سایت‌ها به عوامل متعددی بستگی دارد:

• میزان به‌روزرسانی محتوای سایت: سایت‌هایی که به‌طور مرتب محتوای جدید منتشر می‌کنند، معمولاً بیشتر توسط ربات‌های گوگل بازدید می‌شوند.
• اعتبار و کیفیت سایت: سایت‌های با اعتبار بالا در فواصل زمانی کوتاه‌تر خزش می‌شوند.
• بودجه خزش (Crawl Budget): این مقدار مشخص می‌کند که ربات‌های گوگل چقدر از منابع خود را صرف خزیدن در سایت شما می‌کنند. بودجه خزش به ساختار سایت، سرعت بارگذاری صفحات و محتوای موجود در سایت بستگی دارد.

معمولاً ربات‌های گوگل به سایت‌های خبری و پلتفرم‌های پربازدید مانند فروشگاه‌های آنلاین چندین بار در روز سر می‌زنند. اما برای سایت‌های با تغییرات کمتر، ممکن است چند روز یا حتی چند هفته طول بکشد تا دوباره بازدید انجام شود. بهینه‌سازی سایت با استفاده از نقشه سایت XML، رفع خطاهای ریدایرکت و بهبود لینک‌های داخلی می‌تواند این فرآیند را تسریع کند.

برای اطلاعات بیشتر راجب کلاکینگ، گزارش Crawl Stats، گوگل پنالتی و خطر های آنها حتما به این صفحات سر بزنید.

سوالات متداول درباره ربات گوگل

ربات گوگل چیست؟

ربات گوگل (Googlebot) نرم‌افزاری خودکار است که توسط گوگل طراحی شده و وظیفه آن خزیدن (Crawling) و ایندکس‌کردن (Indexing) صفحات وب برای نمایش در نتایج جستجو است.

 چگونه ربات گوگل سایت‌ها را پیدا می‌کند؟

ربات گوگل از لینک‌های موجود در صفحات وب استفاده می‌کند تا به صفحات جدید دسترسی پیدا کند. همچنین نقشه سایت XML و فایل robots.txt می‌توانند مسیر دقیق‌تری برای دسترسی ربات‌ها فراهم کنند.

 ربات گوگل هر چند وقت یک‌بار به سایت من سر می‌زند؟

بستگی به محتوای سایت و کیفیت آن دارد. سایت‌های با محتوای تازه و باکیفیت معمولاً بیشتر بازدید می‌شوند. همچنین اعتبار سایت و بهینه‌سازی ساختار آن در این فرآیند تأثیر دارد.

 آیا می‌توان دسترسی ربات گوگل به برخی صفحات را مسدود کرد؟

بله، با استفاده از فایل robots.txt یا تنظیمات متا تگ‌های robots می‌توان دسترسی ربات گوگل به صفحات خاص را محدود کرد.

دانلود PDF