גוגל בוט (Googlebot)

גוגל בוט הוא השם המוכר לתוכנת הסריקה הרשמית של גוגל, זו שמבקרת באתרים ברחבי הרשת ואוספת מידע לצורך אינדוקס בתוצאות החיפוש. כל בעל אתר שרוצה שהתוכן שלו יופיע בגוגל צריך להבין איך גוגל בוט פועל, אילו דפים הוא סורק ומה מונע ממנו לעשות את עבודתו כראוי.

מה זה גוגל בוט?

גוגל בוט (Googlebot) הוא הזחלןתוכנה אוטומטית שסורקת דפי אינטרנט ואוספת מידע עבורה מנועי חיפוש הרשמי של גוגל: תוכנה אוטומטית שמבקרת בדפי אינטרנט, קוראת את הקוד והתוכן שלהם ועוקבת אחרי קישורים כדי לגלות דפים נוספים. קיימות כמה גרסאות של הבוט, המותאמות לסריקת גרסת המובייל של האתר ולגרסת הדסקטופ, ומאז המעבר לאינדוקס מבוסס מובייל הגרסה הנייד היא זו שמשמשת ברוב המקרים בפועל.

איך גוגל בוט מגלה וסורק דפים חדשים

גוגל בוט מגלה כתובות דפים בכמה דרכים: קישורים מדפים אחרים שכבר נסרקו, מפת אתרקובץ שמפרט את כל הדפים החשובים באתר עבור מנועי חיפוש שהוגשה בגוגל סרץ' קונסולכלי חינמי של גוגל למעקב אחרי ביצועי האתר בחיפוש, וכתובות שדווחו ידנית דרך כלי הבדיקה בקונסולה. לאחר שגוגל בוט מזהה כתובת חדשה, הוא מוריד את תוכן הדף, מריץ את קוד ה-JavaScript שבו במידת הצורך, ומעביר את המידע שנאסף לשלב האינדוקסתהליך שבו גוגל שומרת דף במאגר הנתונים שלה לאחר סריקה.

גוגל בוט לנייד מול גוגל בוט לדסקטופ

מאז מעבר גוגל לאינדוקס מבוסס מובייל, גרסת המובייל של גוגל בוט היא זו שסורקת את רוב האתרים כברירת מחדל, ולכן הגרסה שהאתר מציג למכשירים ניידים היא זו שקובעת בפועל איך גוגל תופסת ומדרגת את התוכן. אתר שמציג תוכן שונה או חסר בגרסת המובייל שלו, ביחס לגרסת הדסקטופ, עלול לאבד חלק מהמידע שגוגל בוט אמור לסרוק.

איך לוודא שגוגל בוט סורק את האתר כראוי

ניתן לעקוב אחרי פעילות גוגל בוט ולוודא שהוא מגיע לדפים החשובים באמצעות כלי הבדיקה בגוגל סרץ' קונסול, שמציג אילו כתובות נסרקו ומתי, ומאיזו סיבה דפים מסוימים לא נסרקו או לא נכנסו לאינדקס. אפשר גם להנחות את גוגל בוט ישירות באמצעות קובץ robots.txt, שקובע לאילו תיקיות או דפים באתר מותר או אסור לו לגשת.

מה מונע מגוגל בוט לסרוק דף כראוי

• שגיאות שרת או זמן תגובה איטי מדי, שגורמים לגוגל בוט לוותר על ניסיון הסריקה.
• חסימה בקובץ robots.txt שמונעת מהבוט גישה לדף מלכתחילה.
• תג noindex בקוד הדף, שמורה לגוגל בוט במפורש לא לשמור את הדף באינדקס גם אם הוא נסרק.
• דפים שאינם מקושרים משום מקום באתר ולא מופיעים במפת האתר, כך שגוגל בוט לא מגלה אותם כלל.