האם חסימת בוטים של AI ב־Cloudflare עלולה לפגוע בקידום האתר בגוגל?

Cloudflare הרחיבה לאחרונה את האפשרויות לניהול ולחסימה של בוטים המשמשים מערכות בינה מלאכותית. השינוי מאפשר לבעלי אתרים ולמנהלי תשתיות להחליט אילו סוגי בוטים יוכלו לגשת לתוכן, ואילו פעילויות ייחסמו.

מדובר בהתפתחות חשובה לבעלי אתרים, אך היא גם מעלה שאלה משמעותית: האם הגדרה לא נכונה של חסימת בוטים עלולה לחסום בטעות גם את Googlebot, לפגוע בסריקת האתר ולהשפיע על הופעתו בתוצאות החיפוש ובתכונות AI של Google?

התשובה היא שחסימת בוטים של AI אינה אמורה לחסום אוטומטית את Googlebot. Cloudflare מפרידה בין בוטים שמטרתם חיפוש, בוטים שמבצעים פעולות בשם משתמש ובוטים שאוספים תוכן לצורך אימון מודלים. עם זאת, כלל אבטחה רחב מדי או הגדרה לא נכונה עלולים לחסום גם תעבורה לגיטימית של Google.

לכן אין סיבה להיכנס ללחץ, אבל בהחלט מומלץ לבדוק שהגדרות האתר והתשתית מבדילות נכון בין סורקי חיפוש לבין בוטים אחרים.

מה השתנה בניהול בוטים של AI ב־Cloudflare?

Cloudflare אינה מתייחסת עוד לכל תעבורת הבינה המלאכותית כאל קבוצה אחת. המערכת מסווגת בוטים בהתאם להתנהגות שלהם ולמטרה שלשמה הם ניגשים לאתר.

הקטגוריות המרכזיות הן:

Cloudflare מציינת שבוט יחיד יכול להיות משויך ליותר מסוג פעילות אחד, בהתאם לאופן שבו הוא משתמש בתוכן. לכן מדיניות החסימה אינה מבוססת רק על שם החברה שמפעילה את הבוט, אלא גם על ההתנהגות שלו באתר.

החל מ־15 בספטמבר 2026, דומיינים חדשים שיתחברו ל־Cloudflare יקבלו ברירות מחדל מעודכנות. בוטים המסווגים כ־Training או Agent ייחסמו בעמודים המציגים פרסומות, בעוד שבוטים המסווגים כ־Search ימשיכו להיות מורשים. נכון ל־15 ביולי 2026, שינוי ברירת המחדל עדיין לא נכנס לתוקף.

חשוב להדגיש שהעדכון אינו אמור לחסום את מנועי החיפוש. להפך, ההפרדה נועדה לאפשר לבעל האתר לחסום שימוש מסוים בתוכן בלי לוותר על נראות בחיפוש.

מהו Googlebot?

גוגל בוט הוא הסורק המרכזי של מנוע החיפוש Google. תפקידו לגלות עמודים, לקרוא את התוכן שלהם, לעבד אותו ולהעביר את המידע למערכות האינדוקס של Google.

כאשר הבוט מגיע לעמוד ומקבל גישה תקינה, Google יכולה להבין את התוכן, לזהות שינויים ולהחליט אם וכיצד להציג את העמוד בתוצאות החיפוש.

כאשר Googlebot נחסם לאורך זמן, עלולות להיווצר מספר בעיות:

• עמודים חדשים לא ייסרקו.
• שינויים בעמודים קיימים לא יתעדכנו.
• מוצרים וקטגוריות חדשים לא ייכנסו לאינדקס.
• מידע ישן עלול להמשיך להופיע בגוגל.
• עמודים עלולים לאבד בהדרגה את הנראות שלהם.
• תמונות, סרטונים ומשאבים נוספים עלולים לא להיסרק.

Google מגדירה את Googlebot כסורק המשמש את Google Search וממליצה לאמת בקשות שלו לפי כתובת ה־IP או באמצעות בדיקת DNS, ולא להסתמך רק על מחרוזת ה־User-Agent.

Googlebot ו־Google-Extended אינם אותו דבר

אחד המקורות לבלבול בנושא הוא ההנחה שכל סריקה של Google משמשת גם לאימון מודלים של בינה מלאכותית.

בפועל, Google מספקת מנגנון נפרד בשם Google-Extended. זהו אסימון שמאפשר לבעלי אתרים לשלוט בשימוש בתוכן עבור דורות עתידיים של מודלי Gemini, אפליקציות Gemini ושירותי Vertex AI מסוימים.

Google-Extended אינו סורק עצמאי בעל User-Agent נפרד. הסריקה יכולה להתבצע באמצעות סורקים קיימים של Google, בעוד שההעדפה של בעל האתר נקראת מתוך קובץ robots.txt.

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Disallow: /

הגדרה זו מאפשרת ל Googlebot לסרוק את האתר לצורך החיפוש, אך מבקשת להגביל שימוש מסוים בתוכן עבור שירותי Gemini.

גוגל מציינת במפורש שהגדרת Google ExtendedGoogle-Extended הוא מנגנון של Google שמאפשר לבעלי אתרים לקבוע האם התוכן שלהם יוכל לשמש מערכות בינה מלאכותית של החברה, כמו Gemini. אינה משפיעה על הכללת האתר ב־Google Search ואינה משמשת גורם דירוג.

לכן המשפט "אם נחסום את בוט ה־AI של Google, האתר ייעלם מתוצאות החיפוש" אינו מדויק.

הסיכון האמיתי אינו חסימת Google-Extended בפני עצמה, אלא מצב שבו כלל אבטחה רחב מדי חוסם גם את Googlebot.

האם Googlebot קשור ל־AI Overviews?

כן, אך חשוב להבין את ההקשר.

AI Overviews ו־AI Mode הם חלק ממערכות החיפוש של Google. כדי שתוכן יהיה מועמד להופעה בתכונות אלו, העמוד צריך לעמוד בדרישות הטכניות הרגילות של Google Search.

לפי Google, אין צורך ליצור קובץ AI מיוחד, סימון מיוחד או Schema ייעודי כדי להופיע ב־AI Overviews. העמוד צריך להיות ניתן לסריקה, מאונדקס וזכאי להופיע בתוצאות החיפוש הרגילות.

המשמעות היא שחסימת Googlebot עלולה להשפיע גם על היכולת של האתר להופיע בתוצאות רגילות וגם על הסיכוי שהתוכן ישמש כמקור בתכונות AI של Google Search.

לעומת זאת, חסימת Google-Extended אינה זהה לחסימת AI Overviewsמדריך לקידום אתרים בעידן AI Overviews של גוגל, כולל בניית תוכן ברור ומובנה., משום ש־Google-Extended מתייחס לשימושים מסוימים של Gemini ולא לסריקת החיפוש הרגילה.

מתי עלולה להתרחש חסימה לא מכוונת?

ברוב המקרים Cloudflare וספקי התשתיות יודעים לזהות בוטים מאומתים של מנועי חיפוש. Cloudflare אף מפעילה קטגוריה של Verified Bots, הכוללת בוטים לגיטימיים שאומתו על ידה.

הבעיה עלולה להתרחש כאשר נוצר כלל שאינו מבדיל נכון בין סוגי התעבורה.

כלל WAF רחב מדי

WAF הוא מנגנון אבטחה שמסנן בקשות לפני שהן מגיעות לאתר. כלל שחוסם כל תעבורה אוטומטית, כל בקשה ממדינה מסוימת או כל בקשה שעומדת בתבנית רחבה, עלול לחסום גם את Googlebot.

חסימת כל הבוטים

הגדרה של "חסום את כל הבוטים" ללא החרגה של Verified Bots עלולה לפגוע במנועי חיפוש, במערכות ניטור ובשירותים חיצוניים לגיטימיים.

הגבלת קצב מחמירה

Rate Limiting מגביל את מספר הבקשות שניתן לשלוח לאתר בפרק זמן מסוים. הגדרה מחמירה מדי עלולה לגרום לכך שסורקי Google יקבלו תגובת 429, כלומר יותר מדי בקשות.

הבעיה נפוצה יותר באתרים גדולים עם אלפי מוצרים, מסננים, עמודי קטגוריה וכתובות URL רבות.

חסימה לפי User-Agent בלבד

כל גורם יכול לכתוב בבקשה שלו שהוא Googlebot. לכן אין לאפשר או לחסום בקשות רק לפי השם שמופיע בכותרת הבקשה.

Google ממליצה לבצע אימות לפי טווחי כתובות ה־IP הרשמיים שלה או באמצעות בדיקת DNS הפוכה.

חסימת כתובות IP מחו"ל

הסורקים של Google פועלים ממספר רב של מרכזי נתונים, ורוב התעבורה שלהם יוצאת מכתובות IP בארצות הברית. אתר שחוסם באופן גורף גישה ממדינות מסוימות עלול לחסום בטעות גם סורקים לגיטימיים.

חסימת משאבים חיוניים

גם כאשר עמוד ה־HTML עצמו פתוח, חסימת JavaScript, ‏CSS, תמונות או קובצי API חיוניים עלולה למנוע מ־Google להבין ולהציג את העמוד כראוי.

למה הנושא חשוב במיוחד במערכות סגורות?

מערכת סגורה או מנוהלת היא פלטפורמה שבה בעל האתר אינו מנהל באופן ישיר את השרת, ה־CDN, מערכת האבטחה או כללי Cloudflare.

מערכות כאלה יכולות לכלול:

• פלטפורמות מסחר אלקטרוני.
• מערכות SaaS לבניית אתרים.
• מערכות הזמנות.
• מערכות חנויות מנוהלות.
• פלטפורמות לבניית דפי נחיתה.
• מערכות תוכן בענן.
• פתרונות White Label.
• מערכות ייעודיות שפותחו עבור ענף מסוים.

במערכת פתוחה, בעל האתר או המתכנת יכולים בדרך כלל להיכנס לקלאוד פלייר, לבדוק את כללי ה־WAF ולשנות את קובץ robots.txtRobots.txt הוא קובץ טקסט פשוט שממוקם בשרת של אתר אינטרנט ומשמש להנחיית מנועי החיפוש כיצד לסרוק ולהציג את האתר בתוצאות החיפוש..

במערכת סגורה, השינויים מבוצעים על ידי ספק הפלטפורמה.

אין בכך בהכרח חיסרון. במקרים רבים מדובר דווקא ביתרון, משום שהפלטפורמה מעסיקה אנשי אבטחה ותשתיות, מטפלת בעדכונים לכלל הלקוחות ומגיבה לשינויים טכנולוגיים בלי שכל בעל אתר יצטרך לבצע את העבודה בעצמו.

סביר מאוד שחברות המפעילות מערכות גדולות כבר בדקו את השינויים של Cloudflare, התאימו את הכללים והחריגו סורקים חיוניים מאחורי הקלעים, גם אם לא שלחו על כך עדכון לכל לקוח.

עם זאת, כאשר מדובר בנראות של האתר בגוגל, מומלץ לא להסתמך רק על ההנחה שהכול טופל, אלא לבקש אישור קצר מהתמיכה.

האתר שלכם בנוי על מערכת סגורה? כדאי לבדוק מול הספק

אתרים הפועלים באמצעות מערכות כמו Wix, ‏Shopifyמערכת Shopify היא אחת הפלטפורמות הפופולריות ביותר לבניית חנויות אונליין, והיא מיועדת לעסקים קטנים וגדולים שמעוניינים למכור מוצרים ברשת בקלות וביעילות., ‏קונימבו, Webflow, מערכות חנויות ישראליות, מערכות SaaSHubSpot היא פלטפורמה חכמה לניהול כולל של שיווק, מכירות, שירות לקוחות ואתרי אינטרנט בתוך מערכת אחת מרכזית. או תשתיות מנוהלות אחרות, אינם מחייבים בדרך כלל את בעל האתר לנהל בעצמו את הגדרות Cloudflare.

קרוב לוודאי שספקי המערכות כבר מטפלים בנושא ברמת התשתית. ייתכן שהם עדכנו את מדיניות הבוטים, החריגו את Googlebot ובדקו את כללי האבטחה, בלי שבעל האתר נדרש לבצע פעולה או אפילו קיבל על כך הודעה.

למרות זאת, מומלץ לפנות לתמיכה ולבקש לוודא את הנקודות הבאות:

• Googlebot מזוהה כבוט מאומת ומורשה לסרוק את האתר.
• Googlebot-Image מורשה לגשת לתמונות.
• כללי חסימת AI אינם חוסמים את קטגוריית Search.
• כללי WAF אינם מחזירים ל־Google תגובות 403.
• הגבלת קצב אינה מחזירה ל־Google תגובות 429.
• קובץ robots.txt אינו חוסם עמודים חיוניים.
• אין חסימה של קובצי CSS, ‏JavaScript ותמונות הנדרשים להצגת האתר.
• באתרי מסחר, Storebot-Google וסורקים הקשורים ל Google Shopping אינם נחסמים.

איך אפשר לבדוק אם Googlebot מצליח לסרוק את האתר?

גם ללא גישה ל־Cloudflare או לשרת, ניתן לבצע מספר בדיקות דרך Google Search Console.

בדיקת כתובת פעילה

יש להיכנס לכלי לבדיקת כתובות ב־Search Console, להזין כתובת של עמוד חשוב ולבחור באפשרות לבדיקת הכתובת הפעילה.

מומלץ לבדוק:

• האם Google יכולה לגשת לעמוד.
• האם הסריקה מותרת.
• האם התקבלה תגובת שרת תקינה.
• האם העמוד מותר לאינדוקס.
• האם התוכן המעובד מוצג כראוי.
• האם משאבי העמוד נטענו.

חשוב לדעת שכלי בדיקת הכתובות משתמש גם ב־Google-InspectionTool. סורק זה משמש לבדיקות ב־Search Console ואינו משפיע ישירות על הדירוג או על האינדקס הרגיל.

בדיקת סטטיסטיקות הסריקה

בדוח סטטיסטיקות הסריקה כדאי לחפש שינויים חריגים, כמו:

• ירידה פתאומית בכמות הבקשות.
• עלייה בתגובות 403.
• עלייה בתגובות 429.
• עלייה בשגיאות 5xx.
• ירידה בסריקת תמונות.
• שינוי חד בזמן התגובה של השרת.

ירידה בסריקה אינה מוכיחה בהכרח שקיימת חסימה, אך היא יכולה להצביע על בעיית תשתית שדורשת בדיקה.

בדיקת robots.txt

קובץ robots.txt נמצא בדרך כלל בכתובת:

https://www.example.co.il/robots.txt

יש לוודא שאין בו כלל שחוסם את כל האתר:

User-agent: *
Disallow: /

או כלל שחוסם את Googlebot:

User-agent: Googlebot
Disallow: /

Google מציינת שקובץ robots.txt משמש לניהול תנועת סורקים, אך הוא אינו כלי אבטחה ואינו מיועד להגנה על מידע פרטי.

קובץ robots.txt תקין אינו מוכיח שאין חסימה ב־Cloudflare או בשרת. ייתכן שהקובץ מאפשר סריקה, אך מערכת האבטחה עדיין מחזירה שגיאה לבוט.

בדיקת לוגים ואירועי אבטחה

מי שמנהל את השרת או את חשבון Cloudflare יכול לבדוק את אירועי האבטחה ולראות אילו בקשות נחסמו.

מומלץ לבדוק:

• איזה כלל הופעל.
• מתי התחילה החסימה.
• כמה בקשות נחסמו.
• מאיפה הגיעו הבקשות.
• מהי תגובת השרת.
• האם הבקשות זוהו כ־Verified Bots.

Cloudflare מאפשרת לנהל ולנטר בוטים של AI דרך AI Crawl Control. חסימת בוטים דרך המערכת מיושמת באמצעות כלל WAF, ולכן חשוב לבדוק שאין התנגשות עם כללי אבטחה אחרים.

האם צריך לחסום את כל בוטי ה־AI?

לא בהכרח.

החלטה אם לחסום בוטים צריכה להתבסס על מטרות האתר, על אסטרטגיית התוכן ועל סוג התנועה שהאתר מעוניין לקבל.

חסימת כל בוטי ה־AI עשויה לצמצם שימוש בתוכן לצורך אימון מודלים, אך היא עשויה גם למנוע ממערכות AI להפנות משתמשים לאתר או להשתמש בו כמקור.

מצד שני, מתן גישה לכל בוט עלול ליצור עומס, לאפשר איסוף תוכן נרחב ולפתוח את האתר לסורקים שאינם מייצרים ערך עסקי.

לכן עדיף להגדיר מדיניות מדויקת:

• לאפשר סורקי חיפוש חשובים.
• להחריג בוטים מאומתים.
• לבדוק בנפרד בוטים לצורכי אימון.
• לבדוק בנפרד סוכני AI.
• לחסום בוטים שאינם מזדהים או אינם מצייתים להנחיות.
• לנטר עומס והתנהגות בפועל.
• לבצע בדיקות תקופתיות לאחר שינויי תשתית.

מה הקשר בין הנושא לבין SEO ו־AI Overview?

הבסיס להופעה בגוגל נשאר זהה: האתר צריך להיות נגיש, ניתן לסריקה, ניתן לאינדוקס ובעל תוכן איכותי.

גוגל אינה מציעה סימון Schema מיוחד שמבטיח הופעה ב־AI Overviews. גם אין צורך ליצור עמודים במיוחד עבור מנועי AI.

כדי לשפר את התאמת התוכן למנועי חיפוש ולמנועי תשובות, מומלץ:

• לתת תשובה ברורה כבר בתחילת העמוד.
• להשתמש בכותרות שמתאימות לשאלות אמיתיות.
• להציג מידע עובדתי ומדויק.
• לציין מקורות כאשר הדבר מתאים.
• להוסיף שם מחבר או גוף מקצועי.
• לעדכן תוכן מיושן.
• ליצור מבנה פנימי ברור.
• להשתמש בנתונים מובנים מתאימים.
• לשלב שאלות ותשובות מועילות.
• להימנע מטענות מוגזמות או לא מבוססות.

הגדרה טכנית תקינה אינה מבטיחה שהאתר יוצג ב־AI Overview, אבל חסימה טכנית בהחלט יכולה למנוע ממנו להיות מועמד להופעה.

שאלות ותשובות

האם Cloudflare חוסמת את Googlebot כברירת מחדל?

לא. לפי התיעוד של CloudflareCloudflare היא מערכת שעוזרת לאתרים להיות מהירים, מאובטחים וזמינים יותר., בוטים המסווגים כ־Search אמורים להישאר מורשים. חסימה עלולה להתרחש עקב כלל מותאם אישית, הגדרה רחבה מדי או טעות בסיווג.

האם חסימת בוטים של AI תפגע בקידום האתר?

לא בהכרח. ניתן לחסום בוטים לצורכי Training או Agent בלי לחסום את Googlebot. יש לוודא שההגדרה מבדילה בין סוגי הפעילות.

האם חסימת Google-Extended תעלים את האתר מגוגל?

לא. Google מציינת ש־Google-Extended אינו משפיע על הכללת האתר ב־Google Search ואינו גורם דירוג.

האם חסימת Googlebot יכולה לפגוע ב־AI Overviews?

כן. כדי להופיע בתכונות AI של Google Search, עמוד צריך להיות נגיש לסריקה ומאונדקס. חסימת Googlebot עלולה למנוע את הסריקה והאינדוקס.

איך יודעים שהבוט שפונה לאתר הוא באמת Googlebot?

אין להסתמך רק על שם ה־User-Agent. יש לאמת את כתובת ה־IP מול הטווחים הרשמיים של Google או לבצע בדיקת DNS הפוכה.

מה עושים כאשר האתר נמצא במערכת סגורה?

פונים לספק המערכת ומבקשים אישור שהגדרות השרת, ה־CDN, ה־WAF וניהול הבוטים אינן חוסמות את Googlebot ואת שאר הסורקים הנחוצים.

האם צריך להחליף מערכת בגלל הנושא?

לא. אין סיבה להחליף מערכת רק בגלל עדכון במדיניות הבוטים של Cloudflare. ברוב המקרים ספקי המערכות מטפלים בעדכונים ברמת התשתית. מומלץ פשוט לבצע בדיקה ולקבל אישור.

סיכום

השינוי במדיניות הבוטים של Cloudflare אינו אמור לחסום אוטומטית את Googlebot או לפגוע בקידום האתר. Cloudflare מאפשרת להפריד בין סריקה לצורכי חיפוש, שימוש לצורכי אימון ופעילות של סוכני AI.

הסיכון המרכזי הוא כלל אבטחה שגוי או רחב מדי, שחוסם בטעות גם סורקים מאומתים של מנועי חיפוש.

בעלי אתרים שפועלים על מערכות פתוחות יכולים לבדוק את ההגדרות ישירות ב־Cloudflare, בשרת וב־Search Console. בעלי אתרים שפועלים במערכות סגורות או מנוהלות צריכים לפנות לספק הפלטפורמה ולבקש אישור שהנושא טופל.

סביר מאוד שספקי המערכות כבר ביצעו את ההתאמות מאחורי הקלעים ואינם דורשים פעולה מצד הלקוחות. למרות זאת, בדיקה קצרה יכולה לספק שקט ולוודא שהאתר ממשיך להיות נגיש ל־Googlebot, להיסרק בצורה תקינה ולהישאר מועמד להופעה בתוצאות החיפוש ובתכונות AI של Google.