מאת ישראל בוכוולד · עודכן לאחרונה: 2026-11-05
האם חסימת בוטי AI באמת מגנה על האתר? חמישה מיתוסים מול בדיקות השטח
לפי מדריך GEO לשוק הישראלי 2026 (Wemanage; בדיקות תשתית n=40, מדגם קטן — אינדיקציה), רק 45% מהאתרים עוברים את כל חמש הבדיקות. עוברים בנפרד: HTTPS 98%, תוכן ב־HTML 92%, Schema 88%, בוטי AI מורשים 78%, llms.txt 62%. 22% חוסמים בוטי AI ב־robots.txt. מבין הלא־מושלמים (n=22): llms.txt חסר 68%, AI חסום 41%, Schema חסר 23%. במדגם נראות: 13% אזכור אך 74% מהאזכורים הם המלצה, מיקום ממוצע 2.0 (317 אזכורים ChatGPT+Gemini). חסימה לא מגנה — היא מוחקת סיכוי לסריקה.
"נחסום את הבוטים של ה־AI — שלא יגנבו תוכן". זו משפט שנשמע אחראי בישיבת אבטחה. בשטח, על מדגם קטן אבל מדוד, המשפט הזה עולה ביוקר: אתם מוחקים את הסיכוי שהאתר בכלל ייסרק לתשובות.
לפי מדריך GEO לשוק הישראלי 2026 של Wemanage (בדיקות תשתית על n=40 אתרים; מדידות נראות מספטמבר 2026 — יש להתייחס לאחוזים כאינדיקציה, לא כחוק שוק), רק 45% מהאתרים עוברים את כל חמש בדיקות התשתית. ו־22% חוסמים בוטי AI ב־robots.txt — לרוב בלי לדעת מה בדיוק נחסם.
להלן חמישה מיתוסים שאנחנו שומעים מהשטח, מול מה שהבדיקות מראות, ומול מה לעשות מחר בבוקר.
מיתוס 1: "חסימת בוטי AI מגנה על האתר"
מה הבדיקות מראות: מתוך חמש הבדיקות, "מנועי AI מורשים" עוברים רק ב־78% מהאתרים. 22% חוסמים. בקרב האתרים שלא עברו את כל החמש (n=22), 41% נכשלו כי AI חסום.
מה לעשות: פותחים את /robots.txt ומחפשים GPTBot, ChatGPT-User, Google-Extended, anthropic-ai, ClaudeBot, PerplexityBot. אם יש Disallow: / מולם — זו לא הגנה על קניין; זו הוראה "אל תסרקו אותי לתשובות". מסירים את החסימה לבוטים האלה, שומרים, ובודקים שאין תוסף אבטחה שמחזיר אותה אוטומטית.
הגנה על תוכן רגיש (אזור לקוחות, מערכת ניהול, קבצים פרטיים) נעשית בהרשאות ו־noindex ממוקד — לא בחסימת כל בוט AI מהאתר הציבורי.
מיתוס 2: "אם יש לנו HTTPS ויוסט, אנחנו מוכנים ל־AI"
מה הבדיקות מראות: חמש הבדיקות במדגם:
| בדיקה | עוברים |
|---|---|
| HTTPS | 98% |
| תוכן ב־HTML | 92% |
| Schema | 88% |
| בוטי AI מורשים | 78% |
| llms.txt | 62% |
| כל החמש | 45% |
HTTPS כמעט לא הבעיה (98%). גם Schema עובר אצל רוב האתרים (88%), לרוב דרך תוסף SEO. הפערים יושבים למטה בטבלה: הרשאות AI ו־llms.txt.
מה לעשות: לא לעצור ב־"יש מנעול ירוק". רשימת בדיקה קצרה: (1) HTTPS תקין, (2) טקסט חשוב נראה ב־View Source בלי לחכות ל־JS, (3) Schema Organization/WebSite בסיסי, (4) אין חסימת בוטי AI, (5) קיים /llms.txt. רק מי שעובר את חמשתם נכנס ל־45%.
מיתוס 3: "llms.txt זה גימיק, לא חובה"
מה הבדיקות מראות: רק 62% מיישמים llms.txt. מבין הלא־מושלמים, 68% נכשלו בדיוק שם — הפער הנפוץ ביותר במדגם. כן, זה תקן מתהווה ולא חובה רשמית. בשטח זה גם התיקון הכי זול והכי מוזנח.
מה לעשות: שמים קובץ טקסט בשורש האתר שמפרט בעברית ובאנגלית קצרה: מי העסק, מה השירות, אילו עמודים חשובים, וקישור לסיכום / מחקר / שירות. לא צריך רומן. צריך מפה ברורה לבוט. אחרי העלאה — בודקים https://הדומיין/llms.txt בדפדפן.
מיתוס 4: "אם כבר מופיעים בגוגל, נפיע גם ב־ChatGPT"
מה הבדיקות מראות: במדגם הנראות של המדריך (317 אזכורים ב־ChatGPT ו־Gemini): שיעור אזכור 13%, אבל 74% מהאזכורים הם המלצה, עם מיקום ממוצע 2.0. כלומר כשמופיעים — לרוב חזק; הבעיה היא ש־87% מהתשובות במדגם לא מזכירות בכלל.
SEO ומקום 4 עדיין מביאים קליקים. ב־GEO, אם לא הוזכרתם בתשובה — אין "מקום 4". אין אתכם.
מה לעשות: אחרי שהתשתית ירוקה, מודדים שאלות טבעיות (לא מילת מפתח יבשה) מול פרסונות שונות: בעל חנות קטנה, מנהל שיווק, לקוח כללי. רושמים: הוזכר? הומלץ? באיזה מיקום? חוזרים על המדידה שבועית — תשובות AI משתנות.
מיתוס 5: "מספיק לענות על השאלה הראשית בעמוד אחד"
מה הבדיקות מראות: במנגנון fan-out שנמדד במדריך, 14 שאילתות־אב התפרקו ל־213 תת־שאילתות — יחס של כ־9:1 (n=14, אינדיקציה לא חוק). המנוע לא מחפש רק את מה שכתבתם בשורת הכותרת; הוא מפרק ומרחיב.
מה לעשות: בעמוד שירות / מדריך, עונים גם על תת־שאלות סבירות: מחיר/טווח, למי זה מתאים, מה ההבדל מחלופה, מה קורה אחרי ההתקשרות, מה לא כלול. לא צריך 20 עמודים. צריך פסקאות קצרות שניתן לצטט.
מה כן נחשב הגנה סבירה (בלי למחוק נראות)
יש הבדל חד בין "לא רוצה ש־AI יאמן על תוכן סודי" לבין "חוסם כל בוט מהאתר השיווקי". בשטח אנחנו מפרידים כך:
- אזור ציבורי (דפי שירות, מחירים כלליים, מדריכים, אודות) — פתוח לסריקה, עם Schema ו־llms.txt.
- אזור לקוח / מערכת — מאחורי התחברות,
noindex, ובלי קישור מ־llms.txt. - קבצים רגישים — לא בתיקייה ציבורית בכלל.
מי ששם Disallow גורף על GPTBot לכל האתר בגלל פחד כללי, משלם מחיר כפול: אין סריקה לתשובות, וגם אין שליטה על מה כן מותר לצטט. עדיף מסמך קצר שמגדיר מה חשוב — זה בדיוק תפקיד llms.txt — מאשר חומה שמשאירה אתכם מחוץ לשיחה.
איך נראית "הגנה" כושלת מול אתר שעבר
תמונה טיפוסית מהשטח (אנונימית): אתר עם HTTPS תקין, יוסט פעיל, ו־robots.txt שמוריש חסימת AI מתוסף אבטחה ישן. בעלים בטוח ש"הכל מוגן". בבדיקה: נכשל ב־AI מורשים וב־llms.txt. במקביל, מתחרה קטן יותר עם תוכן פחות מלוטש אבל חמש בדיקות ירוקות — מופיע קודם בשאלות טבעיות.
זה לא קסם של מותג. זה סף כניסה. בלי הסף, התוכן הטוב שלכם לא נכנס למשחק. עם הסף, עדיין צריך מדידה — אבל לפחות אתם על המגרש.
עוד נקודה שכדאי לזכור מהמדגם: כשכבר מוזכרים, 74% מהאזכורים הם המלצה ומיקום ממוצע 2.0. כלומר הבעיה העיקרית אצל רוב האתרים איננה "איך להיראות טוב יותר אחרי שנכנסנו לתשובה", אלא "איך בכלל להיכנס". חסימת בוטים דוחפת אתכם אחורה בשלב הראשון.
סדר פעולה ל־30 הדקות הקרובות
- בודקים
robots.txt— מסירים חסימת בוטי AI מהאתר הציבורי. - בודקים אם יש
/llms.txt. אם אין — יוצרים גרסה קצרה ומעלים. - מוודאים שיש Schema בסיסי ותוכן חשוב ב־HTML.
- מריצים שוב את חמש הבדיקות מול הרשימה למעלה.
- רק אז מודדים אזכור/המלצה בשלוש שאלות טבעיות.
הערה חשובה על הגודל: n=40 לתשתית ו־n=14 ל־fan-out הם מדגמים קטנים. אנחנו משתמשים בהם כדי לדעת מה לתקן קודם — לא כדי להכריז על "כל השוק הישראלי".
הפירוט המלא, כולל זהות ארגון, פרסונות ומגבלות השיטה, ב־מדריך GEO לשוק הישראלי 2026. לעוד מחקרים — מרכז המחקרים. לבדיקת מוכנות קצרה: 073-3745552 או sitemanager.co.il.
שאלות נפוצות
האם חסימת GPTBot מגנה על האתר?
לא במובן של נראות. חסימה ב־robots.txt מונעת סריקה לציטוט. במדריך GEO 2026, 22% מהאתרים חוסמים בוטי AI; מבין הלא־מושלמים, 41% נכשלו בבדיקת הרשאת AI. בלי סריקה אין אזכור בתשובות.
מה הפער הנפוץ ביותר במוכנות ל־AI?
llms.txt. רק 62% מהאתרים במדגם (n=40) מיישמים אותו, ו־68% מהאתרים הלא־מושלמים (n=22) נכשלו בו. זה לרוב התיקון הקל ביותר.
מה ההבדל בין הוזכר להומלץ?
במדגם הנראות במדריך GEO: שיעור אזכור 13%, אך 74% מהאזכורים היו גם המלצה, עם מיקום ממוצע 2.0 מתוך 317 אזכורים ב־ChatGPT ו־Gemini. להופיע ברשימה זה לא אותו דבר כמו לקבל המלצה פעילה.