מאת ישראל בוכוולד · עודכן לאחרונה: 2026-09-21

למה 22% מהאתרים חוסמים GPTBot בלי לדעת (ומוחקים את עצמם מ־AI)

בעל חנות שואל אותי: "למה ChatGPT לא ממליץ עלינו?"

התשובה הראשונה שאני בודק היא לא התוכן ולא המותג. אני פותח את robots.txt.

יותר מדי פעמים מוצאים שם שורה אחת שמוחקת את העסק מכל תשובות ה־AI.

המספר שרוב בעלי האתרים לא מצפים לו

לפי מדריך GEO לשוק הישראלי, Wemanage 2026, במדגם של 40 אתרים:

22% מהאתרים חוסמים מנועי AI ב־robots.txt — לרוב בלי לדעת.

ועוד נתון שמסגר את התמונה: רק 45% עברו את כל 5 בדיקות תשתית ה־GEO (HTTPS, תוכן ממשי ב־HTML, Schema, מנועי AI מורשים, ו־llms.txt).

בלי סריקה — אין אזכור. בלי אזכור — אתם לא קיימים בתשובה. ב־GEO אין "מקום 4".

איך חוסמים בלי להרגיש

הסיפור חוזר:

• תוסף אבטחה / WAF / Cloudflare מוסיף כללי ברירת־מחדל אגרסיביים
• מישהו העתיק robots.txt "מומלץ" מפורום ישן
• סוכן AI נחסם יחד עם סקרייפרים זדוניים, בלי הבחנה

הכוונה הייתה "להגן על האתר". התוצאה: GPTBot, ClaudeBot או PerplexityBot מקבלים Disallow — והמנוע פשוט לא נכנס.

במדריך: מבין האתרים שלא עברו את כל הבדיקות, 41% נכשלו בחסימת מנועי AI. זה לא באג נדיר. זה דפוס.

5 הבדיקות — ולמה חסימה היא קריטית

הציון הוא בינארי: עברת או לא. במדגם:

רק 45% עוברים את כולן. הפער הכי נפוץ אצל הלא־מושלמים: llms.txt חסר — 68%. אבל חסימת בוטים היא הקטלנית ביותר: גם אם יש Schema ו־llms.txt מושלמים — אם הבוט חסום, שום דבר מזה לא נסרק.

הוזכר זה לא הומלץ — אבל קודם צריך להיסרק

אותו מדריך מודד גם נראות בפועל (317 אזכורים ב־ChatGPT ו־Gemini):

• שיעור אזכור 13%
• 74% מהאזכורים הם גם המלצה
• מיקום ממוצע 2.0 כשמוזכרים

כלומר: כשכבר נכנסים לתשובה — לרוב גם ממליצים. הבעיה הגדולה היא לא "איכות ההמלצה". הבעיה היא להיכנס בכלל. וחסימה ב־robots.txt סוגרת את הדלת לפני שהשיחה מתחילה.

מה לבדוק היום (בלי פרויקט של חודש)

1. פתחו https://הדומיין-שלכם/robots.txt
2. חפשו GPTBot, ClaudeBot, Google-Extended, PerplexityBot, OAI-SearchBot
3. אם מופיע Disallow: / מול אחד מהם — זה לא "הגנה". זה מחיקה מנראות AI
4. בדקו גם אם Cloudflare / תוסף אבטחה מחזיר 403 לבוטים האלה גם כש־robots מאפשר

(ב־sitemanager עצמו למדנו את השיעור הזה בשטח: חסימות ברמת CDN נראות כמו "האתר חי" לדפדפן רגיל, ובמקביל סוכני AI מקבלים דלת סגורה.)

llms.txt לא מחליף הרשאה לסריקה

יש מי שרץ להתקין llms.txt כי זה טרנדי — ומשאיר חסימת בוטים. זה כמו לשים שלט "ברוכים הבאים" על דלת נעולה.

סדר נכון לפי המדריך:

1. לאפשר סריקה (robots + CDN)
2. לוודא תוכן ב־HTML ו־Schema
3. להוסיף llms.txt שמפנה לעמודים החשובים
4. רק אז למדוד אזכור והמלצה לפי פרסונות

GEO בלי תשתית זה תוכן יפה שאף מנוע לא רואה.

מה לא לעשות

• לא לחסום "את כל הבוטים" בגלל פחד מסקרייפינג בלי רשימת allow ספציפית
• לא להעתיק robots.txt מאתר אחר בלי לקרוא שורה־שורה
• לא להסתמך על בדיקה חד־פעמית — תשובות AI משתנות; המדריך ממליץ נראות שבועית ותשתית חודשית

דוגמה: האתר "עובד" והבוט מקבל 403

יש הבדל חשוב בין מה שאתם רואים בדפדפן לבין מה שסוכן AI רואה:

• אתם גולשים מ־IP ישראלי, עם קוקיז, בלי חתימת בוט — מקבלים 200
• GPTBot מגיע מ־IP של דאטה־סנטר, עם User-Agent ברור — מקבל 403 מ־Cloudflare / WAF

בדיקת "האתר נפתח לי" לא מוכיחה כלום לגבי סריקת AI. צריך לבדוק במפורש את מדיניות הבוטים, ואם אפשר — לבקש לוג או בדיקת User-Agent של הסוכנים הרלוונטיים.

זהות ארגון לא עוזרת אם אין סריקה

המדריך מדגיש גם סיווג־שגוי: מנוע שמבין אתכם לא נכון (למשל מנהל־אתרים שמתואר כבונה־אתרים). Schema וניסוח תוכן פותרים את זה — אחרי שיש סריקה.

סדר עבודה שגוי נפוץ:

1. לכתוב עמודי FAQ ארוכים ל־GEO
2. להשקיע בפרסונות ושאילתות
3. לגלות אחרי חודש ש־Disallow על GPTBot היה שם כל הזמן

תקנו קודם את הדלת. אחר כך את השלט.

פרסונות: למה בדיקה אחת לא מספיקה

גם אחרי שהבוטים מורשים, אותה שאלה מזוויות שונות מקבלת תשובות שונות. המדריך מודד פרסונות (בעל חנות קטנה מול מנהל שיווק וכו'). עסק יכול להיות מומלץ לפרסונה אחת ובלתי־נראה לאחרת.

אבל כל המדידה הזו מניחה שהמנוע בכלל רשאי לקרוא את האתר. אם 22% חוסמים — הם מודדים אפס מסיבה טכנית, לא מסיבה שיווקית, ומסיקים מסקנות שגויות על "התוכן שלנו לא מספיק טוב".

רשימת בדיקה קצרה לצוות

• [ ] robots.txt לא חוסם GPTBot / ClaudeBot / OAI-SearchBot / PerplexityBot
• [ ] CDN לא מחזיר 403 ל־User-Agent של הבוטים האלה בעמוד הבית ובמדריכים
• [ ] יש תוכן ממשי ב־HTML (לא רק אחרי JS)
• [ ] יש Organization / Article Schema רלוונטי
• [ ] יש llms.txt שמפנה לעמודי הכסף ולמחקרים
• [ ] מדידת אזכור שבועית אחרי שהתשתית ירוקה

בלי השורות הראשונות — השאר קוסמטיקה.

הקשר ל־fan-out (בקצרה)

גם אחרי שפתחתם סריקה: מנוע AI מפרק שאלה לתת־שאלות. במדידה שבמדריך, 14 שאילתות התפרקו ל־213 תת־שאילתות (יחס כ־9:1). אתם מתחרים על שאלות שלא כתבתם — אבל התחרות הזו מתחילה רק אם הבוט רשאי לקרוא אתכם. חסימה ב־robots.txt מקצרת את כל המשחק לפני הפירוק.

שורה תחתונה

22% חוסמים מנועי AI. רובם לא התכוונו למחוק את עצמם מתשובות ChatGPT. הם פשוט לא בדקו.

לפני שמשקיעים בתוכן "שיצטטו אותי" — פתחו את robots.txt. אם הבוט חסום, כל השאר הוא תיאוריה.

רוצים שהאתר יהיה ניתן לסריקה ולציטוט? חייגו 073-3745552 או התחילו מ־sitemanager.co.il.