מאת ישראל בוכוולד · עודכן לאחרונה: 2026-10-30
איך בודקים ב־10 דקות שקובץ robots.txt לא חוסם את ChatGPT מהאתר שלכם
פותחים את הכתובת שלכם עם /robots.txt בסוף, מחפשים שורות User-agent של בוטים כמו GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ו-Google-Extended, ובודקים אם מתחת להם מופיע Disallow: /. אחר כך בודקים גם את הגדרות ה-CDN או חומת האש, כי חסימה יכולה לקרות גם שם. לפי מדריך GEO לשוק הישראלי, Wemanage 2026, 22% מהאתרים שנבדקו חוסמים מנועי AI ב-robots.txt, לרוב בלי לדעת.
יש תרחיש שאנחנו פוגשים לא פעם כשאנחנו מקבלים אתר חדש לניהול. בעל העסק מספר שהוא "לא קיים ב-ChatGPT". הוא כתב מאמרים, הוסיף שאלות נפוצות, אולי אפילו שילם למישהו על "התאמה ל-AI". פותחים יחד את קובץ ה-robots.txt של האתר, ובאחת השורות הראשונות מופיע User-agent: GPTBot ומתחתיה Disallow: /. מישהו הוסיף את זה לפני שנה, כנראה בעקבות כתבה על "AI שגונב תוכן", ושכח.
זה לא מקרה נדיר. לפי מדריך GEO לשוק הישראלי, Wemanage 2026, 22% מהאתרים שנבדקו חוסמים מנועי AI ב-robots.txt, לרוב בלי לדעת. ומבין האתרים שלא עברו את כל בדיקות התשתית, 41% נכשלו בדיוק בזה.
הבשורה הטובה היא שהבדיקה לוקחת עשר דקות, ולא צריך להיות מתכנתים. הנה הסדר שאני עובד בו.
דקה 1–2: לפתוח את הקובץ
כתבו בדפדפן את כתובת האתר שלכם ואחריה /robots.txt. למשל https://example.co.il/robots.txt.
יש שלוש תוצאות אפשריות:
- נפתח קובץ טקסט קצר. מצוין, ממשיכים.
- מופיעה שגיאה 404. אין קובץ. זה לא אסון, כי בלי קובץ הבוטים מניחים שמותר להם. אבל כדאי שיהיה קובץ מסודר עם הפניה למפת האתר.
- מופיעה שגיאת שרת או דף חסימה. זה כבר סימן שמשהו בשרת או ב-CDN חוסם, ונגיע לזה בהמשך.
דקה 3–5: לחפש את השמות הנכונים
לחצו Ctrl+F (או Cmd+F במק) וחפשו את השמות האלה, אחד אחד:
| מה מחפשים | של מי זה |
|---|---|
| GPTBot | OpenAI, איסוף תוכן |
| OAI-SearchBot | OpenAI, החיפוש בתוך ChatGPT |
| ClaudeBot | Anthropic |
| PerplexityBot | Perplexity |
| Google-Extended | גוגל, שימוש בתוכן ל-Gemini |
אם השם לא מופיע בכלל, בדרך כלל הוא נופל תחת הכלל הכללי, זה שמתחיל ב-User-agent: *.
אם השם מופיע, הסתכלו על השורה שמתחתיו:
Disallow: /אומר "אסור לך לסרוק שום דבר". זו חסימה מלאה.Disallow:ריק, אוAllow: /, אומר שמותר.Disallow: /wp-admin/או נתיבים דומים זה בסדר גמור. חוסמים רק את אזור הניהול.
דקה 6: הבדיקה שכולם שוכחים
עכשיו חפשו את User-agent: *. אם מתחתיו כתוב Disallow: /, יש לכם בעיה גדולה יותר מ-AI. כל הבוטים חסומים, כולל גוגל. ראיתי את זה יותר מפעם אחת באתרים שעלו לאוויר מסביבת פיתוח, ואף אחד לא החליף את ההגדרה. בוורדפרס זה קורה כשנשארת מסומנת האפשרות "בקש ממנועי חיפוש לא לאנדקס את האתר" בהגדרות הקריאה.
דקה 7–8: מה robots.txt לא מראה לכם
כאן רוב הבדיקות נעצרות, וחבל. קובץ robots.txt פתוח הוא רק בקשה מנומסת. אם השרת עצמו מחזיר לבוט שגיאה, הוא לא יגיע לתוכן גם כשהקובץ מזמין אותו.
שלושה מקומות שכדאי לבדוק, או לבקש ממנהל האתר לבדוק:
- הגדרות ה-CDN. ב-Cloudflare, למשל, יש הגדרה ייעודית לחסימת בוטים של AI. אם מישהו הפעיל אותה, הבוטים נחסמים לפני שהם מגיעים לאתר.
- תוסף האבטחה בוורדפרס. חלק מהתוספים חוסמים "בוטים לא מוכרים" כברירת מחדל.
- חומת האש של חברת האחסון. חלק מהחברות חוסמות תנועה מחו"ל או מחוות שרתים, ורוב בוטי ה-AI מגיעים בדיוק משם.
אם אתם לא בטוחים, שאלה אחת למנהל האתר מספיקה: "האם יש חסימה כלשהי של GPTBot, ClaudeBot או PerplexityBot ברמת השרת או ה-CDN?". מנהל אתר טוב עונה על זה תוך יום.
דקה 9: להחליט מה אתם רוצים
לא כל עסק חייב לפתוח את הכול. יש אתרים עם תוכן בתשלום או מחקר פנימי שמעדיפים לחסום איסוף. זו החלטה עסקית לגיטימית. אבל היא צריכה להיות החלטה, לא שורה שמישהו הדביק לפני שנה.
לרוב העסקים שאני עובד איתם, חנויות, יבואנים ונותני שירות, התשובה פשוטה: אתם רוצים שהמנועים יכירו אתכם. אדם ששואל את ChatGPT "מי מוכר X בישראל" צריך לקבל תשובה שאתם בתוכה.
ככה נראה קובץ פתוח ופשוט לאתר וורדפרס:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.co.il/sitemap.xml
אין צורך לפרט כל בוט בנפרד אם לא חוסמים אף אחד.
דקה 10: לתעד ולקבוע תזכורת
רשמו לעצמכם מה מצאתם ומה שיניתם, ותאריך. ואז קבעו תזכורת לבדוק שוב בעוד חודש. המדריך ממליץ להריץ מחדש את בדיקות התשתית פעם בחודש, וזה הגיוני: תוספים מתעדכנים, מישהו משנה הגדרה ב-CDN, ופתאום החסימה חוזרת.
ומה אחרי שהקובץ פתוח?
כדאי להיות כנים: robots.txt פתוח לא יגרום ל-ChatGPT להמליץ עליכם מחר. המדריך עצמו כותב שמעבר בדיקות התשתית לא מבטיח ציטוט. זה תנאי סף, הדלת. מה שקורה אחריה תלוי בשאר הבדיקות ובתוכן.
לפי אותו מדריך, רק 45% מהאתרים עוברים את כל חמש בדיקות התשתית. אחרי robots.txt, הפער הנפוץ ביותר הוא קובץ llms.txt, שחסר ב-68% מהאתרים שלא עברו הכול. אחריהם באים Schema חסר (23%) ותוכן דליל (14%). אז אם סיימתם את עשר הדקות האלה, הצעד הבא הוא לכתוב llms.txt לחנות, ואחר כך לוודא שהאתר מסביר בבירור מי אתם ומה אתם עושים.
בשורה התחתונה
במקרים כאלה, מחיקת השורה לוקחת דקה. לא קורה שום קסם למחרת, אבל לפחות מעכשיו כל העבודה שנעשית על תוכן יכולה להגיע למנועים. לפני שמשקיעים בעוד מאמרים ועוד "התאמה ל-AI", שווה לוודא שהדלת בכלל פתוחה.
רוצים שנבדוק בשבילכם?
ב-Wemanage אנחנו מנהלים אתרים בריטיינר חודשי, וחלק מהשגרה הוא בדיקת תשתית GEO: robots.txt, llms.txt, Schema וחסימות בשרת. חייגו 073-3745552 או קראו על שירות התאמת אתר ל-AI.
מקור: מדריך GEO לשוק הישראלי, Wemanage 2026. לכל המחקרים: מחקרים ונתונים.
שאלות נפוצות
כמה אתרים בישראל חוסמים בטעות את מנועי ה-AI?
לפי מדריך GEO לשוק הישראלי, Wemanage 2026, 22% מהאתרים שנבדקו חוסמים מנועי AI ב-robots.txt, לרוב בלי לדעת. בבדיקת התשתית (n=40) רק 78% עברו את הבדיקה שמנועי ה-AI מורשים לסרוק.
איך יודעים אם ChatGPT חסום באתר שלי?
פותחים את הכתובת yourdomain.co.il/robots.txt ומחפשים User-agent: GPTBot או OAI-SearchBot. אם מתחתיהם כתוב Disallow: / הבוט חסום. אם יש User-agent: * עם Disallow: / כל הבוטים חסומים, כולל גוגל.
האם פתיחת robots.txt מבטיחה ש-ChatGPT ימליץ עליי?
לא. המדריך מציין במפורש שמעבר בדיקות התשתית לא מבטיח ציטוט. זה תנאי סף: בלי גישה אין סיכוי, ועם גישה מתחילים לעבוד על תוכן וזהות ברורה.
מי עוד יכול לחסום את הבוטים חוץ מ-robots.txt?
תוספי אבטחה בוורדפרס, הגדרות CDN כמו Cloudflare וחומת האש של חברת האחסון. robots.txt פתוח לא עוזר אם השרת מחזיר לבוט שגיאה.