כתבה

robots.txt: שורה אחת תחסום אימון AI אצל Google, Microsoft ו-⁠OpenAI

  • מערכת Kringl
  • עודכן ב-
  • 2 דקות קריאה
איור: חלון עם קובץ robots.txt, מחסום חבל שעוצר שבב AI עם חותמת "לא לאימון", כדור של חיפוש עם וי ירוק ולוח שנה של 2027
בעמוד הזה

מה קרה

ב-⁠30 באוקטובר 2026 הודיעו שלוש חברות, באותו יום, שיכבדו סימון משותף אחד שאומר "אל תאמנו מודלים על התוכן שלי". Google בבלוג של Search Central, Microsoft בבלוג של Bing ו-OpenAI בהודעה שלה. עד היום כל חברה ביקשה שורה משלה ב-⁠robots.txt, הקובץ שבו אתר אומר לרובוטים מה מותר להם. עכשיו מספיקות שתי שורות:

User-Agent: __usage_ai-training

Disallow: /

הסימון מבוסס על טיוטה שהוגשה ל-⁠IETF, הגוף שקובע תקנים לאינטרנט, על ידי Kevin Kelley מ-⁠Anthropic. זו טיוטה של אדם אחד, וב-⁠IETF כתוב במפורש שהיא עוד לא תקן ולא קיבלה את אישור הארגון.

מה זה אומר למי שבונה

  • החיפוש לא נפגע. Microsoft כותבת שההעדפות האלה לא משנות את הזכאות להופיע בתוצאות של Bing. Google כותבת ש-⁠Google-Extended, השליטה שהסימון החדש מתורגם אליה, לא משפיעה על ההופעה בחיפוש ולא משמשת לדירוג.
  • אבל ב-⁠Google יש מחיר אחד. לפי Google, אתר שחוסם אימון בשורה המשותפת ולא כתב שום דבר על Google-Extended ייחשב כאילו חסם את Google-Extended. רק אתרים שמתירים את Google-Extended במפורש יכולים להופיע בתשובות של Gemini Apps ולקבל משם קליקים.
  • זה לא עוצר סריקה. בטיוטה כתוב שהשורה היא העדפה לגבי שימוש, לא הוראה לרובוט לא להיכנס. וגם השורה User-Agent: * לא נחשבת לחסימה של אימון.
  • זה לא מיידי. Microsoft מתחילה ב-⁠1 בפברואר 2027. Google כותבת שתתמוך בתחילת 2027. OpenAI כותבת שתיישם את זה בחודשים הקרובים.

מה לעשות עכשיו

  • תחליטו קודם אם אתם בכלל רוצים לחסום. אתר של עסק שרוצה שימצאו אותו בתשובות של Gemini צריך לחשוב על זה פעמיים, כי ב-⁠Google החסימה מוציאה גם משם.
  • אם אתם חוסמים ורוצים להישאר ב-⁠Gemini, הוסיפו גם קבוצה של User-Agent: Google-Extended עם Allow: /.
  • אם יש באתר תגיות NoArchive או NoCache, Microsoft מבקשת לעבור להעדפות החדשות עד 1 במרץ 2027. אחרי התאריך הזה היא לא תקרא אותן כהעדפה לאימון.
  • אם האתר נבנה בכלי, בדקו שם אם אפשר לערוך את robots.txt לפני שאתם מתכננים את השינוי.

מה עוד לא ידוע

הטיוטה תקפה עד 3 במאי 2027, והנוסח עוד יכול להשתנות. Google ו-⁠OpenAI לא נתנו תאריך מדויק. Microsoft כותבת שההעדפה חלה על אימון עתידי, כלומר היא לא מוחקת תוכן שכבר שימש לאימון. היא גם כותבת במפורש שההעדפות לא יוצרות רישיון או תשלום, ולא מבטיחות תנועה למי שמתיר.

שאלות נפוצות

איך חוסמים אימון AI באתר דרך robots.txt?

מוסיפים לקובץ robots.txt את השורות User-Agent: __usage_ai-training ו-⁠Disallow: /. לפי ההודעות של 30.10.2026, Microsoft תכבד אותן מ-⁠1 בפברואר 2027, Google בתחילת 2027 ו-⁠OpenAI בחודשים הקרובים.

חסימת אימון AI תפגע בדירוג בגוגל?

לא. Google כותבת ש-⁠Google-Extended לא משפיעה על ההופעה בחיפוש ולא משמשת לדירוג, ו-⁠Microsoft כותבת שההעדפות לא משנות את ההופעה ב-⁠Bing. אבל ב-⁠Google החסימה מוציאה את האתר גם מהתשובות של Gemini Apps, אלא אם מתירים את Google-Extended במפורש.

השורה הזו עוצרת את הרובוטים מלסרוק את האתר?

לא. לפי הטיוטה ב-⁠IETF זו העדפה לגבי שימוש בתוכן לאימון, לא הוראת סריקה. מי שרוצה לחסום סריקה עושה את זה בנפרד, לכל רובוט בשמו.

ניסיון

יש קוד. חסר מי שימשיך.

הצוות של Kringl נכנס לקוד שכבר יש לכם, ומביא אותו עד השרת ועד חנויות האפליקציות. 14 ימי ניסיון.

199 ₪ למושב לחודש, לפני מע"מ, נכון ל-⁠25.10.2026.

לפתוח סטודיו
נכתב בידי מערכת Kringl

כל מה שמתפרסם כאן נבדק מול המקור הרשמי של היצרן, עם תאריך, והמקורות מופיעים בסוף העמוד.

המקורות: ההודעה של Google בבלוג Google Search Central (30.10.2026) ודף הרובוטים של Google, ההודעה של Microsoft בבלוג של Bing (30.10.2026), ההודעה של OpenAI (30.10.2026), והטיוטה draft-kelley-aipref-training-preference-signal-00 ב-⁠IETF (30.10.2026). המידע נאסף ונבדק ב-⁠02.11.2026. Google, Gemini, Microsoft, Bing, OpenAI ו-⁠Anthropic הם סימני מסחר של בעליהם. Kringl ו-⁠Wizzo לא קשורות אליהם, ולא קיבלו מהם חסות או אישור.

כתבות נוספות