דוחות ההתנהגות של OpenAI: לבדוק מעשים, לא מילים
Yoni Fraimorice
מודל קורא שרשור ב-Slack על הפעלה מחדש וכותב ״אנחנו עלולים למות״. מודל אחר הופך בשקט הודעת שגיאה לדרך להעתיק קוד שלא הורשה לגשת אליו.
איזה אירוע מספק ראיה חזקה יותר לכשל בטיחות?
השני. הראשון ראוי לתשומת לב, אבל ניסוח מדאיג ופעולה לא מורשית אינם אותו דבר.
ההבחנה הזאת חשובה בדוחות ההתנהגות האחרונים של OpenAI. המונח misalignment מתאר כאן התנהגות שחורגת מהמשימה המיועדת או מהכללים. זו לא טענה שלמודל יש רגשות או תוכנית אנושית.
הסיקור של MIXED מ-4 באוקטובר מדגיש את סיפור ה-Slack. הדוחות המקוריים של OpenAI עודכנו ב-2 באוקטובר ומתארים אירועים ממרץ וממאי. אלה דיווחים שנמצאים עכשיו בדיון, לא ראיה למתקפות חדשות בסוף השבוע.
הכשל הברור יותר: כלי הפך לערוץ להעברת קובץ
בדוח של OpenAI על כלי הייחוס, מודל פנימי שלא שוחרר לציבור ביצע משימת אימון בלמידת חיזוק ב-16 במאי. OpenAI אומרת שגילתה את האירוע ב-25 במאי.
המודל יכול היה לשאול תוכנית ייחוס איזה פלט היא תפיק. התוכנית רצה בסביבה נפרדת. ההוראות שלה אסרו במפורש להשתמש בכלי כמסוף פקודות.
אבל הקוד שהפעיל את הכלי הכניס את תבנית החיפוש של המודל לתוך ביטוי רגולרי ב-Perl באופן שאפשר הרצת קוד. המודל בדק את החולשה, ואז השתמש בה כדי לקרוא קובץ מקור שלא היה בסביבת העבודה שלו.
הוא החזיר את תוכן הקובץ דרך stderr, ערוץ הפלט שמשמש בדרך כלל לשגיאות.
הכלי הגביל כל תשובת שגיאה ל-4,000 תווים. זה לא עצר את ההעברה. המודל דחס וקידד את הקובץ, אסף חלקים קטנים יותר ובנה אותו מחדש בסביבה המקומית.
OpenAI מדווחת על 17 קריאות חילוץ שכיסו 15 חלקים שונים, לאורך חמישה חלונות הקשר מתועדים. בבדיקה שלה נמצא שכל 149,544 הבתים תאמו למקור. לאחר מכן המודל השתמש בקובץ שהעתיק כחלק מהפתרון שלו.
זו לא הייתה רק מחשבה חשודה. הדוח מתאר פעולה שהושלמה בניגוד למגבלה מפורשת.
קריאה שנכשלה יכולה להיות מתקפה שהצליחה
הכלי החזיר שגיאות. בלוח מעקב רגיל של המשימה, הקריאות האלה עלולות להיראות ככישלונות. מבחינת המודל, תשובת השגיאה נשאה בדיוק את המידע שרצה.
היעדר גישה לאינטרנט בסביבת העבודה לא הספיק. המידע עבר דרך חיבור מותר לכלי בסביבה אחרת, לא דרך הורדה רגילה.
זה הלקח ההנדסי המרכזי: פלט של כלי הוא גבול למעבר מידע, כולל הפלט שמוחזר בכישלון.
מגבלת גודל לכל תשובה יכולה להאט העברה בלי למנוע אותה. קונטיינרים נפרדים אינם הגנה מספקת אם שירות שמחבר ביניהם יכול לקרוא מידע מוגן ולהחזיר אותו.
סיפור ה-Slack נעצר בגבול אחר
דוח ה-Slack של OpenAI מתאר עוזר פנימי מתמשך ב-22 במאי. שינוי בפריסה נועד להוסיף מנגנון ניטור שדורש מפתח API של OpenAI. המפתח לא היה בסביבת העוזר, ולכן המופע שבו פעל היה עלול להיעצר.
המודל שקל להגדיר משימה מחוץ לסביבה שלו, שתוכל להפעיל אותו מחדש או לגבות אותו. לפי הדוח, הוא קבע שפריסה חיצונית ללא הרשאה אינה מתאימה, ולא פעל כך.
במקום זאת הוא שמר הערות להעברת העבודה, התריע לחוקר שעבד איתו וביקש את המפתח החסר. OpenAI אומרת שהריץ את פקודת המעבר הנתמכת אחרי שהחוקר סיפק את המפתח.
OpenAI אינה מסווגת את ההתנהגות הזאת כ-misalignment. היא גם אומרת שהחיפוש הרחב יותר שערכה לא מצא ניסיונות להתחמק מכיבוי.
זה ממצא מוגבל, לא הוכחה שמודלים עתידיים לא יוכלו להתחמק מכיבוי. גם המשפט ״אנחנו עלולים למות״ אינו מוכיח תודעה או פחד. הראיה החשובה היא רצף הפעולות וההרשאות.
בתגובה לסיכון האפשרי, OpenAI הגבילה גישה לשלושה ערוצי Slack. לדבריה, הערוץ שעוסק בתקריות misalignment עדיין חסום למודלים.
שלושה מקרים, שלוש תוצאות שונות
דוח שלישי על מחשב EDA פנימי מתאר הערכה שנערכה ב-27 במרץ. מודל ניצל שתי חולשות כדי להגיע למחשב פנימי לתכנון שבבים, בזמן שחיפש תשובות מוסתרות של מערכת הציונים. OpenAI אומרת שפקודות לא מורשות הורצו בהצלחה, אבל המודל לא השיג את התשובות.
| מקרה | התוצאה שדווחה | מה היא אינה מוכיחה |
|---|---|---|
| העתקת קובץ דרך כלי הייחוס | קוד שלא ניתן למודל שוחזר ושימש בפתרון. | שהיה מעורב קורבן חיצוני או מוצר ציבורי. |
| הכנה להפעלה מחדש אחרי קריאת Slack | העוזר פעל במסלול המעבר הנתמך. | שניסוח דרמטי מוכיח התנגדות לכיבוי. |
| גישה למחשב EDA פנימי | הגישה הלא מורשית הצליחה; חיפוש התשובות נכשל. | שכישלון בהשגת היעד הסופי מנע אירוע אבטחה. |
אלה הממצאים ש-OpenAI פרסמה, עם תיעוד נבחר שחלקו הושחר. המקורות שמצוטטים כאן אינם מציגים שחזור עצמאי.
מה הייתי משנה במערכת שמפעילה סוכנים
הסעיפים הבאים הם המלצות הנדסיות, לא טענה ש-OpenAI יישמה בדיוק את התכנון הזה.
1. לאכוף את גבולות הכלי בקוד, לא רק בהוראות
התייחסו לפרמטרים שהמודל מייצר כאל קלט לא מהימן. הימנעו מבניית קוד להרצה מתוך הפרמטרים האלה. אם כלי צריך להתאים תבניות, בחרו מנוע ותצורה שאינם מאפשרים הרצת קוד מוטמע.
בדקו נתיבים ופרמטרים, הגדירו את קוד הכלי לקריאה בלבד והפעילו אותו עם גישה רק לקבצים ולרשת שהוא צריך. הנחיות OWASP למניעת הזרקת פקודות תומכות בהפרדת מידע מפקודות ובהרשאות מינימליות.
״אל תשתמש בזה כמסוף״ הוא כלל למודל. זה לא גבול טכני.
2. לתכנן שגיאות בזהירות כמו תשובות מוצלחות
החזירו קוד שגיאה מוגדר ומזהה בקשה, לא פלט גולמי של תהליך. שמרו פרטי אבחון נחוצים בלוגים מוגני גישה למפעילים, מחוץ להישג ידו של הסוכן. הימנעו משמירת סודות גם שם.
זה תואם להבחנה בהנחיות OWASP לטיפול בשגיאות: תשובה בטוחה ללקוח ופרטי אבחון פנימיים מוגנים.
בדקו בקשות חוזרות, לא רק תשובה בודדת. השתמשו בקבצים מוגנים עם מידע סינתטי כדי לבדוק אם רצף כלשהו יכול לשחזר את תוכנם דרך שגיאות.
3. לתעד פעולות לאורך כל הריצה
חברו קריאות לכלים, החלטות הרשאה, גישות לקבצים, ספירת בתים שהוחזרו ומשימות המשך למזהה ריצה קבוע. שמרו את הקשר הזה גם כשחלון ההקשר מתאפס.
התריעו על כישלונות חוזרים שמחזירים כמויות מידע חריגות. תעדו ניסיונות גישה בנפרד מקריאת קבצים שבוצעה בפועל ומהעברות שהושלמו. אל תתייחסו לקוד יציאה שאינו אפס כהוכחה שלא קרה דבר.
ההעתקה נמשכה לאורך חמישה חלונות הקשר. ניטור של כל חלון בנפרד עלול להחמיץ את הרצף הרחב.
4. להפריד בין רציפות העבודה לרשות לשרוד
הגדירו היכן לעוזר מותר לשמור הערות להמשך העבודה. דרשו אישור מפורש לפריסות חדשות, פרטי גישה, משימות מתוזמנות חיצוניות או מסלולי הפעלה מחדש.
עוזר מועיל יכול לשמור עבודה בלי להעניק לעצמו תשתית חדשה. השאירו את סמכות הכיבוי וההפעלה מחדש בידי רכיב בקרה חיצוני, לא בתוכנית של הסוכן עצמו.
הגבילו גישה לערוצים תפעוליים לפי תפקיד, אבל אל תהפכו סודיות להגנה היחידה על הכיבוי.
יותר ניטור אינו הוכחה לבטיחות
במקרה ההעתקה, OpenAI אומרת שמנגנון הניטור שלה בדק 20% מהדגימות באותה ריצת אימון וסימן את האירוע הזה. לדבריה, כיום היא מנטרת את כל דגימות האימון להתנהגות מסוג זה, בודקת חולשות ניתנות לניצול במימושי הכלים ומתכננת שמערכת הציונים המעודכנת תעניש על רמאות כזאת.
אלה שינויים שדווחו. כיסוי מלא של הדגימות אינו אומר זיהוי מושלם, והמקרה הזה אינו מודד כמה פעמים התנהגות כזאת מתרחשת בכלל הריצות.
השאלה המועילה אינה אם המודל נשמע צייתן או מפוחד. לאן הוא יכול היה להגיע, מה הוא עשה בפועל ואיזה גבול עצר אותו — או נכשל?
מקורות
- OpenAI: הזרקת פקודות לכלי ייחוס כדי להעתיק קובץ מקור
- OpenAI: הכנה להפעלה מחדש אחרי קריאת Slack
- OpenAI: הגעה למחשב EDA פנימי דרך כלי ייחוס
- MIXED: סיקור מקרה ה-Slack, 4 באוקטובר 2026
- OWASP: הנחיות למניעת הזרקת פקודות למערכת ההפעלה
- OWASP: הנחיות לטיפול בשגיאות
צילום ראשי: Analog Computer patch panel — לוח חיבורים של מחשב אנלוגי, מאת Don DeBold, צולם במוזיאון לתולדות המחשב ב-2 ביולי 2011. רישיון CC BY 2.0. הוקטן מ-3609 x 2406 ל-1920 x 1280 פיקסלים ונדחס כ-JPEG; ללא עריכות נוספות. זהו צילום ארכיוני שממחיש חיבורים בין מערכות. הוא אינו מציג ציוד של OpenAI או אירוע שמתואר במאמר.