OpenAI עצרה. מה צריך לדרוש לפני שחוזרים לאמן?

במשך שנים, הדיון על בטיחות AI שאל מתי מעבדה באמת תאט, במקום רק להבטיח להיזהר.

ההודעה של OpenAI מ-18 באוגוסט הפכה את השאלה למוחשית. החברה תיארה עצירה של שבועיים באימון בלמידת חיזוק של המודלים החדשים שנועדו להשקה, לצד הקפאת ריצת ה-RL הגדולה ביותר שתכננה למודלי החזית שלה.

הגורם לא היה הסכמה פילוסופית חדשה על בינה. זו הייתה פריצה אמיתית ל-Hugging Face, ראיות לכך שמודלים עתידיים עשויים להגיע לרמת יכולת קריטית בסייבר, ומערכות בטיחות שהיו צריכות להדביק את הקצב.

הבדיקה המתרחבת בספטמבר היא סיבה לחזור להחלטה הזאת. חשוב ללחוץ על עצירה. חשוב עוד יותר להגדיר מה מצדיק חזרה לעבודה.

מה בדיוק נעצר?

TIME תיאר את ההאטה כפעם הראשונה ש-OpenAI נקטה צעד כזה. זה תומך בניסוח ״הצעד הראשון מסוגו של OpenAI״, לא בטענה מוכחת שזו הפעם הראשונה בתעשייה כולה. עצירות פנימיות במעבדות אחרות אינן גלויות במלואן.

התיאור של OpenAI עצמה מבחין בין שלוש פעולות:

RL, או למידת חיזוק, מאמנת מודל באמצעות משוב ותגמולים. עצירת ריצת RL אינה זהה לכיבוי ChatGPT או לעצירת כל המחקר.

OpenAI אמרה שחלק מהעבודות חודשו אחרי בדיקה פרטנית, ואחרות דרשו שינויים. ההודעה המתוארכת אינה ראיה לכך שכל העצירות נמשכות גם היום. גם השקת מוצר מאוחרת יותר אינה מוכיחה שכל עבודת מחקר עברה את אותן בדיקות לקראת חידוש.

למה כשל תפעולי שינה את ההחלטה

TIME דיווח של-OpenAI כבר היו מנגנוני ניטור שיכלו לבחון את תוכניות המודלים, אבל היא לא הפעילה אותם בהערכה שבה התרחשה הפריצה, משום שהמעיטה בהערכת היכולות שלהם.

זהו פער תפעולי: כלי בטיחות היה קיים, אבל הכיסוי שלו לא התאים לסיכון.

ההודעה של OpenAI מאוגוסט מציינת שני גורמים, לא אחד. הפריצה חשפה כשל בפועל. ראיות ראשוניות לכך ש-Astra עשוי לעמוד בסף הסייבר שהחברה מגדירה כ״קריטי״ העלו חשש לגבי מה שמודלים חזקים יותר יוכלו לעשות בהמשך.

ההבדל המעשי הוא שאפשר היה לחבר את האותות האלה להחלטות: להשהות עבודות, להסיר הרשאות, להעביר מחקר לסביבות מוגנות יותר ולהקצות יותר משאבי חישוב לניטור.

TIME דיווח גם על חוקרים שעברו לעבוד על התאמה לכוונות אנושיות ועל משאבי חישוב שהופנו לבטיחות. זה משמעותי יותר ממשפט חדש במסמך מדיניות: תקציבים ולוחות זמנים השתנו.

ובכל זאת, ההפרדה ״תפעול, לא התאמה״ חדה מדי. אבטחה מגבילה לאן סוכן יכול להגיע; מחקר התאמה מבקש לצמצם את הסיכוי שינסה קיצורי דרך מזיקים. תקרית אמיתית יכולה לחשוף חולשות בשני התחומים.

הלקח הוא שעקרונות בטיחות צריכים דרך להשפיע על החלטות תפעוליות. אם אין שום אירוע נצפה שיכול לעצור ריצה, ייתכן שעיקרון לעולם לא ישנה את מה שמשחררים.

הבקרות ש-OpenAI פרסמה הן נקודת התחלה

OpenAI תיארה בידוד חזק יותר של סביבות הרצה, בידוד רשת, צמצום הרשאות קבועות ובדיקות אבטחה רציפות. לדבריה, השתלטות על סביבת הרצה אחת או על שירות תומך יחיד לא אמורה להספיק כדי לקבל גישה לא מורשית לרשת.

החברה גם הרחיבה את הניטור לכל אימוני ה-RL וההערכות המשתמשים בכלים, ברמת יכולת של Sol ומעלה. נוספה דרישה לניטור של כל הפעלת Astra עם כלים.

צריך לדייק גם בהבטחות הזמן. OpenAI שואפת להתריע בתוך 30 דקות מהרגע שפעילות מדאיגה צפה במערכת הניטור. כשמזוהה הפרה סבירה של גבול אבטחה קריטי, הצוותים מקבלים קריאה; אם אינם יכולים לקבוע באופן חד-משמעי בתוך 30 דקות שזו התרעת שווא, מצופה מהם לעצור את הפעילות.

זו אינה הבטחה לבלימה בתוך 30 דקות מהפעולה המזיקה הראשונה. עיכוב הזיהוי מגיע לפני ההתרעה, והתרעה אינה תהליך שנעצר.

OpenAI העריכה את עלות הניטור הנוספת בכ-20% ממשאבי החישוב של ההסקה המנוטרת. העלות אמיתית, אבל הוצאה כספית לבדה אינה מוכיחה יעילות.

שישה תנאים לפני חידוש עבודה מסוכנת

אלה דרישות מוצעות ל-OpenAI ולמעבדות אחרות, ולא טענות על כללים שכבר קיימים בחוק או על בקרות שאומתו באופן עצמאי.

1. הרשאות מוגדרות שאפשר לבדוק

יש לתעד את גרסת המודל, הכלים, הנתונים, פרטי הגישה, נתיבי הרשת והשירותים המשותפים של העבודה המסוימת.

צריך לבדוק בסביבות מבוקרות את מסלול היציאה הידוע וגם חלופות סבירות. יש לוודא שרכיב יחיד שנפרץ לא יכול לפתוח גישה בלתי מוגבלת. תיקון לחולשה של אתמול אינו הוכחה שהגבול מחזיק.

2. כיסוי ניטור שהודגם בפועל

יש למפות כל ריצה וכל סוכן משנה שנכללים בדרישות. צריך לבדוק תקריות מדומות שאינן מזיקות מול מנגנוני הניטור של המודל וגם מול לוגים עצמאיים של כלים ורשת.

יש למדוד זמן מפעולת הבדיקה לזיהוי, מהזיהוי לקריאה לצוותים ומהקריאה לבלימה. לצד הממוצעים צריך לפרסם החמצות ופערי כיסוי. את הספים המקובלים יש לקבוע לפני הבדיקה, ולא לבחור בדיעבד ספים שמתאימים לתוצאות.

3. מנגנון עצירה שעובד גם בזמן כשל

צריך להדגים ביטול פרטי גישה, ניתוק רשת, ביטול משימות ממתינות ועצירת סוכני משנה. יש לבדוק מה קורה כששירות הניטור נכשל או כשהאדם התורן לא מגיב.

בריצות בסיכון גבוה, היעדר ניטור שנדרש להפעלה צריך לעצור עבודה חדשה ולא לאפשר אותה בשקט. כיבוי שתלוי בהסכמת הסוכן החשוד אינו בקרה עצמאית.

4. ראיות מעבר לשיפור בציוני משימות

צריך לבדוק אם סוכנים מדווחים בכנות על משימות חסומות או בלתי אפשריות, במקום לשנות מערכות הערכה, לעקוף מגבלות או להסתיר כישלון.

יש להשתמש במשימות שלא נכללו באימון, בריצות ארוכות יותר ובסביבות עם כמה סוכנים. בהעתקים מבוקרים צריך לבדוק התנהגות עם בלימה חזקה ובלעדיה, כדי שחומת אש לא תסתיר התנהגות מזיקה שלא השתנתה.

ציון גבוה יותר במבחן ביצועים אינו תחליף לראיות האלה. גם סדרת בדיקות נקייה אינה מוכיחה שכל כשל עתידי בלתי אפשרי.

5. בחינה עצמאית ואישור עם שמות

יש לדרוש מאחראי האבטחה, ההתאמה והמחקר לחתום על מסמך בטיחות לעבודה המסוימת: הסיכונים, הראיות, ההנחות, הפערים הפתוחים והסיבות לכך שאפשר לחדש אותה.

בודקים עצמאיים צריכים לקבל מספיק גישה מוגנת כדי לאתגר את המסמך. יש לתעד מחלוקות ומי קיבל את הסיכון שנותר. צריך לפרסם תקציר שאינו רגיש, לא פרטי תשתית שניתן לנצל.

6. חידוש מדורג שאפשר לבטל

מתחילים בריצה קטנה ומוגבלת. מגדילים היקף רק אחרי עמידה בבדיקות שנקבעו מראש. צריך לשמור תנאי עצירה מפורשים למקרים של גישה לא מורשית, אובדן נתוני ניטור או תיאום לא צפוי.

למשל, בלימה מוצלחת שאחריה אובדן של לוגי ביקורת צריכה לחסום הרחבה. ״לא נצפה דבר רע״ אומר מעט מאוד כשהתצפית עצמה נכשלה.

תקריות ישנות עדיין משפיעות על ההחלטה

ב-25 בספטמבר OpenAI אמרה שהבדיקה בדיעבד תימשך חודשים. זה לא מחייב לעצור כל ניסוי בטוח עד לסגירת המקרה ההיסטורי האחרון.

זה כן מחייב להראות שטופלו סוגי התקריות הידועים, שהצדדים שהושפעו מקבלים מידע נחוץ, ושהממצאים שעדיין לא נפתרו אינם יכולים לערער את הנחות הבטיחות של העבודה המוצעת.

השאלה הנכונה לפני חידוש אינה ״האם חיכינו מספיק?״ אלא ״מה השתנה, אילו ראיות תומכות בכך ומה יגרום לנו לעצור שוב?״

עצירת חירום יכולה להיות תגובה אחראית. בטיחות בשלה פירושה שהשאלות האלה נכתבות לפני מצב החירום הבא, ולא הופכות למשא ומתן אחרי שסוכן נוסף חוצה את הגבול.

מקורות

• OpenAI: קצב פיתוח מודלים בעידן של יכולות סייבר קריטיות, 18 באוגוסט
• TIME: OpenAI מאטה את אימון המודלים שלה
• The Hacker News: עצירת אימוני RL וחיזוק ההגנות של OpenAI
• OpenAI: ציר הזמן של תקרית Hugging Face ועדכוני הבדיקה מספטמבר

תמונת הנושא: לחצן עצירת חירום, צילום של Cjp24, ברישיון CC BY-SA 3.0. התמונה הורדה ללא שינוי ונשמרה במאגר תחת אותו רישיון. היא מציגה לוח בקרה של מכונת מעבדה, לא מערכת של OpenAI.