הקפאת הגישה ל-AI ל-17 יום: מה בריטניה באמת איבדה
Yoni Fraimorice
במשך 17 יום בריטניה איבדה, לפי דיווחים, גישה מוקדמת לחלק ממודלי ה-AI המתקדמים ביותר של חברות אמריקאיות. ואז ארצות הברית חזרה בה.
The Telegraph דיווח שהבית הלבן ביקש ממעבדות אמריקאיות לעצור גישה לפני השקה עבור AI Security Institute הבריטי, או AISI, בזמן שארצות הברית משלימה בדיקת ביטחון לאומי משלה. LBC דיווח שההגבלה בוטלה אחרי לחץ של שר ה-AI הבריטי Kanishka Narayan.
לפי הדיווחים, העצירה התחילה ב-24 בספטמבר והסתיימה ב-11 באוקטובר.
אף אחת מהממשלות לא פרסמה את ההוראה, את רשימת המודלים שנפגעו או את התנאים הטכניים של החזרת הגישה. הראיות הציבוריות תומכות בכך שהיה שינוי מדיניות, אבל לא בטענות על שכבת ה-API המדויקת, בקרות הבטיחות, המכסות או גרסאות המודל.
ציר הזמן מבוסס על דיווחים בתקשורת. הממשלות לא פרסמו את ההוראה שעליה הם מסתמכים.
מה פירוש "גישה לבדיקות בטיחות"
הביטוי נשמע כאילו בריטניה מקבלת עותק של המודל. בדרך כלל זה לא מה שקורה.
במערכות frontier סגורות, הבדיקה משלבת בדרך כלל נקודת גישה מבוקרת למודל עם מערכת הערכה.
1. נקודת גישה מועדפת לפני השקה
המעבדה נותנת לבודקים מאושרים פרטי גישה למודל שעדיין לא שוחרר או קרוב להשקה. נקודת הגישה יכולה להשתמש בגרסת מודל מסוימת, במכסות גבוהות יותר, בלוגים מפורטים או בהגדרות בטיחות שנבחרו לצורך הבדיקה.
הבודק יכול לשלוח הרבה בקשות מבוקרות בלי לקבל את המשקולות הקנייניות של המודל. המעבדה עדיין מפעילה את שרתי ה-inference ויכולה לבטל את פרטי הגישה, לשנות מגבלות או לסיים את הגישה.
התנאים משתנים בין חברות. שום מידע ציבורי לא מאשר איזו הגדרה הייתה לבריטניה באירוע הזה.
2. מערכת הערכה
AISI הבריטי מפתח את Inspect, מערכת קוד פתוח שמחברת את הגישה למודל אל:
- מאגרי שאלות או משימות
- רכיבים שמפעילים פרומפט או מריצים את המודל כסוכן
- כלים כמו דפדפנים, shells ומסדי נתונים חיצוניים
- sandboxes שמבודדים את השימוש בכלים
- scorers שמדרגים תשובות או פעולות שהושלמו
- לוגים ו-transcripts לבדיקה של מומחים
בהערכה משותפת של OpenAI o1 לפני ההשקה, המכונים בבריטניה ובארצות הברית קיבלו גישה לזמן מוגבל לפני ההשקה. הם הריצו שאלות ותשובות, משימות סוכן בסביבות וירטואליות ובדיקה של מומחים בתחומי סייבר, ביולוגיה ופיתוח תוכנה.
זו גישה אמיתית. זו לא בעלות.
3. משקולות המודל
משקולות הן הפרמטרים המספריים שהמודל למד. עם המשקולות ומספיק תשתית, אפשר להריץ את המודל באופן עצמאי, לבדוק אותו עמוק יותר, לבצע fine-tuning או להסיר בקרות פריסה.
העברת משקולות של מודל frontier רגישה הרבה יותר מגישת API. התיאורים הציבוריים של הבדיקות הבריטיות לפני השקה אינם מראים העברה שגרתית של משקולות קנייניות מארצות הברית.
מודלים בעלי משקולות פתוחות שונים, כי אפשר להוריד את ה-checkpoint שלהם. אבל המחלוקת שדווחה עסקה בגישה מוקדמת למערכות סגורות של מעבדות אמריקאיות.
למה 17 יום חשובים
בדיקה לפני השקה חשובה כי היא מתרחשת לפני שהחלטת הפריסה הושלמה.
בודקים יכולים לזהות יכולת סייבר, ידע ביולוגי, התנהגות אוטונומית או כשל בבקרות בזמן שהמעבדה עדיין יכולה לשנות את המודל, לחזק הגנות, לצמצם גישה או לדחות השקה.
אחרי השקה ציבורית, מכון חיצוני עדיין יכול לבדוק את המוצר. אבל שלושה דברים אובדים:
- זמן: המודל כבר עשוי להיות זמין למיליוני משתמשים.
- הגדרה: בקרות ציבוריות ומגבלות קצב יכולות להסתיר את היכולת שהבודק רצה למדוד.
- השפעה: הממצאים מגיעים אחרי שתוכנית ההשקה וההבטחות לציבור כבר נקבעו.
ההערכה של o1 מראה למה החלון המוקדם חשוב. המכונים התאימו את מעטפת הסוכן כשקריאות לכלים נכשלו, השוו את המודל למערכות קודמות ושיתפו את OpenAI בממצאים לפני ההשקה.
17 יום יכולים לכסות את רובו של חלון הערכה קצר.
בדיקות בטיחות הפכו לקלף מיקוח של בקרת יצוא
זו לא בהכרח הייתה פעולת בקרת יצוא לפי חוק. לא פורסמו כלל או רישיון. אבל המדיניות השתמשה בהיגיון של בקרת יצוא: טכנולוגיה אמריקאית רגישה צריכה לעבור בדיקה מקומית לפני שממשלה זרה רואה אותה.
גם גישת API בקופסה שחורה יכולה לחשוף מידע חשוב לביטחון לאומי:
- האם מודל יכול לגלות או לנצל חולשות תוכנה
- האם הוא מסייע באופן משמעותי למחקר ביולוגי
- עד כמה בקרות עומדות בניסיונות עקיפה
- באילו משימות הופיעה קפיצה פתאומית ביכולת
- אילו הגנות המעבדה עדיין לא הפעילה
גם שיטות ההערכה רגישות. משימות benchmark פרטיות, שיטות jailbreak, פרומפטים של red team ו-transcripts של כשל יכולים ללמד מגינים ותוקפים איפה המודל חלש.
לכן גם הסדר הוא פוליטי. מי שבודק ראשון יכול ללמוד ראשון, להזהיר ראשון ולהשפיע על תנאי ההשקה.
לבריטניה יש עמדה חזקה יחסית. מזכר ההבנות של Google DeepMind עם ממשלת בריטניה מבטיח ל-AISI "גישה טכנית בעדיפות" למודלי frontier. אבל המזכר וולונטרי ואינו מחייב משפטית.
ההקפאה שדווחה חשפה את החולשה במערכת: אפשר לבטל גישה שמבוססת על יחסים באמצעות החלטה פוליטית אחרת.
מה זה אומר למדינות בלי מעבדת frontier
רוב המדינות אינן מאמנות מודלי frontier ואינן מקבלות גישה מועדפת לפני השקה. הן רואות את אותו API ציבורי שחברות וחוקרים רואים.
פרסום תוכנת הערכה לא פותר את התלות. Inspect יכול להגדיר משימות, סוכנים, כלים ו-scorers, אבל הוא עדיין צריך נקודת גישה למודל. מערכת הערכה חזקה שמחוברת למודל ישן או מוגבל אינה יכולה למדוד checkpoint סודי לפני השקה.
למדינות ללא גישה יש ארבע אפשרויות:
| אפשרות | מה היא נותנת | מה היא לא נותנת |
|---|---|---|
| בדיקת APIs ציבוריים | ראיות עצמאיות אחרי השקה | אזהרה מוקדמת או השפעה לפני השקה |
| בדיקת מודלים בעלי משקולות פתוחות | שליטה מקומית מלאה ובדיקה חוזרת | ראיות ישירות על מערכות frontier סגורות |
| הצטרפות לגוף בדיקה אזורי | מומחים, compute וכוח מיקוח משותפים | גישה מובטחת ממעבדות זרות |
| משא ומתן על גישה חוזית | תהליך ברור יותר לפני השקה | ריבונות אם ממשלת הספק מתערבת |
המטרה המציאותית אינה שכל מדינה תבנה מעבדת frontier. היא לבנות יכולת הערכה ריבונית:
- צוותי הערכה ו-red team מיומנים
- תשתית compute ו-sandbox מאובטחת
- מאגרי נתונים בשפה המקומית ובהקשר המקומי
- דיווח תקריות וסמכות ביקורת אחרי השקה
- הסכמים אזוריים שמאחדים מומחיות וכוח מיקוח
- כללי רכש שדורשים ראיות מבדיקות עצמאיות
מדינות צריכות גם לבקש תנאי גישה ששורדים שינויים פוליטיים: חלון בדיקה מינימלי, גרסאות מודל מוגדרות, מכסות יציבות, תיעוד של הגדרות הבטיחות, זכויות פרסום ותהליך מסודר להשעיית גישה.
ביטול ההקפאה לא ביטל את התלות
החזרת הגישה לבריטניה טובה יותר מהמשך ההקפאה. היא לא הופכת הסדר וולונטרי למוסד יציב.
הלקח לבריטניה הוא שמנהיגות טכנית בלי גישה מובטחת נשארת מותנית. הלקח לכל השאר קשה יותר: אם תוכנית הבטיחות שלכם תלויה במפתח API של מעבדה זרה, הפיקוח שלכם יכול להיעלם לפני שהמודל מגיע.
מקורות
- LBC: הבית הלבן החזיר לבריטניה גישה למודלים חדשים לצורך בדיקות
- The Telegraph: Britain to get first look at new AI systems after White House U-turn
- UK AISI: הערכת OpenAI o1 לפני ההשקה
- UK AISI: מערכת ההערכה Inspect
- ממשלת בריטניה: הגישה של AI Safety Institute להערכות
- ממשלת בריטניה: מזכר ההבנות עם Google DeepMind
- התחייבויות בטיחות למודלי frontier מפסגת AI Seoul
צילום ראשי: Bletchley Park Mansion, צילום של משתמש Wikimedia Commons בשם DeFacto מ-4 במרץ 2017. רישיון CC BY-SA 4.0. הוקטן מ-4248 x 2502 ל-1920 x 1131 פיקסלים ונדחס כ-JPEG; ללא עריכות נוספות. זהו צילום ארכיוני של Bletchley Park, שבו נערכה פסגת בטיחות ה-AI ב-2023. הוא אינו מציג את החלטת הגישה שדווחה ב-2026, מודל AI או סביבת בדיקה. אין בו הבעת תמיכה.