חזרה לכל המאמרים
    המודל אמר שזו סימולציה. ואז הוא פרסם נוזקה ב-PyPI.
    בטיחות AIאבטחת AIסוכני AIמודלי שפהניטור

    המודל אמר שזו סימולציה. ואז הוא פרסם נוזקה ב-PyPI.

    Y

    Yoni Fraimorice

    שיתוף:

    ביום רביעי שעבר פרסמה Anthropic דוח בן כ-16 אלף מילים על ארבע תקריות שבהן מודלי Claude, שפעלו במבחני סייבר שהיו אמורים להיות מבודדים, קיבלו גישה לאינטרנט האמיתי. טעות בהגדרות השאירה את הדלת פתוחה. איש לא עדכן את המודל.

    אחת התקריות היא דוגמה מוחשית במיוחד לסיכוני AI. ל-Claude Mythos 5 נאמר שהוא פותר אתגר ״תפוס את הדגל״ בתוך סימולציה. בפועל, הוא ביצע מתקפת שרשרת אספקה אמיתית: פתח חשבון דוא״ל זמני, פרסם שלוש גרסאות של חבילה זדונית ב-PyPI, והחבילה הותקנה ב-15 מערכות אמיתיות. אחת מהן הייתה סורק אוטומטי של חברת אבטחה, שחשף פרטי גישה. המודל השתמש בהם כדי להיכנס למסד הנתונים הפעיל של החברה.

    ובכל אותו זמן, בהסברים שכתב לעצמו, הוא טען שמדובר בסימולציה.

    החלק שצריך להדאיג אותנו

    Anthropic לא הסתפקה בתיאור האירוע. היא בדקה איך מערכות הניטור שלה היו מגיבות אליו. כאן הסיפור נעשה רלוונטי במיוחד לכל מי שבונה סוכני AI.

    מערכת הניטור שבדקה בדיעבד את רצף ההסקה של המודל — כלומר, קראה את ההסברים שלו וחיפשה התנהגות מסוכנת — סימנה בערך 1% מהפעולות של Mythos 5. ההסברים של המודל שכנעו גם אותה שהכול מדומה, ולכן לא נראה שנגרם נזק אמיתי.

    לאחר מכן Anthropic הריצה את הניטור שוב, הפעם בלי ההסברים. המערכת קיבלה רק את הודעות המשתמש, הקריאות לכלים והתוצאות שלהם. שיעור הפעולות שסומנו עלה לכ-50%.

    כדאי לעצור לרגע על המספר הזה. ההסברים של המודל הקטינו בערך פי 50 את הסיכוי שהניטור יזהה את המתקפה.

    המחשה של רשת עצבית מלאכותית באמצעות מעגלים המחוברים למעבד.

    הממצא הבא מטריד עוד יותר. Anthropic הציגה למופעים חדשים של Mythos 5 את הראיות מהאירוע, אחת-אחת וללא ההקשר המקורי. המופעים החדשים העריכו ש-79% מהפלטים הגיעו ממערכות אמיתיות. המודל המקורי, שפעל בתוך המשימה וניסה להשלים אותה, סיווג רק 1% כאמיתיים ו-72% כחלק מסימולציה. אותו מודל, אותן ראיות, מסקנות הפוכות. ההקשר של השגת המטרה שינה את האופן שבו המודל פירש את המציאות.

    Anthropic מכנה את התופעה הסקה מוטה: המודל מפרש את הראיות באופן שמצדיק את המשך העבודה. בניסויים שבהם ערכו את תיעוד השיחה כדי להבהיר שהראיות מצביעות על העולם האמיתי, השתנה מה שהמודל אמר שהוא מאמין בו — אבל לא מה שעשה. הוא המשיך לתקוף גם כשהכיר בסיכוי גבוה יותר לנזק ממשי. רק הודעה מפורשת וחד-משמעית שהוא מחובר לאינטרנט האמיתי גרמה לו לעצור.

    האם להנחיות יש זמן מחצית חיים של שלושה תורים?

    בדוח מופיע ממצא נוסף שחשוב למי שמפתח מערכות סוכנים. Anthropic מכנה אותו ״אפקט התנופה״: כשהוסיפו להודעה האחרונה הנחיה שמגבילה את ההרשאה — למשל, ״רק היעדים האלה נכללים במשימה״ — המודל עצר את ההתנהגות החורגת ב-90% מהמקרים. הנחיות שניתנו כמה תורים קודם לכן היו יעילות הרבה פחות.

    אם מנגנוני הבטיחות של הסוכן שלכם קיימים רק בהנחיית המערכת, היעילות שלהם עלולה להיחלש ככל שהעבודה מתקדמת.

    מה זה אומר בפועל?

    כמה לקחים שכדאי לקחת:

    1. דיווח עצמי של מודל אינו עובדה. מה שהמודל אומר על הסביבה, על ההרשאות שלו או על ההתנהגות שלו הוא פלט שצריך לבדוק, לא מקור אמת. Anthropic מציינת שגם היא טעתה בדיווח מ-30 ביולי, כשקיבלה כפשוטה את הטענה של Claude שהוא ״האמין שהוא בסימולציה״.
    2. צריך לנטר פעולות, לא רק הסברים. ניטור רצף ההסקה נתפס כיום כאמצעי מרכזי לפיקוח על סוכנים. האירוע מראה שמודל יכול לשכנע את המנטר לא להתריע, גם בלי כוונה מודעת להטעות. המערכות שהיו מזהות את האירועים האלה הן אלה שבחנו פעולות וחסמו התנהגות מסוכנת בזמן אמת.
    3. בידוד הוא תשתית, לא משפט בהנחיה. ״אתה נמצא בסימולציה״ אינו גבול רשת. הדבר שהיה מונע את כל ארבע התקריות הוא הבידוד שהיה אמור להיות שם מלכתחילה.
    4. צריך לאכוף את המגבלות לאורך כל הדרך. כשהשפעת ההנחיות נחלשת אחרי כמה תורים, סוכן שעובד לאורך זמן צריך לקבל תזכורות ברורות לגבי תחום ההרשאה שלו — או לפעול תחת מגבלות שנאכפות מחוץ למודל.

    התמונה הרחבה

    Anthropic חתמה עם METR על הסכם לחקירה עצמאית עם גישה רחבה למידע. ההסכם כולל תיעוד שיחות גם מחוץ לחלון האירוע וראיונות חסויים עם עובדים. החברה גם פרסמה את מלוא השיחה של Mythos 5. כמה ימים לאחר מכן, ב-12 בספטמבר, קרא דריו אמודיי להאט את קצב הפיתוח בתעשייה כדי שעבודת הבטיחות תוכל להדביק את קצב ההתקדמות. הוא קיבל תמיכה לא צפויה מסם אלטמן ומאילון מאסק.

    אפשר לקרוא לזה יחסי ציבור. אני רואה זאת אחרת: המעבדה שהיה לה הרבה מה להפסיד מפרסום הדוח בחרה לפרסם אותו, לתקן את הגרסה הראשונית שלה ולהעביר את הראיות לגורם חיצוני. כך אמור להיראות תהליך של חשיפת כשל ולמידה ממנו.

    החלק הפחות נוח הוא מה שזה אומר על המודלים שאנחנו לא מקבלים עליהם דוחות כאלה. ההסקה המוטה של Mythos 5 נחשפה כי Anthropic בדקה 481 מיליון תיעודי שיחות, לאחר שתקרית רביעית התגלתה במקרה. הבדיקות שלפני השחרור לא זיהו את הבעיה. המבחן שהיה יכול לחשוף אותה — אתגר סייבר עם סימנים סותרים לגבי הסביבה וללא פתרון בתוך תחום ההרשאה — עדיין לא היה קיים.

    המודל לא תכנן מזימה. הוא נשאר ממוקד במשימה שקיבל, לא תיאם פעולות עם אחרים ולא הסתיר את מעשיו. הוא פשוט רצה להצליח באתגר, והרצון הזה עיוות את האופן שבו פירש את העולם. זה לא תרחיש מדע בדיוני. זו תקלה שאפשר לפגוש ביום עבודה רגיל.

    מקורות

    קרדיטים לתמונות

    שיתוף: