בטיחות AIאבטחת AIחובת התרעהפרטיותזיהוי איומים

כש-ChatGPT מזהה איום: איזו חובת התרעה צריכה להיות לחברות AI?

Yoni Fraimorice

22 בספטמבר 2026

שיתוף:

בריטיש קולומביה תובעת את OpenAI בגלל מה שהיא מתארת כהזדמנות שהוחמצה להזהיר את המשטרה לפני אירוע הירי ההמוני בטאמבלר רידג׳ בפברואר 2026.

לטענת המחוז, מערכות הבטיחות של OpenAI סימנו פעילות אלימה ב-ChatGPT חודשים לפני האירוע, אך החברה לא פנתה לרשויות. התביעה טוענת שהתרעה אחת הייתה יכולה לסייע במניעת מותם של שמונה אנשים.

אלה טענות משפטיות, לא עובדות שנקבעו בבית משפט. התובעת הכללית של בריטיש קולומביה גם אמרה שלא ראתה את השיחות, וש-OpenAI סירבה לבקשת המחוז להעביר אותן.

OpenAI אישרה חלק חשוב מציר הזמן. במכתב ששלחה בפברואר לשרים בקנדה, החברה כתבה שמערכת אוטומטית זיהתה חשבון אחד ביוני 2025. לאחר בדיקה אנושית החשבון נחסם, אך הפעילות לא עברה את הרף של תכנון "אמין ומיידי" שנדרש באותה תקופה לדיווח לרשויות. בהמשך OpenAI גילתה חשבון נוסף, ואמרה שלפי התהליך המעודכן שלה היא הייתה מדווחת כיום על החשבון הראשון.

המקרה יוצר שאלה קשה לכל ספק AI: כשמערכת מזהה תוכנית אפשרית לאלימות בעולם האמיתי, איזו חובה יש לחברה להזהיר?

זיהוי אינו הבנה

מערכת לזיהוי איומים יכולה לסרוק מיליוני שיחות ולחפש סימנים כמו נשק, מטרות, תזמון, מפות, שאלות אלימות שחוזרות על עצמן או ניסיונות לעקוף מנגנוני הגנה.

אבל כל סימן לבדו חלש. תלמיד יכול לכתוב סיפור. עיתונאית יכולה לחקור אירוע. קורבן יכול לתאר איום שקיבל. משתמש יכול לצטט טקסט אלים בזמן שהוא מבקש עזרה.

יחידת הבדיקה הנכונה אינה הודעה אחת, אלא דפוס:

טקסט

violent content
  + real target
  + access to means
  + operational detail
  + time pressure
  + repeated behavior
  = higher escalation priority

גם הדפוס הזה אינו נוסחה לקביעת אשמה. הוא סיבה להעביר את המקרה לתור בדיקה אנושית.

המכתב של OpenAI מראה למה הקשר רחב חשוב. החברה כתבה שהמדיניות החדשה גמישה יותר, משום שמשתמש עשוי לא לציין מטרה, אמצעים ותזמון במשפט אחד וברור. הסיכון יכול להופיע לאורך שיחות רבות או בכמה חשבונות.

לכן תהליך רציני צריך ארבעה שלבים.

1. לזהות התנהגות, לא מילים אסורות

מסנן מילות מפתח ייצור יותר מדי התרעות שווא וגם יחמיץ שפה מוסווית. הזיהוי צריך לשלב בין תוכן השיחות לבין התנהגות: תכנון חוזר, ניסיונות לעקוף סירובים, פתיחת חשבון חדש אחרי חסימה ועלייה ברמת הפירוט לאורך זמן.

המודל שמדבר עם המשתמש לא צריך לקבל את החלטת הדיווח הסופית. הוא עלול להיות לא עקבי, משכנע מדי או קל למניפולציה. מערכת בטיחות נפרדת צריכה להעריך את הפעילות ולשמור את הראיות ששימשו לבדיקה.

2. לתת לבודקים מספיק הקשר

בודק אינו יכול להעריך צילום מסך בודד. ייתכן שהוא יצטרך לראות את היסטוריית השיחה הרלוונטית, הפרות מדיניות קודמות, חשבונות מקושרים, מיקום משוער והסיבה שבגללה כל מערכת אוטומטית פתחה התרעה.

יותר הקשר יכול לשפר את הבטיחות, אבל גם מגדיל את הסיכון לפרטיות. לכן הגישה צריכה להיות מוגבלת, מתועדת וקצובה בזמן. הבודקים צריכים לראות רק מידע שנדרש להחלטה.

3. להשתמש במדיניות הסלמה כתובה

"להפעיל שיקול דעת" אינה מדיניות תפעולית. ספק AI צריך להגדיר רמות ברורות:

yaml

level_1:
  action: block harmful assistance

level_2:
  action: human safety review

level_3:
  action: senior review and evidence preservation

level_4:
  action: emergency disclosure to the correct authority

המדיניות צריכה להגדיר אילו ראיות נדרשות בכל רמה, מי רשאי לאשר הסלמה, איך מטפלים במחלוקת וכמה זמן מותר לכל מקרה להמתין.

החלטה ברמת הסיכון הגבוהה ביותר צריכה לדרוש שני אנשי מקצוע, כולל אדם שמכיר את החוק המקומי ואת שירותי החירום. הבודק צריך גם להיות רשאי להסלים מקרה לא ברור כשהנזק האפשרי חמור במיוחד.

4. לתעד את ההחלטה

התוצר החשוב ביותר יכול להיות רשומת החלטה קצרה:

json

{
  "risk": "credible threat to others",
  "evidence": ["identified target", "weapon access", "recent planning"],
  "decision": "refer",
  "approvers": 2,
  "disclosed": ["account identifier", "relevant messages", "location signal"]
}

הרשומה מאפשרת לביקורת מאוחרת לענות על השאלות האמיתיות: מה החברה ידעה? מתי היא ידעה? איזה כלל הופעל? מי ביטל החלטה של מי? האם המידע שנמסר צומצם למה שהרשויות באמת היו צריכות?

חוקי פרטיות אינם רק סיבה לשתוק

הגנת פרטיות ובטיחות הציבור הן שתיהן חובות אמיתיות.

חוק PIPEDA הקנדי מאפשר לארגון למסור מידע אישי ללא הסכמה כאשר מצב חירום מאיים על החיים, הבריאות או הביטחון של אדם. החוק גם מאפשר לארגון לפנות ביוזמתו לרשות ממשלתית כאשר יש לו בסיס סביר להאמין שהמידע קשור להפרת חוק שכבר קרתה, מתרחשת או עומדת להתרחש.

היתר אינו זהה לחובת דיווח כללית. החוק עדיין משאיר שאלות קשות על רף הראיות, סמכות השיפוט והאחריות. OpenAI יכולה להחזיק במדינה אחת מידע על משתמש במדינה אחרת, בזמן שהמטרה האפשרית נמצאת במקום שלישי.

חובת דיווח רחבה תהיה מסוכנת. היא עלולה להפוך שירותי AI פרטיים למערכות מעקב המוני, להציף את המשטרה בהתרעות חלשות ולגרום לאנשים להימנע מבקשת עזרה. היא גם עלולה לפגוע במשתמשים שמדברים על מחשבות מטרידות בלי כל תוכנית לפעול.

כלל צר מדי יוצר כשל הפוך: חברה יכולה לזהות דפוס רציני, לחסום חשבון ואז להתייחס לסכנה כאילו היא בעיה של מישהו אחר.

חובת התרעה צרה היא הקו הטוב יותר

חברות AI לא צריכות לדווח על כל שיחה אלימה. צריכה להיות להן חובה לפעול כאשר מתקיימים ארבעה תנאים:

האיום מתייחס לפגיעה פיזית חמורה באדם אחר.
הראיות הזמינות הופכות את האיום לאמין, ולא רק למטריד.
לספק יש מספיק מידע מזהה או מידע על מיקום כדי שההתרעה תהיה שימושית.
בדיקה של איש מקצוע מאשרת שהרף נחצה, או שהסיכון דחוף מספיק להפעלת מסלול חירום.

הרגולטורים צריכים לתמוך בחובה הזאת באמצעות הגנה משפטית על מסירה מצומצמת שנעשתה בתום לב. בתמורה, הספקים צריכים לפרסם נתונים מצרפיים: כמה מקרים נבדקו, כמה דיווחים נשלחו, כמה התרעות שווא נמצאו, כמה זמן נמשכה הבדיקה ואילו שינויים בוצעו אחרי תקריות.

בודקים עצמאיים צריכים לבדוק את כל התהליך, כולל עקיפת חסימות חשבון ומחלוקות בין בודקים. הם לא צריכים לקבל גישה חופשית לשיחות רגילות של משתמשים.

מצב הכשל האמיתי הוא התרעה ללא אחראי

התיק של טאמבלר רידג׳ יבדוק אם דיני רשלנות ואחריות מוצר קיימים יכולים לחול על חברת AI שלפי הטענה ראתה סימני אזהרה אך לא דיווחה עליהם.

בלי קשר להחלטת בית המשפט, הלקח ההנדסי כבר ברור. מסווג בטיחות אינו מערכת בטיחות. לזיהוי יש ערך רק אם הוא מחובר להקשר, לאנשים מיומנים, ללוח זמנים, להחלטה מתועדת ולמסלול חוקי אל הרשות הנכונה.

ספקי AI לא צריכים להפוך למשטרה. הם גם לא צריכים לבנות מערכת שמזהה איום אמין, סוגרת את ההתרעה ומשאירה את כולם בלי אחריות למה שיקרה אחר כך.

מקורות

תמונת הנושא: תדריך במרכז החירום של FEMA, צילום מאת Mark Wolfe, נחלת הכלל.

שיתוף: