מחקר טרי מציע פרדיגמה חדשה להבנת היכולות של מודלים גנרטיביים: זיכרון והיגיון אינם “מתערבבים” באופן שרירותי במשקלי הרשת, אלא מתבצעים לאורך מסלולים עצביים שונים שניתנים להפרדה כמעט כירורגית. החוקרים הדגימו כי כאשר מנטרלים משקלות הקשורים לזכירה — היכולת לשחזר טקסטים מהסט האימוני כמעט ונעלמת — ואילו ביצועי היגיון לוגי נשמרים ברובם. החריג הבולט: חשבון בסיסי. כאשר “מסלולי הזיכרון” הוסרו, צנחו ביצועי המתמטיקה, בעוד משימות היגיון, דדוקציה ומענה על שאלות פתוחות-ספר נותרו יציבים יחסית. התוצאה מאתגרת תפיסה רווחת שלפיה חשבון הוא “מכניקת היגיון” טהורה במודלי שפה, ומרמזת כי ברמות קנה המידה הנוכחיות המודלים נוטים להתייחס לחישוב אריתמטי כאל ידע מזוהה ומאוחסן — יותר מאשר תהליך חישובי כללי.
מה בעצם התגלה — ולמה זה חשוב עכשיו
החוקרים מיפו את המרחב הפנימי של המודל דרך עדשה מתמטית הקרויה “עקמומיות נוף ההפסד”, ומצאו כי פריטי מידע שנלמדו כמקרה בודד (“זכירה ברמת הדוגמה”) מייצרים חתימות עקמומיות חדות ומקומיות, בעוד מנגנונים כלליים המשמשים משימות היגיון רבות מותירים עקבות עקמומיות מתונות ועקביות. כאשר ערכו עריכת משקלים ממוקדת בכיווני עקמומיות נמוכה — המזוהים עם זכירה — ירד שיעור השחזור של פריטי אימון לכדי אחוזים בודדים, בעוד מדדי היגיון כלליים נשמרו סביב קו הבסיס ולעתים אף השתפרו קלות. לעומת זאת, משימות חשבון ושליפה סגורה של עובדות (ללא הקשר חיצוני) נפגעו במובהק, מה שמחזק את ההנחה כי הן נשענות על מבנים צרים וייחודיים במשקלי המודל ולא על מנגנון היגיון כללי.
- זכירה והיגיון מתבטאים במסלולים נויראליים נבדלים במשקלי המודל.
- עריכה ממוקדת של משקלים הקשורים לזכירה מורידה דרמטית את השחזור — אך כמעט שאינה פוגעת בהיגיון.
- ביצועי חשבון בסיסי צונחים עם נטרול “מסלולי הזיכרון”, מה שמרמז על מנגנון מבוסס זיהוי/זכירה.
- שליפה פתוחה מהקשר (“open-book”) ומטלות דדוקציה לוגית מחזיקות מעמד לאחר העריכה.
- ההפרדה נצפתה גם במודלי ראייה, ברמיזה לתופעה רוחבית מעבר לשפה בלבד.
איך מפרקים את הקשר? עקמומיות, K-FAC ועריכת משקלים
כדי להבחין בין זכירה למנגנוני היגיון כלליים, החוקרים השתמשו בקירוב עקמומיות הקרוי K-FAC — שיטה המודדת עד כמה התפוקה רגישה לשינויים קטנים במשקל מסוים. אינטואיטיבית, זכירה של ציטוט ספציפי “מושכת” משקלות לכיוון חד מאוד: שינוי קטן מזניק את השגיאה. מנגנון היגיון המשמש אלפי דוגמאות רבות יותר מתבטא כ“גבעות מתונות”: פחות רגיש כיוונית ושכיח יותר. מיפוי כזה מאפשר לדרג רכיבי משקל ולדכא תת-מרחב המזוהה עם זכירה. בניסויים על משפחת OLMo הפתוחה ועל טרנספורמרי-ראייה, עריכת המשקלים הורידה את שחזור הנתונים המאומנים לרמות זניחות, שמרה על פרפלקסיה תחרותית, והבליטה ירידה ממוקדת דווקא בחשבון ובשליפת עובדות סגורה — תמונת ראי של “מסלולי הזיכרון” שהוסרו.
- מודלים: OLMo-2 בהיקפי 1B ו-7B פרמטרים; טרנספורמרי ראייה שאומנו על ImageNet עם תיוגים מניפולטיביים.
- בנצ'מרקים להיגיון: BoolQ, Winogrande, OpenBookQA ומשימות דדוקציה וסידור עקיבות.
- השוואה לשיטות “שיכחה” קיימות (כדוגמת BalancedSubnet) הצביעה על דיכוי זכירה יעיל יותר לצד פגיעה קטנה יותר ביכולות כלליות.
- מדד מפתח: ירידה חדה בזכירה הסגורה, יציבות יחסית במדדי היגיון פתוח, וירידה ממוקדת במתמטיקה.
- תופעה רוחבית: דפוסי הפרדה דומים בין זכירה למבנים כלליים נצפו גם במודלי ראייה.
“משימות כמו חשבון ושליפת עובדות נשענות על כיוונים צרים במשקלי המודל — בניגוד למנגנוני היגיון כלליים.”
לדברי מחברי המאמר, הפרדה זו מוסברת על ידי הבדלי עקמומיות בנוף ההפסד
למה חשבון ‘חי’ במסלולי הזיכרון? רמזים מהספרות המחקרית
הטענה שחשבון במודלי שפה אינו “אלגוריתם כללי” אלא אוסף היוריסטיקות מקבלת חיזוק מעבודות קודמות. חוקרים הראו כי עבור אריתמטיקה בסיסית, מודלים מסתמכים על נוירונים ספורים המזהים תבניות מספריות ומחזירים תשובות נלמדות — כמעין “טבלת כפל מורחבת” ולא תהליך חישובי עקרוני. גם מחקרי רשתות לא-מאומנות מצביעים על יכולת לבצע היגיון מופשט ללא הסתמכות על זכירה מן העבר, מה שמחדד את הפער בין “היגיון מופשט” לבין “חישוב מדויק”. בהצטלבות הראיות, מתקבלת תמונה אחידה: בהיעדר כלים חיצוניים לחישוב מדויק או ארכיטקטורה ייעודית, ידע אריתמטי נלמד כרפרטואר של תבניות וזיכרונות, ועל כן נפגע ראשון כאשר מנטרלים את מסלולי הזכירה ברשת.
- אריתמטיקה במודלי שפה נוטה להתארגן כמכלול היוריסטיקות ולא כאלגוריתם כללי.
- נוירונים מעטים עשויים “להתמחות” בזיהוי טווחי מספרים או תבניות ספרתיות.
- דיוקים חישוביים רגישים במיוחד לעריכות משקל כירורגיות, ולכן נפגעים ראשונים.
- שילוב כלים חיצוניים (מחשבונים/סוכנים) ממתן את הפער בין זכירה לחישוב אמיתי.
השלכות: פרטיות, זכויות יוצרים והנדסת מודלים
אם מסלולי הזיכרון אכן ניתנים לדיכוי ממוקד, ייפתחו דלתות חדשות למדיניות וציות: מ“זכות להישכח” דרך הסרת תכנים מוגנים בזכויות יוצרים ועד הקטנת סיכון לדליפת נתונים רגישים. גישה כזו יכולה לאפשר “עריכות אחרי-אימון” שאינן דורשות אימון מחדש מלא — הבטחה חשובה בהיבטי עלות וזמן. עם זאת, החוקרים מדגישים כי אין כרגע ערבות למחיקה מלאה: “שיכחה” עלולה להיות זמנית, ובזמן עידון נוסף הזיכרונות יכולים “לצוף” בחזרה. נוסף לכך, דיכוי מסלולי זכירה עלול לפגוע ביכולות אחרות המסתמכות על אותם כיוונים במשקלי המודל (כמו חשבון מדויק), ולכן כל עריכה תחייב תהליך רגרסיה קפדני, ניטור שיטתי וסרגלי איזון בין פרטיות, ביצועים ותאימות משפטית.
- הסרת תכני אימון רגישים לאחר האימון, מבלי לפרק את יכולות ההיגיון הכלליות.
- התאמה קלה יותר לדרישות פרטיות וקניין רוחני בסביבות ענן וארגונים רגישים.
- מודל תפעולי חדש: “עריכת מודלים” כמוצר, עם נהלי בקרת איכות ועמידות.
- חובה על תיעוד: מעקב אחר השפעות עריכה על מטלות פגיעות (חשבון, שליפה סגורה).
המבט הישראלי: בין מחקר אקדמי לפרקטיקה תעשייתית
הקהילה הישראלית פעילה במיוחד בניתוח מנגנונים במודלים. עבודות מאוניברסיטאות מובילות בארץ בחנו כיצד מודלים פותרים חשבון באמצעות היוריסטיקות וכיצד יכולת היגיון יכולה לנבוע גם ללא הסתמכות על זיכרון היסטורי. על רקע ממצאי ההפרדה בין זכירה להיגיון, מתחדדות הזדמנויות לסטארטאפים ולארגונים: הטמעת צנרת “עריכת מודלים” לצורכי ציות, פיתוח סוכנים היודעים להאציל חישוב למנועים חיצוניים בעת הצורך, ובניית בנצ'מרקים המקומיים שיבדילו בין היגיון אמיתי לשינון. עבור מגזרים כמו פיננסים, בריאות וביטחון — שבהם רגישות המידע גבוהה — האפשרות לדכא מסלולי זכירה באופן ממוקד יכולה לאפשר אימוץ מודלי שפה בתצורות פרטיות, תוך איזון בין ערך עסקי להגנת הפרט.
“הפרדה מנגנונית איננה ‘שרביט קסמים’; היא מחייבת הנדסת איכות קפדנית ומדיניות שקופה.”
מסר זהיר למפתחים ורגולטורים בעקבות הממצאים
מגבלות, מחלוקות ושאלות פתוחות
על אף הראיות המשכנעות, ישנן מגבלות מהותיות. ראשית, עריכת משקלים אינה מבטיחה מחיקה בלתי-הפיכה: קיימים דיווחים כי המשך אימון מסוגל “להחזיר” זיכרונות מושתקים. שנית, הקישור בין חשבון לזכירה עשוי להיות תלוי-סקייל: ייתכן שבמודלים גדולים בהרבה, מנגנוני חישוב כלליים יופיעו באופן מובחן יותר. שלישית, אומדני עקמומיות עצמם — ובעיקר קירובים כמו K-FAC — אינם חסינים להטיות או לרגישות מספרית באזורים קיצוניים של המרחב. לבסוף, מחקרים תיאורטיים מראים שניתן לייצג אלגוריתמים במלואם ברשתות, ולכן שאלת “למה” המודלים בוחרים בהיוריסטיקות ולא במנגנון כללי נשארת פתוחה: אילוצי אימון? נתוני אימון? או מבנה הארכיטקטורה?
איך מודדים ‘היגיון אמיתי’? לקחים לבנצ'מרקים הבאים
ההתכתשות סביב “זכירה מול היגיון” מחייבת שדרוג של שיטות ההערכה. גישות חדשות מציעות לבנות מערכי מבחן המקטינים זיהום נתונים ומכילים משימות רב-שלביות שנגזרות מתוכן עדכני. ממצאי ההפרדה מרמזים על צורך במבחנים המבודדים שליפה סגורה מהסקה פתוחה, ובמבחני מתמטיקה המסתמכים על חישוב אמיתי ולא על תבניות מוכרות. עבור חברות ישראליות, המשמעות פרקטית: לבחון מודלים מול בנצ'מרק המפריד בין “מסלולי זיכרון” ל“מסלולי היגיון”, ולהחליט אילו יכולות חיוניות ניתן להגן עליהן בעת עריכה — ואילו יש לפצות עליהן באמצעות כלים חיצוניים, תוספי ניתוח או סוכנים ייעודיים.
- הפרידו בבדיקות בין שליפה סגורה, היגיון פתוח וחשבון מדויק.
- שקלו אינטגרציה של מחשבון/מנוע סמלים לשאלות אריתמטיות.
- בנו רגרסיות תפקודיות ייעודיות לאחר כל עריכת משקל: מתמטיקה, עובדות נדירות, קוהרנטיות.
- נהלו יומן שינויים (Model Card) המתעד החלטות עריכה והשפעות רוחב.
בשורה תחתונה: צעד גדול להבנת המנגנונים — זהירות ביישום
היכולת לבודד מסלולי זכירה ממנגנוני היגיון מסמנת התבגרות של תחום הפרשנות במודלים: מעבר מתיעוד תופעות לתפעול מכוון של מנגנונים. עבור האקדמיה, זהו נתיב מחקר עשיר: כיצד משתנה ההפרדה עם קנה מידה, סוגי נתונים ואדריכלות. עבור התעשייה, זו הזדמנות — אך גם אחריות — לבנות כלי “עריכת מודלים” עם בלמי בטיחות, שקיפות ומדיניות ציות. עבור הקהילה הישראלית, הממצא משתלב עם מגמות קיימות: הפרדה בין היגיון לזכירה, חיזוק סביבות עם חישוב חיצוני, והתרכזות בבנצ'מרקים נקיים. השורה התחתונה כפולה: אפשר כבר היום להפחית זכירה בעייתית מבלי לנפץ את ההיגיון — אך יש לשמור על משמעת הנדסית, אחרת נשלם בפגיעה חריפה ביכולות כמו חשבון.
מבט קדימה מציב אתגר ברור: לתכנן מודלים היודעים גם להסיק וגם לחשב באופן עקרוני. ייתכן שהפתרון יגיע מארכיטקטורות היברידיות המשלבות טרנספורמר עם מנוע חישובי סמלי, או מטכניקות אימון המכריחות את המודל לגלות כללים במקום לשנן תבניות. בינתיים, ההפרדה בין “מסלולי זיכרון” ל“מסלולי היגיון” מעניקה לארגונים כלים חדשים לניהול סיכונים, לסטנדרטים של פרטיות, ולביצועים עקביים יותר. היא גם מכוונת את המחקר אל השאלה העמוקה באמת: כיצד הופך מנגנון סטטיסטי להסקה כללית ברת-אמון — ומתי הוא נשאר רק אוסף תזכורות חכמות? התשובה לכך תקבע לא מעט מהיכולות שנראה בדורות הבאים של מודלים, כאן ובכל העולם.