מגזין הטכניון | קיץ 2025

https://www.nature.com/articles/s41467-025-56162-9#Sec8 למאמר: 22 מודל שפה ) ובהם כמה LLMs ודלי שפה גדולים ( Bard ו- GPT "כוכבים" פופולריים כגון צ'אט חוללו בעשור האחרון מהפכה ביכולתן של מערכות ממוחשבות למלא משימות ולפתור בעיות. מודלים אלה בנויים ברובם על רשתות נוירונים מלאכותיות ועל למידה או אימון על סמך כמויות טקסט גדולות מאוד. כיום הם כבר מייצרים טקסטים, מתרגמים טקסטים משפה לשפה ואפילו מזהים סנטימנטים בטקסט נתון. כמו רשתות הנוירונים המלאכותיות, שהן הבסיס לבינה שואבים השראה LLMs המלאכותית בכללה, גם מהמוח האנושי, אולם חשוב להכיר בהבדלים בין שני עולמות אלה. מחקר שנערך בפקולטה למדעי הנתונים Nature Communications וההחלטות ופורסם ב- מצביע על קווי הדמיון והשוני בין המוח למודלי שפה גדולים בהקשר ספציפי: הבנת טקסטים מושמעים. את המחקר הובילו פרופ' רועי רייכרט וד"ר רפאל טיקוצ'ינסקי. זהו חלק מהדוקטורט של ד"ר טיקוצ'ינסקי, שנערך בהנחייה משותפת של פרופ' רייכרט מהטכניון ופרופ' אורי חסון מאוניברסיטת פרינסטון. במחקר שותפים ד"ר אריאל גולדשטיין מהאוניברסיטה העברית ויואב מאירי, סטודנטלתוארשני בפקולטהלמדעי הנתונים וההחלטות.   - fMRI המחקר שנערך בטכניון מבוסס על סריקות נבדקים בזמן שהקשיבו 219- דימות תפקודי של המוח - ב קיימים LLMs לסיפורים. החוקרים בחנו את יכולתם של לנבא את הפעילות המוחית בזמן ההקשבה, וגילו כי הניבוי מוצלח רק כאשר מדובר בטקסטים קצרים - עשרות מילים לכל היותר. כאשר הטקסט ארוך יותר, מודלים אלה אינם מצליחים לנבא את הפעילות במוחו של האדם המקשיב. טיקוצ'ינסקי ופרופ' רייכרט הראו כי הסיבה לכישלון זה הוא בכך שבטקסטים ארוכים, המוח האנושי אינו מתנהג . כאשר הטקסט ארוך, המודל המלאכותי LLMs בדומה ל- ממשיך לעבד אותו באותו אופן, אך המוח - שאינו יכול לעבד אותו בשלמותו - עובר למוד אחר, "מנגנון צבירה". מְאַגֵּם פירוש הדבר הוא שאת הטקסט ששמע עד כה המוח במעין מצבור של ידע הקשרי, ועל פיו הוא מפרש את המילים הבאות שישמע. המודל המלאכותי, לעומתו, יכול לעבד בעת ובעונה אחת את כל הטקסט ששמע עד כה, ולכן הוא אינו נזקק לאותו מנגנון צבירתי. החוקרים פיתחו מודל מלאכותי משופר הפועל בדומה למוח. מודל זה התבסס על תקצירים דינמיים של הטקסט שהושמע עד כה, ועל פיהם הוא פיענח את המשך הטקסט. מודל זה אכן שיפר את ניבוי הפעילות המוחית, מה שמראה כי המוח המקשיב עוסק כל העת בסיכום של הטקסט הקודם ומתבסס עליו בהבנת המשך הטקסט. באמצעות אנליזה משלימה ערכו החוקרים מיפוי של אזורי מוח הממלאים תפקידים קריטיים הן בתהליכי עיבוד קצרים והן בארוכים, כפי שהם מראים באיור . בחלק התחתון של האיור - האזורים 23 שבעמוד המטפלים במקטעי הטקסט הקצרים; בחלק העליון - האזורים האחראים ל"צבירת ההקשר" המאפשרת לאדם להבין את המשך הטקסט על סמך הטקסט שהושמע עד אותה נקודה. ממצאי המחקר מראים כי העיבוד ההיררכי במוח מאפשר אינטגרציה גמישה של מידע על ציר הזמן ומספקים תובנות משמעותיות הן לגבי מדעי המוח והן . AI לגבי פיתוח בעולם ה- . NIH המחקר נתמך על ידי מלגת מל"ג ו- כך מתמודד המוח עם יחידות טקסט גדולות מ פרופ' רועי רייכרט ד"ר רפאל טיקוצ'ינסקי צילום: מיכל כהן