פענוח תמונות שמיעתיות עם ניתוח תבניות רב-תכליתיות
מקור: מעבדות של ג'ונאס ט. קפלן ושרה גימבל – אוניברסיטת דרום קליפורניה
תארו לעצמכם את הצליל של פעמון מצלצל. מה קורה במוח כשאנחנו מעלה צליל כזה ב"אוזן ש…
1. גיוס משתתפים
- לגייס 20 משתתפים.
- המשתתפים צריכים להיות ימניים ואין להם היסטוריה של הפרעות נוירולוגיות או פסיכולוגיות.
- המשתתפים צריכים להיות בעלי ראייה נורמלית או מתוקנת לנורמלית כדי להבטיח שהם יוכלו לראות את הרמזים החזותיים כראוי.
- המשתתפים לא צריכים להיות מתכת בגוף שלהם. זוהי דרישת בטיחות חשובה בשל השדה המגנטי הגבוה המעורב fMRI.
- המשתתפים לא צריכים לסבול קלסטרופוביה, שכן fMRI דורש שוכב בחלל הקטן של הסורק משעמם.
2. הליכי טרום סריקה
- מלא ניירת סריקה מראש.
- כאשר המשתתפים מגיעים לסריקת ה- fMRI שלהם, הנחו אותם למלא תחילה טופס מסך מתכת כדי לוודא שאין להם אינדיקציות נגדיות ל- MRI, טופס ממצאים מקריים המעניק הסכמה לסריקה שלהם להיבדק על ידי רדיולוג, טופס הסכמה המפרט את הסיכונים והיתרונות של המחקר.
- הכן את המשתתפים להיכנס לסורק על ידי הסרת כל המתכת מגופם, כולל חגורות, ארנקים, טלפונים, קליפסים לשיער, מטבעות וכל התכשיטים.
3. לספק הוראות למשתתף.
- אמור למשתתפים שהם יראו סדרה של מספר סרטונים קצרים בתוך הסורק. הסרטונים האלה יהיו שקטים, אבל הם עשויים לעורר צליל ב"אוזן המוח" שלהם. בקש מהמשתתף להתמקד ולעודד דימויים שמיעתיים אלה, לנסות "לשמוע" את הצליל כמיטב יכולתו.
- להדגיש בפני המשתתף את החשיבות של שמירה על הראש שלהם עדיין לאורך הסריקה.
4. שים את המשתתף בסורק.
- תן את אטמי האוזניים של המשתתף כדי להגן על אוזניהם מפני הרעש של הסורק וטלפוני האוזן ללבוש כדי שיוכלו לשמוע את הנסיין במהלך הסריקה, ויש להם לשכב על המיטה עם הראש שלהם ב סליל.
- תן למשתתף את כדור סחיטה חירום והנחה אותם לסחוט אותו במקרה חירום במהלך הסריקה.
- השתמש רפידות קצף כדי לאבטח את הראש של המשתתפים ב סליל כדי למנוע תנועה עודפת במהלך הסריקה, ולהזכיר למשתתף כי חשוב מאוד להישאר בשקט ככל האפשר במהלך הסריקה, כמו אפילו התנועות הקטנות ביותר לטשטש את התמונות.
5. איסוף נתונים
- לאסוף סריקה אנטומית ברזולוציה גבוהה.
- התחל בסריקה פונקציונלית.
- סנכרן את תחילת מצגת הגירוי עם תחילת הסורק.
- כדי להשיג את הדגימה הטמפורלית הדלילה, הגדר את זמן הרכישה של נפח MRI ל- 2 שניות, עם עיכוב של 9 שניות בין רכישות נפח.
- הצג את הסרטונים השקטים באמצעות מחשב נישא המחובר למקרן. למשתתף יש מראה מעל עיניהם, המשקפת מסך בחלק האחורי של הסורק.
- סנכרן את ההתחלה של כל סרטון וידאו של 5 שניות כדי להתחיל ב- 4 שניות לאחר תחילת רכישת MRI הקודמת. פעולה זו תבטיח כי נפח MRI הבא נרכש 7 s לאחר תחילת קליפ הווידאו, כדי ללכוד את הפעילות המודינמית המתאימה לאמצע הסרט.
- הצג שלושה סרטונים שקטים שונים המעוררים דימויים שמיעתיים מלאי חיים: פעמון המתנדנד קדימה ואחורה, מסור חשמלי חותך דרך עץ, ואדם מנגן בכינור.
- בכל סריקה פונקציונלית, הצג כל סרטון 10 פעמים, בסדר אקראי. כאשר כל ניסוי נמשך 11 s, התוצאה תהיה סריקה 330 s (5.5 דקות) ארוך.
- בצע 4 סריקות פונקציונליות.
6. ניתוח נתונים
- הגדר אזור עניין (ROI).
- השתמשו בסריקה האנטומית ברזולוציה גבוהה של כל משתתף כדי לאתר את הווקסלים המתאימים לקליפת המוח השמיעתית המוקדמת (איור 1). זה מתאים לפני השטח של האונה הטמפורלית, שנקראת פלאנום זמני. השתמש בתכונות האנטומיות של המוח של כל אדם כדי ליצור מסכה ספציפית לקליפת המוח השמיעתית שלו.
איור 1: אזור של מעקב עניין. פני השטח של הפלנום זמני כבר במעקב על התמונה האנטומית ברזולוציה גבוהה של משתתף זה, והוא מוצג כאן בכחול. בירוק יש את מסכת השליטה של הקוטב הקדמי. voxels אלה ישמשו לניתוח MVPA.
- קדם-עיבוד הנתונים.
- בצע תיקון תנועה כדי להפחית את ממצאי התנועה.
- בצע סינון זמני כדי להסיר את הסחף האות.
- לאמן ולבדוק את אלגוריתם המסווג.
- חלק את הנתונים בערכות הדרכה ובדיקה. נתוני ההכשרה ישמשו להכשרת המסווג, ותנוני הבדיקות שנותרו ישמשו להערכת מה שלמד. כדי למקסם את העצמאות של נתוני הדרכה ובדיקה, השאירו נתונים מסריקה פונקציונלית אחת כסדרת הבדיקות.
- אמן אלגוריתם של מכונת וקטור תמיכה על נתוני האימון המסומנים מקליפת המוח השמיעתית בכל נושא. בדוק את יכולתו של המסווג לנחש נכון את זהות ערכת הבדיקות ללא תווית, ולתעד את דיוק המסווג.
- חזור על הליך זה 4 פעמים, והשמיט כל סריקה כנתונים לבדיקה בכל פעם. סוג זה של הליך, שבו כל מקטע של הנתונים נשאר בחוץ פעם אחת, נקרא אימות צולב.
- שלב דיוק מסווג בין 4 קפלי האימות הצולבים על-ידי ממוצע.
- בדיקה סטטיסטית
- כדי לקבוע אם המסווג מתפקד טוב יותר מההזדמנות (33%), אנו יכולים להשוות תוצאות ברמת הקבוצה במקרה. כדי לעשות זאת, לאסוף את הדיוק עבור כל נושא, ולבדוק כי ההתפלגות שונה מקרית באמצעות מבחן דרגה חתומה וילקוסון לא פרמטרי.
- אנחנו יכולים גם לשאול אם המסווג הוא ביצועים טובים יותר מאשר סיכוי עבור כל אדם. כדי לקבוע את ההסתברות לרמת דיוק נתונה בנתונים מקריים, צור התפלגות Null על-ידי אימון ובדיקה של אלגוריתם ה- MVPA בנתונים שהתוויות שלהם דשדשו באופן אקראי. שינוי התמתויות 10,000 פעמים כדי ליצור התפלגות Null של ערכי דיוק ולאחר מכן השווה את ערך הדיוק בפועל להפצה זו.
- כדי להדגים את הספציפיות של המידע בתוך קליפת המוח השמיעתית, אנו יכולים לאמן ולבדוק את המסווג על voxels ממיקום אחר במוח. כאן, נשתמש במסכה של הקוטב הקדמי, שנלקחה מאטלס טרף מעוות כדי להתאים למוח האינדיבידואלי של כל נבדק.
דמיון שמיעתי הוא תהליך המוליד את החוויה של שמיעת צלילים, גם כאשר אין גירויים שמיעתיים חיצוניים.
לדוגמה, חשבו על שמיעת צליל של צלצול טלפון סלולרי. בעוד שמידע בתוך הזיכרון עומד בבסיס האירוע הדמיוני הזה, הראיות מצביעות על כך שמוחו של אדם משתמש באותם מנגנוני דמיון כמו אלה המעורבים בתפיסה בפועל.
רק כשמדמיינים את הצלצול, אזורים בקליפת המוח השמיעתית מופעלים. עם זאת, למרות שזה נכון לגבי גירויים אקוסטיים, כיצד צלילים מקודדים כדי לאפשר עיבוד מפורט של צלילים מובחנים - כמו הבחנה בין צלצול פעמון דלת לשיר המתנגן ברדיו - היא שאלה חשובה.
בהתבסס על עבודות קודמות של מאייר ועמיתיו, סרטון זה מדגים כיצד לשלב הדמיית תהודה מגנטית תפקודית עם מצגות של סרטונים שקטים שונים כדי לחקור כיצד המוח מגיב לדימויים שמיעתיים.
נתאר גם כיצד להשתמש בשיטה הנקראת ניתוח דפוסים מרובי ווקסל? MVPA בקיצור?כדי לחזות מה הנבדקים דמיינו על ידי ניתוח דפוסי הפעלה שהתקבלו במהלך מפגשי fMRI.
בניסוי הזה, המשתתפים שוכבים בסורק fMRI ומראים להם סדרה של סרטונים שקטים. כל אחד מהם - בין אם זה תרנגול קורא, מסור חשמלי שחותך עץ או אדם המנגן בפסנתר - מעורר דימויים שמיעתיים ייחודיים ומלאי חיים, והם מתבקשים לדמיין את הצלילים במהלך כל מצגת.
הליך רכישת ההדמיה מסתמך על דגימה טמפורלית דלילה, לפיה נפח fMRI בודד נרכש 4 עד 5 שניות לאחר הצגת כל גירוי. תזמון כזה לוכד את שיא התגובה ההמודינמית ומפחית את הסבירות שהאותות יוסוו על ידי רעש הסורק.
כל צליל מדומיין צפוי לעורר דפוסים עדינים אך ייחודיים של פעילות עצבית, במיוחד בקליפת המוח השמיעתית. כאן, דפוס הוא מילת המפתח: הדרך הקלאסית לנתח נתונים אלה משתמשת בגישה חד-משתנית, שבה הווקסלים הבודדים - המייצגים רמה מסוימת של הפעלה - מכווצים לממוצע יחיד.
לאחר מכן משווים ערכים אלה בין צלילים וייתכן שלא יגרמו להבדלים משמעותיים ברמות ההפעלה.
במקום זאת, באמצעות ניתוח רב-משתני, פרושים ווקסלים מרובים לכל צליל וניתן להשוות את רמות ההפעלה באופן קולקטיבי, על פני כל הווקסלים - מה שתורם לדפוס כללי ייחודי לכל צליל מדומיין.
עם גישה זו של ניתוח דפוסי ריבוי ווקסל, או MVPA, אם הדפוסים אכן רגישים לתוכן ספציפי, אז ייתכן שניתן להשתמש בהם כדי לחזות את הגירוי המקורי. נכון? MVPA מכונה לעתים קרובות טכניקת קריאת מחשבות!
כדי להשיג היבט חיזוי זה, יש לבצע עיבוד אינטנסיבי יותר לאחר איסוף המשתתפים? נתונים, המחולקים לערכות הדרכה ובדיקה.
נתונים מתויגים ממערך ההדרכה נתונים תחילה לחישובי למידת מכונה, במיוחד אלגוריתם מכונה וקטורית תומכת. תהליך זה משמש לסיווג מדויק של נתונים על ידי זיהוי תכונות בדפוסים העצביים שעשויים להבחין בין שלושת סוגי הצלילים זה מזה.
לאחר שהמסווג למד תכונות לזיהוי מדויק של הסוגים, מוצגים לו נתונים לא מסומנים ממערך הבדיקות, ולאחר מכן משווים את הניחושים שלו לתוויות הגירויים הנכונות.
במקרה זה, ביצועי הסיווג משמשים כמשתנה התלוי - שנרשם כדיוק של המסווג - אשר מושווה גם לווקסלים המעוררים במיקום אחר במוח, כגון הקוטב הקדמי.
המסווג צפוי לחזות את הזיהוי של דימויים שמיעתיים, ולחשוף את החשיבות של MVPA בזיהוי פעילות ספציפית לתוכן בתוך קליפת המוח השמיעתית.
בהתאם לחששות ניסיוניים ובטיחותיים, ודא שכל המשתתפים ימניים, בעלי ראייה תקינה או מתוקנת לנורמלית, ללא היסטוריה של הפרעות נוירולוגיות או קלסטרופוביה, ואין להם מתכת כלשהי בגופם. כמו כן, ודא שהם ממלאים את טפסי ההסכמה הדרושים.
לפני שתמשיך, הסביר שהם יראו כמה סרטונים שקטים קצרים בסורק שעשויים לעורר צליל במוחם. בקשו מהם להתמקד בצלילים המדומים, "לשמוע" אותם כמיטב יכולתם, ולהישאר דוממים למשך כל המשימה.
כעת, הכינו את המשתתף להיכנס לסורק. כדי לראות את השלבים האלה בפירוט, אנא עיין בסרטון fMRI אחר שהופק באוסף זה.
לאחר ההכנה, יישר את המשתתף ושלח אותו לתוך הקדח. בחדר הסמוך, אסוף תחילה סריקה אנטומית ברזולוציה גבוהה. לאחר מכן, סנכרן את תחילת מצגת הווידאו השקטה עם תחילת הסריקה הפונקציונלית.
כדי להשיג דגימה זמנית דלילה, הגדר את זמן הרכישה של נפח MRI ל-2 שניות, עם עיכוב של 9 שניות בין לבין.
חשוב לציין, תאם את ההתחלה של כל סרטון וידאו של 5 שניות כך שיתחיל 4 שניות לאחר תחילת רכישת ה-MRI הקודמת כדי ללכוד את הפעילות ההמודינמית המתאימה לאמצע הסרט.
הצג כל סרטון 10 פעמים, בסדר אקראי, וצור סשן סריקה אחד שנמשך 5.5 דקות. חזור על רצף רכישה פונקציונלי זה שלוש פעמים נוספות.
לאחר ביצוע ארבע הסריקות התפקודיות, הוציאו את המשתתף מהסורק ותחקרו אותו לסיום המחקר.
כדי להגדיר אזורי עניין, השתמש בסריקות אנטומיות ברזולוציה גבוהה של כל משתתף ועקב אחר ווקסלים על פני האונה הטמפורלית התואמים לקליפת המוח השמיעתית המוקדמת, הידועה גם בשם ה-planum temporale. בנוסף, צור מסכה המכילה ווקסלים באונה הקדמית, שתשמש כאזור הבקרה.
לאחר מכן, עבד מראש את הנתונים על ידי ביצוע תיקון תנועה כדי להפחית את חפצי התנועה וסינון זמני כדי להסיר סחיפות אותות.
לאחר מכן, חלק את הנתונים לשתי קבוצות: הדרכה ובדיקה. במערך נתונים אחד, אמן מסווג - אלגוריתם מכונה וקטורית תומכת - תוך הקפדה על הפרדה בין נתונים משני אזורי המוח עבור כל נבדק.
בקבוצה השנייה, הערך מה המסווג למד - יכולתו לנחש נכון את זהות הנתונים הלא מסומנים - ורשום את דיוק האלגוריתם על פני ריצות. בצע הליך זה בסך הכל ארבע פעמים, תוך השארת סריקה פונקציונלית אחת כנתוני בדיקה בכל פעם, תהליך הנקרא אימות צולב.
כדי להמחיש את הנתונים, גרף את דיוק המסווג הממוצע על פני ארבעת קפלי האימות הצולב עבור כל משתתף.
שרטטו את הממוצעים הללו הן עבור אזור העניין העיקרי - ה- planum temporale - והן עבור אזור הביקורת - הקוטב הקדמי - כדי להשוות את הספציפיות המוקדית של המסווג, המידה שבה אזור מסוים, כגון קליפת המוח השמיעתית, צפוי באופן סלקטיבי להיות מעורב בדמיון השמיעתי.
במקרה זה, הפעל סטטיסטיקה לא פרמטרית, מבחן Wilcoxon Signed-Rank, כדי לבחון ביצועים מול סיכוי, שהם 33%. שימו לב שדיוק המסווג הממוצע בקליפת המוח השמיעתית היה 59%, וזה שונה משמעותית מרמת המקרה.
לעומת זאת, הביצועים הממוצעים במסכת הקוטב הקדמי היו 33%, וזה לא שונה משמעותית מהמקרה.
יתר על כן, שימו לב שביצועי המסווג השתנו בין אנשים. לאחר שימוש במבחן פרמוטציה לחישוב סף סטטיסטי חדש של 42%, ראה כי ל-19 מתוך 20 נבדקים היו ערכי דיוק גדולים משמעותית מרמה זו באמצעות ווקסלים מהקוטב הקדמי, בעוד שלאף אחד מהם לא היו ביצועים גדולים יותר מהסיכוי באמצעות ווקסלים מהקוטב הקדמי.
בסך הכל, תוצאות אלה מצביעות על כך שטכניקות MVPA ניבאו במדויק אילו משלושת הצלילים המשתתפים דמיינו על סמך דפוסי פעילות עצבית. תחזיות כאלה נעשו רק בתוך קליפת המוח השמיעתית, מה שמרמז על כך שתוכן אקוסטי אינו מיוצג באופן גלובלי בכל המוח.
כעת, כשאתם מכירים כיצד ליישם ניתוח דפוסים מרובי ווקסל לחקר דימויים שמיעתיים, בואו נסתכל כיצד נוירו-פסיכולוגים משתמשים בטכניקות מרובות משתנים כדי לקדם גישה עתידנית לקריאת מחשבות - פענוח מצבים נפשיים - בתחומים אחרים.
מסווגים שימשו בנתוני fMRI שהתקבלו מקליפת המוח הרקתית הגחונית כדי לחזות את סוגי האובייקטים שהמשתתפים ראו, להבחין בין בתים ופנים, למשל.
אם ניקח את זה צעד אחד קדימה, אפשר אפילו לחזות אם האדם יקנה את הבית הזה או ימצא את האדם נעים. עד כמה שזה נשמע מצמרר, ההשלכות הנוירומרקטינג הללו אינן מופרכות!
ניתן להשתמש באותה גישה גם כדי לזהות מצבים רגשיים לאחר צפייה בסדרה - להכיר בכך שסרט מפחיד הוא אכן מפחיד - או אפילו לז'אנר הסרטים; לדוגמה, הסרט המפחיד עשוי לעסוק באמיגדלה באופן צפוי יותר מאשר בסרט מהורהר שמערב באופן אמין את קליפת המוח הקדם-מצחית.
בנוסף, ממשקי מוח-מחשב יכולים להמיר מצבים מנטליים לאותות שישפרו את התקשורת, במקרה של אנשים שעוברים ריפוי בדיבור, או תנועות, עבור אלה שסבלו מקטיעת גפיים.
זה עתה צפיתם בסרטון של JoVE על הבנת דימויים שמיעתיים באמצעות ניתוח דפוסים מרובי ווקסל. כעת אתם אמורים להבין היטב כיצד לתכנן ולבצע את ניסוי הדמיון השמיעתי בשילוב עם דימות מוחי תפקודי, ולבסוף כיצד לנתח ולפרש דפוסים מסוימים של פעילות מוחית.
תודה שצפית!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is auditory imagery and how does it activate the brain?
Auditory imagery is the experience of hearing sounds without external auditory stimuli present. When you imagine a sound like a ringing phone, your brain activates the same regions involved in actual sound perception. Specifically, the auditory cortex becomes engaged during auditory imagery, demonstrating that imagination and perception share similar neural mechanisms.
Q2: Why is multivoxel pattern analysis better than traditional univariate fMRI analysis?
Univariate analysis collapses individual voxels into a single average, often failing to detect significant differences across sounds. Multivoxel pattern analysis examines activation patterns across multiple voxels collectively, revealing unique overall patterns for each imagined sound. This multivariate approach is sensitive to content-specific activity that univariate methods miss, enabling studying brain activation and motor maps using fMRI principles across sensory domains.
Q3: How does sparse temporal sampling improve fMRI data collection during auditory imagery tasks?
Sparse temporal sampling acquires a single fMRI volume 4-5 seconds after each stimulus, capturing the peak of the hemodynamic response. This timing reduces signal masking by scanner noise, which is critical for auditory imagery studies where external sounds must not interfere with imagined auditory content. The approach allows cleaner detection of neural activity patterns.
Q4: What role does the Support Vector Machine algorithm play in predicting imagined sounds?
The Support Vector Machine is a machine-learning classifier trained on labeled fMRI data to recognize neural features distinguishing different sounds. After learning these features from training data, it predicts unlabeled test data by identifying which sound pattern matches the neural activity. Classification accuracy reveals whether the auditory cortex encodes sound-specific information.
Q5: Why is the planum temporale used as the region of interest in auditory imagery studies?
The planum temporale, located on the temporal lobe surface, is the early auditory cortex where sound processing occurs. Researchers trace voxels in this region to measure neural patterns during auditory imagery. The frontal pole serves as a control region to demonstrate that classifier accuracy is specific to auditory cortex rather than global brain activity.
Q6: What does cross-validation accomplish in MVPA analysis of auditory imagery data?
Cross-validation tests classifier performance by leaving out one functional scan as testing data while training on the remaining scans, repeated four times. This procedure prevents overfitting and provides robust accuracy estimates across different data subsets. The averaged accuracies across folds reveal whether the classifier reliably predicts imagined sounds based on auditory cortex patterns.
Q7: How can MVPA techniques extend beyond auditory imagery to other neuroscience applications?
MVPA classifiers have decoded visual objects from ventral temporal cortex, predicted consumer preferences, and identified emotional states from brain activity patterns. Brain-computer interfaces could convert mental states into signals for speech therapy or prosthetic control. These applications demonstrate that multivariate pattern analysis reveals information content across sensory and cognitive domains.