חיפוש חזותי אחר תכונות וצירוף מילים
מקור: המעבדה של ג'ונתן פלומבאום – אוניברסיטת ג'ונס הופקינס
איך אנשים מוצאים אובייקטים בסצנות חזותיות עמוסות? חשבו, למשל, לחפש מפתחות על שולחן מבולגן,…
1. עיצוב גירוי
- הניסוי כולל שני סוגים של ניסויים. במחצית מהניסויים – ניסויי החיפוש בתכונות – המשתתפים יתבקשו למצוא פס אדום בין הכחולים. אז תעבדו קבוצה של 40 צגים, שממקמים את הפס האדום באופן אקראי בכל אחד מהם, וממקמים באופן אקראי גם 3, 6, 9 או 12 פסים כחולים. מספר הפסים הכחולים הוא עומס מסיח הדעת. יהיו מספר שווה של ניסויים (10 במקרה זה) עבור כל עומס.
- הניסוי דורש גם ניסויים בהיעדר מטרות, ניסויים שאינם כוללים את יעד החיפוש, במקרה זה, את הסרגל האדום. הפוך 40 כאלה גם כן, שוב, כולל 10 עבור כל עומס מסיח דעת. היעד הנוכחי וההיעדר מבחנים, לפי עומס, אמור להיראות כמו הדוגמאות המוצגות באיור 1.
איור 1: תצוגות לדוגמה לחיפוש חזותי מוקפץ. השורה העליונה מציגה ניסיונות עם מטרה, פס אדום יחיד, נוכח. השורה התחתונה מציגה ניסויים ללא מטרה, או יעד נעדר. מספר הלא-מטרות, שהן מסיחי דעת, גדל משמאל לימין. - החצי השני של הניסויים יכלול חיפוש צירוף. במקרה זה, משקיפים יחפשו פס אדום שמכוון למינוי 45°,כלומר,מוטה שמאלה, במקום ימינה). שוב, עומס מסיח הדעת ישתנה, כולל 3, 6, 9 או 12. אבל במקרה זה, מסיחי הדעת יגיעו בשני סוגים: פסים כחולים בזווית של -45°, ומוטות אדומות בזווית +45°(כלומר,מוטות ימינה). כל משפט יכלול שני סוגי מסיחי דעת, ושוב, יהיו גם ניסויים בהיעדר יעד (איור 2).
איור 2: תצוגות לדוגמה לחיפוש חזותי בשילוב. השורה העליונה מציגה ניסיונות עם מטרה, פס אדום מכוון שמאלה, נוכח. השורה התחתונה מציגה ניסויים ללא מטרה, או יעד נעדר. מספר הלא-מטרות, שהן מסיחי דעת, גדל משמאל לימין.
2. הליך
- הפעל את ניסויי החיפוש והחיבור של התכונות בבלוקים נפרדים. חלק מהמשתתפים מבצעים תכונה ראשונה, והאחרים מבצעים צירוף מילים ראשון. ההליך הבסיסי זהה עבור שני סוגי הניסויים.
- כדי לרצף את הניסוי, ישלבו באופן אקראי ניסויים בהווה/נעדרים ועומסי מסיחי דעת, כך שהניסוי יכלול רצף של ניסויים בלתי צפויים.
- בכל ניסוי, הצג גירויים עד שהמשתתף מציין אם יעד קיים או נעדר בניסוי זה. הקצה מפתח אחד, מקש 'M' להצגת תגובות ומקש 'Z' לתגובות חסרות.
- יש המשתתף להגיב מהר ככל האפשר, אבל בלי לעשות טעויות.
- שימוש בחבילת תוכנה ניסיונית, כגון ePrime או סביבת תכנות כגון MATLAB, תיעד את תגובת המשתתף בכל ניסוי, יחד עם זמן התגובה שלו. בדרך זו, אתה יכול לבדוק כי המשתתף ענה כראוי, וגם לראות כמה זמן הם לקחו.
3. ניתוח
- בסוף הניסוי, פלט את הנתונים לגיליון אלקטרוני. כלול אם המשתתפים ענו כראוי, זמן התגובה שלהם, ואת הפרמטרים של כל ניסוי, כלומר, היה זה הווה או ניסיון נעדר, בתכונה או בלוק החיפוש בשילוב, ועם כמה מסיחי דעת.
- ממוצע זמני התגובה של המשתתף בכל הניסויים הנוכחיים של היעד, כפונקציה של תנאי (תכונה לעומת צירוף) ועומס מסיח דעת.
- שים לב כי התוצאות של ניסויים נעדר היעד לא מקבלים מנותח. אלה כלולים כי, אחרת, המשתתף יכול פשוט להכות "נוכח" על כל משפט מבלי למצוא את היעד. אבל תסתכל על הביצועים הכלליים, כדי לוודא שהמשתתף שם לב ומנסה כמיטב יכולתו. בדרך כלל, אם משתתף הוא פחות מ 75% נכון על ניסויים נעדרים, נתוני זמן התגובה שלהם אינם מנותחים.
- השאלות האנליטיות העיקריות נוגעות להבדלים בזמן התגובה בין צירוף לבין ניסויי חיפוש תכונות. זמני התגובה צריכים להיות ארוכים בהרבה עבור ניסויי חיפוש בשילוב ככל שעומס מסיחי הדעת גדל. אבל הם צריכים להיות מושפעים יחסית בניסויי חיפוש תכונה.
תשומת לב חזותית מתייחסת ליכולת להתמקד רק בחלק מהתמונה. כדי לחקור כיצד אנשים מטפלים באובייקטים בסצנות חזותיות עמוסות, פסיכולוגים משתמשים בפרדיגמה המכונה חיפוש חזותי.
לעתים קרובות, ניסויי חיפוש חזותיים יכולים לעזור לחוקרים להסביר מדוע אובייקטים מסוימים קלים לאיתור ואחרים קשים יותר.
באמצעות פרדיגמת החיפוש החזותי, וידאו זה ידגים כיצד לעצב ולזהות גירויים לניסויים, כמו גם לבצע, לנתח ולפרש תוצאות.
כדי לעצב את הגירויים, לחבר זוג תנאים דומים מאוד במונחים של תוכן התצוגה, אבל משתנים במונחים של קושי החיפוש. שקול את הדוגמה המנוגדת הקלאסית בין 'חיפוש תכונות' ו'חיפוש צירוף מילים'.
במצב חיפוש תכונות, ניסויי עיצוב שבהם תכונה אחת מבדילה יעד בין שכנותיה, המכונה מסיחי הדעת. כאן, המטרה היא פס אדום, וכל מסיחי הדעת הם פסים כחולים. המשתתף צריך למצוא ביעילות את היעד, כפי שהוא "קופץ החוצה" במהירות, גם כאשר עומס מסיח הדעת גדל משלושה, שישה, תשעה, או 12 פסים כחולים.
במצב חיפוש שילוב, ניסויי עיצוב שבהם היעד משתף קווי דמיון עם מסיחי דעת. כאן, פס יעד אדום מכוון למינוי 45°, ומסיחי דעת אדומים וכחולים מכוונים ל-+45°. במקרה זה, המשתתף צריך למצוא את החיפוש קשה יותר כי הדמיון אינו מספק אפקט "pop out".
בתוך כל תנאי חיפוש, צור שתי קבוצות של 40 ניסויים שבהם היעד קיים או נעדר. הקפד לכלול 10 ניסויים עם כל עומס מסיח דעת של שלושה, שישה, תשעה או 12 פסים. שלל באופן אקראי את כל הניסויים כדי להבטיח רצפים בלתי צפויים עבור כל סוג חיפוש.
כדי להתחיל בניסוי, התחל על-ידי הפעלת המשימות חיפוש תכונות וחיפוש שילוב. השתמש בעיצוב מאוזן נגדי, כך שחלק מהמשתתפים יתחילו בחיפוש תכונות, בעוד שאחרים ישלימו תחילה את חיפוש החיבור.
כאשר המשתתף יושב ליד המחשב, הקצה את מקש 'M' כדי לייצג את התגובות הנוכחיות של היעד ואת מקש 'Z' עבור תגובות חסרות יעד. ציין למשתתף כי עליו ללחוץ על המקשים המתאימים כדי להשלים כל ניסיון במהירות האפשרית, בניסיון לא לעשות טעויות.
במהלך כל ניסיון, צלם אם תגובת המשתתף הייתה נכונה או שגויה, כמו גם את זמן התגובה. פלט את התוצאות בגיליון אלקטרוני.
לאחר שהמשתתף השלים את שני סוגי החיפוש, בדוק את הביצועים הכוללים של הניסויים החסרים ביעד כדי לוודא שהמשתתף שם לב. אל תכלול כל משתתף שמבצע פחות מ-75% נכון בניסויים אלה.
לאחר אימות ביצועי הקריטריון, ממוצע זמני התגובה של כל משתתף עבור כל הניסויים הנוכחיים של היעד, כפונקציה של תנאי חיפוש (תכונה לעומת צירוף) ועומס מסיח דעת.
לאחר מכן הנתונים גרף על-ידי התוויית זמני התגובה הממוצעים על-פני עומסי מסיחי דעת עבור התכונה ותנאי החיפוש של צירוף. זמני התגובה עבור משימת חיפוש התכונות אינם מושפעים יחסית מעומס מסיח דעת. לעומת זאת, זמני התגובה של חיפוש צירוף מילים גדלים באופן ליניארי עם עומס מסיח דעת. בנוסף, שני החיפושים לוקחים כ -200 אלפיות שני עם מינימום של שלושה מסיחי דעת נוכחים. זה מרמז כי כמות אחידה של זמן יש צורך להתחיל לחפש ולעשות תגובה.
כעת, כאשר אתם מכירים את הגדרת ניסוי חיפוש חזותי, תוכלו ליישם גישה זו כדי לענות על שאלות מחקר ספציפיות יותר.
אחד האתגרים העיקריים העומדים בפני מערכת הראייה שלנו כרוך בשילוב המורכב של תכונות חזותיות מרובות. מציאת פס אדום בין כל הכחולים היא קלה מכיוון שרק מידע צבע רלוונטי.
עם זאת, בעת איתור אובייקט בעל מספר תכונות שונות, כגון כיוון וצבע, יש להשתמש בתשומת לב רבה יותר כדי לאגד תכונות אלה יחד.
לדוגמה, חוקרים מיישמים תכונות חיפוש חזותיות כדי לשפר את האופן שבו רופאים מחפשים סימנים מסוימים כאשר הם מסתכלים על צילום רנטגן או סריקת MRI.
בנוסף, גישת החיפוש החזותי משפיעה על האופן שבו אנשי TSA מחפשים באמצעות סריקות של כבודת נוסעים בשדה התעופה.
הרגע צפית בהקדמה של ג'וב על עריכת ניסוי חיפוש חזותי. עכשיו אתה צריך הבנה טובה של איך לעשות גירויי חיפוש חזותי עבור שני סוגים שונים של תנאי חיפוש חזותיים, איך לנהל את הניסוי, ולבסוף איך לנתח ולפרש את התוצאות.
אתה צריך גם מושג על סוג תשומת הלב הנדרשת כאשר אתה מחפש מפתחות על שולחן מבולגן או למצוא את הפרי הבשל ביותר למראה במכולת.
תודה שצפיתם!
קשב חזותי מתייחס ליכולת להתמקד רק בחלק מהתמונה. כדי לחקור כיצד אנשים מתייחסים לאובייקטים בסצנות חזותיות עמוסות, פסיכולוגים משתמשים בפרדיגמה המכונה חיפוש חזותי.
לעתים קרובות, ניסויי חיפוש חזותי יכולים לסייע לחוקרים להסביר מדוע אובייקטים מסוימים קלים לאיתור ואחרים קשים יותר.
באמצעות פרדיגמת החיפוש החזותי, סרטון זה ידגים כיצד לעצב ולזהות גירויים לניסויים, כמו גם לבצע, לנתח ולפרש תוצאות.
כדי לעצב את הגירויים, חבר זוג תנאים הדומים מאוד מבחינת תוכן התצוגה, אך משתנים מבחינת קושי החיפוש. שקול את הדוגמה המנוגדת הקלאסית בין 'חיפוש תכונות' ל'חיפוש צירופים'.
בתנאי חיפוש תכונות, ניסויי תכנון שבהם תכונה אחת מבדילה מטרה בין שכנותיה, הידועות כמסיחי דעת. כאן, המטרה היא פס אדום, וכל מסיחי הדעת הם פסים כחולים. המשתתף צריך למצוא את המטרה ביעילות, מכיוון שהיא "קופצת" החוצה במהירות, גם כאשר עומס מסיח הדעת גדל משלושה, שישה, תשעה או 12 פסים כחולים.
בתנאי חיפוש צירוף, ניסויי עיצוב שבהם המטרה חולקת קווי דמיון עם מסיחי דעת. כאן, סרגל מטרה אדום מכוון ב-45?, ומסיחי דעת אדומים וכחולים מכוונים ב-+45?. במקרה זה, המשתתף אמור למצוא את החיפוש קשה יותר מכיוון שהדמיון אינו מספק אפקט "קופץ".
בתוך כל תנאי חיפוש, צור שתי קבוצות של 40 ניסויים שבהם היעד נוכח או נעדר. הקפד לכלול 10 ניסויים עם כל עומס מסיח דעת של שלושה, שישה, תשעה או 12 בר. שזור באופן אקראי את כל הניסויים כדי להבטיח רצפים בלתי צפויים עבור כל סוג חיפוש.
כדי להתחיל בניסוי, התחל בהפעלת המשימות חיפוש תכונות וחיפוש צירופים. השתמש בעיצוב מאוזן, כך שחלק מהמשתתפים יתחילו בחיפוש תכונות, בעוד שאחרים ישלימו את חיפוש הצירוף תחילה.
כאשר המשתתף יושב ליד המחשב, הקצה את מקש 'M' לייצוג תגובות היעד הנוכחיות, ואת מקש 'Z' לתגובות נעדרות מטרה. ציין למשתתף שעליו ללחוץ על המקשים המתאימים כדי להשלים כל ניסיון במהירות האפשרית, תוך ניסיון לא לעשות טעויות.
במהלך כל ניסוי, לכוד אם תגובת המשתתף הייתה נכונה או שגויה, כמו גם את זמן התגובה. פלט את התוצאות לגיליון אלקטרוני.
לאחר שהמשתתף השלים את שני סוגי החיפוש, בחנו את הביצועים הכוללים של היעד בניסויים נעדרים כדי לוודא שהמשתתף שם לב. אל תכלול כל משתתף שביצע פחות מ-75% נכונים בניסויים אלה.
לאחר אימות ביצועי הקריטריון, ממוצע זמני התגובה של כל משתתף עבור כל הניסויים הנוכחיים, כפונקציה של מצב החיפוש (תכונה לעומת צירוף) ועומס מסיח הדעת.
לאחר מכן, הנתונים משורטטים בגרף על ידי התוויית זמני התגובה הממוצעים על פני עומסי הסחת דעת עבור תנאי החיפוש של התכונה והצירוף. זמני התגובה עבור המשימה 'חיפוש תכונות' אינם מושפעים באופן יחסי מעומס מסיח הדעת. לעומת זאת, זמני התגובה של חיפוש צירוף גדלים באופן ליניארי עם עומס מסיח הדעת. בנוסף, שני החיפושים נמשכים כ-200 אלפיות השנייה עם מינימום של שלושה מסיחי דעת. זה מצביע על כך שנדרש פרק זמן אחיד כדי להתחיל לחפש ולהגיב.
כעת, כשאתה מכיר את הגדרת ניסוי חיפוש חזותי, אתה יכול ליישם גישה זו כדי לענות על שאלות מחקר ספציפיות יותר.
אחד האתגרים העיקריים העומדים בפני מערכת הראייה שלנו כרוך באינטגרציה המורכבת של תכונות חזותיות מרובות. קל למצוא פס אדום בין כל הכחולים מכיוון שרק מידע על צבע רלוונטי.
עם זאת, כאשר מוצאים אובייקט שיש לו כמה תכונות שונות, כגון כיוון וצבע, יש להקדיש תשומת לב רבה יותר כדי לקשור את התכונות הללו יחד.
לדוגמה, חוקרים מיישמים מאפייני חיפוש חזותי כדי לשפר את האופן שבו רופאים מחפשים סימנים מסוימים כשהם מסתכלים על צילום רנטגן או סריקת MRI.
בנוסף, גישת החיפוש החזותי משפיעה על האופן שבו אנשי TSA מחפשים באמצעות סריקות של כבודת נוסעים בשדה התעופה.
זה עתה צפיתם בהקדמה של JoVE על עריכת ניסוי חיפוש חזותי. כעת אתם אמורים להבין היטב כיצד ליצור גירויים לחיפוש חזותי עבור שני סוגים שונים של מצבי חיפוש חזותי, כיצד לערוך את הניסוי, ולבסוף כיצד לנתח ולפרש את התוצאות.
כדאי שיהיה לך גם מושג לגבי סוג תשומת הלב הנדרשת כאשר אתה מחפש מפתחות על שולחן מבולגן או מוצא את הפרי הבשלים ביותר במכולת.
תודה שצפית!
View the full transcript and gain access to JoVE Science Education videos
Q1: What is the difference between feature search and conjunction search?
Feature search involves finding a target distinguished by a single feature, like a red bar among blue bars, where the target pops out quickly regardless of distractor load. Conjunction search requires finding a target sharing similarities with distractors, such as a red bar at -45° among red and blue bars at +45°, making the search more difficult and dependent on distractor quantity.
Q2: How does distractor load affect response times in visual search tasks?
In feature search, response times remain relatively unaffected as distractor load increases from three to twelve items. However, in conjunction search, response times increase linearly with distractor load. Both tasks require approximately 200 milliseconds with minimal distractors, suggesting a baseline time needed to initiate searching and respond.
Q3: What is visual attention and why is it important for visual search?
Visual attention is the ability to focus on just part of an image, selectively directing processing resources to determine whether a target is present. It is crucial for understanding why some objects are easy to find in cluttered scenes while others are difficult, making it fundamental to studying visual search paradigms.
Q4: How should you design stimuli for a visual search experiment?
Create two similar conditions that vary in search difficulty: feature search with a single distinguishing feature, and conjunction search where the target shares similarities with distractors. For each condition, generate 40 trials with target present or absent, including 10 trials at each distractor load of three, six, nine, or twelve items, randomly interleaved.
Q5: What performance criteria should you use to validate participant attention during visual search?
Examine overall performance on target absent trials to ensure participants were paying attention. Exclude any participant scoring below 75% correct on these trials. This criterion ensures data quality before averaging response times across search conditions and distractor loads for analysis.
Q6: Why is feature binding important in complex visual search tasks?
Feature binding involves integrating multiple visual features, such as color and orientation, to locate a target. Finding a red bar among blue ones requires only color information, but searching for an object with multiple features demands more attention to bind those features together, increasing search difficulty and response time.
Q7: What real-world applications does visual search research have?
Visual search principles improve how physicians search for diagnostic signs in X-rays and MRI scans, and how TSA personnel search baggage scans at airports. The paradigm also explains everyday visual tasks like finding keys on a messy desk or locating a friend in a crowded airport.