אמינות בניסויים פסיכולוגיים

Reliability in Psychology Experiments

JoVE Science Education
Experimental Psychology

A subscription to JoVE is required to view this content. Sign in or start your free trial.

JoVE Science Education Experimental Psychology

Reliability in Psychology Experiments

2.4: Perspectives on Experimental Psychology

2.13: Placebos in Research

8,615 Views

•

05:13 min

•

February 04, 2015

Overview

מקור: מעבדות של גארי לוונדובסקי, דייב סטרוהמץ ונטלי קירוקו – אוניברסיטת מונמאות’

כדי ללמוד משהו מדעי, חוקר צריך לקבוע דרך לכמת אותו. עם זאת, מבנים פסיכולוגיים יכולים להיות מאתגרים למדידה ולכומת. סרטון וידאו זה בוחן את האמינות בהקשר של ניתוח תוכן.

מחקר שנערך לאחרונה בכתב העת Pediatrics דיווח כי ילדים בני 4 שצפו בסרט מצויר מהיר היו בעלי ביצועים גרועים יותר במשימות קוגניטיביות, כגון שמירה על כללים במשחק, הקשבה לכיוון ממבוגר ועיכוב סיפוקים, בהשוואה לילדים אחרים שצפו בסרט מצויר איטי יותר. ¹ בנוסף לקצב הקריקטורה, התוכן של הקריקטורה עשוי להיות גם השפעות מזיקות על הצופים הצעירים שלה.

וידאו זה משתמש בעיצוב פשוט של שתי קבוצות, כדי להדגים את נושא האמינות, בבחינת השאלה אם בובספוג המצויר מכנסמרובע יש תוכן לא הולם יותר מאשר קריקטורה Caillou.

Procedure

1. הגדר משתני מפתח.

צור הגדרה תפעולית (כלומר,תיאור ברור של בדיוק מה חוקר מתכוון על ידי מושג) של תוכן בלתי הולם.
עיין בהגדרות שנוצרו על ידי הארגון טלוויזיה הנחיות הורים ואושרו על ידי ועדת התקשורת הפדרלית.
תוכן בלתי הולם הוא כל התנהגות גסה או גסה(למשל,הומור בשירותים), תיאורים של תוקפנות מילולית או פיזית (למשל,כינויי שם, מכות וכו ‘),שפה רעה (למשל,מילות קללה), או התייחסויות לשימוש בסמים, אלימות או מין.

2. צור קטגוריות קידוד מההגדרה התפעולית של תוכן בלתי הולם.

עצב תהליך שיטתי עבור משתתפי המחקר (המכונה כאן raters) כדי לזהות מופעים של התנהגות ממוקדת ובלתי הולמת (ראה טבלה 1).

קטגוריות קידוד	ערכות נושא ומופת	מנה
התנהגות גסה	הומור אסלה התנהגויות מגעילות בכוונה
התנהגות גסה	הפרעה לאחרים נימוסים גרועים
שפה	שימוש במילות קללה
תוקפנות מילולית	עלבונות צועק כינויי גח
תוקפנות פיזית	להכות דחיפה/דחיפה מועד
הפניות לסמים	מילולית (הצהרות/שיחה מרמזות) Nonverbal (מחקה שימוש בסמים)
הפניות מיניות	מילולית (הצהרות/שיחה מרמזות) לא מילולי (מחקה מעשים מיניים)

טבלה 1. דוגמה כיצד להקליט מקרים של התנהגויות בלתי הולמות. ניתן להשתמש ביומן רישום זה באופן שיטתי בין מדרגים.

3. להורות לדרגים לצפות בנפרד באותו פרק של בובספוג מכנסמרובע ולספק ספירת קידוד.

4. הורה לדרגים לצפות בנפרד באותו פרק של Caillou ולספק ספירת קידוד.

5. השווה דירוגים כדי לראות אם Raters הגיעו עם דירוגים דומים עבור כל תוכנית.

אמינות היא היכולת למדוד באופן עקבי את המשתנה – תוכן בלתי הולם.
אמינות בין-שיעורים היא היכולת של יותר מאדם אחד למדוד את המשתנים והמדידות שלהם יהיו בהתאם.

מחקר מדעי משתמש בשיטות מדויקות לאיסוף נתונים, אך לעתים קרובות קיימת שונות בהשגת מדידות.

ניתן להעריך אמינות עבור כל מדידה ניסיונית, והיום, נבחן מדידות של התנהגויות בלתי הולמות בסרטים מצוירים.

כאשר הצופים מסכימים על כמות החומרים הבלתי הולמים באותה תוכנית – על-פני פרקים מרובים – פסקי הדין שלהם נחשבים אמינים ביותר. במקרה זה, הערכות יכולות להתרחב על פני מופעים שונים בגלל העקביות בין משקיפים, אשר מכונה אמינות בין שיעורים.

סרטון זה מדגים כיצד לעצב ולבצע, כמו גם כיצד לנתח ולפרש, ניסוי הבוחן אם לקריקטורה אחת יש תוכן לא הולם יותר מאחר.

כדי לבחון אמינות ואמינות בין-שיעורים, נעשה שימוש בעיצוב בתוך הנבדקים בניסוי זה. המשתתפים מתבקשים לצפות בשני פרקים של שני קריקטורות שונות – בובספוג מכנסמרובע וקאילו.

בהקשר זה של צפייה בסרטים מצוירים, המשתנה התלוי הוא מספר ההתנהגויות הבלתי הולמות שהמשתתפים צופים בהן. אלה כוללים: כל התנהגויות גסות וגסות, שפה רעה, תוקפנות מילולית ופיזית, והפניות לסמים ותוכן מיני.

אם קיימת אמינות בציון של תוכן לא הולם של קריקטורה ספציפית, המשתתפים ידרגו באופן עקבי את הקריקטורה הזו בפרקים שונים.

יתר על כן, אם משתתפים מרובים מסכימים עם מספר המופעים הבלתי הולמים שהם סופרים, קיימת אמינות בין-שיעורים.

לכן, קביעת אמינות בין-שיעורים מאפשרת לחוקרים להשתמש באותם משתתפים כדי להשוות נתונים בצורה חזקה יותר בין תנאים מרובים.

כדי לערוך את המחקר, להכין ארבעה קליפים: שני פרקים שונים משני קריקטורות שונות, בובספוג מכנסמרובע ו Caillou.

כדי לאפשר למשתתפים לזהות באופן שיטתי מקרים של התנהגות בלתי הולמת, צור גיליון קידוד עם קטגוריות, דוגמאות קונקרטיות ומרחב כדי לספור כל מופע.

כאשר המשתתף יושב מול המסך, תן להם ארבעה יריעות קידוד. הורה למשתתף לצפות בנפרד בשני פרקים של בובספוג מכנסמרובע.

כאשר המשתתף צופה בכל פרק, הורה לו לזהות כל התרחשות של התנהגות בלתי הולמת.

באמצעות אותה ערכת קידוד, להורות למשתתף לצפות ולדרג שני פרקים של Caillou.

כדי לנתח את האמינות של דירוגי המשתתפים של תוכן מצויר, השווה את גליונות הקידוד בין כל משתתף בפרקים השונים של קריקטורות. סכם את כל התגובות בגיליון ראשי.

גרף את המספר הכולל של התנהגויות בלתי הולמות עבור כל מדרג בפרקים ובסרטים מצוירים.

שים לב כי אמינות גבוהה נצפתה בניקוד של שתי קריקטורות שונות, כמו בובספוג הוא ציון בעקביות גבוה יותר Caillou.

עם זאת, אמינות בין-שיעור חזקה יותר נמצאה ניקוד של תוכן בלתי הולם ב Caillou לעומת בובספוג. אמינות בין-שיעור מופחתת הייתה ברורה יותר בציון של פרק 2 של בובספוג.

כעת, כאשר אתה מכיר את האמינות בהקשר של ניתוח תוכן, באפשרותך ליישם גישה זו על תחומי מחקר אחרים.

ניסויים פסיכולוגיים רבים אוספים מידע על ידי שימוש בהערכות קוגניטיביות ובסקרים, שבהם האמינות בין כל אחד מהפריטים חייבת להיות עקבית בין המשתתפים.

אמינות באמצעים נוירופיזיולוגיים, כגון EEG או מעקב אחר העיניים, חיונית לעריכת ניסויים חוזרים. אמינות זו מאפשרת לחוקרים ליצור קשרים בין תפקוד המוח לבין מצבי מחלות על פני נושאים מרובים.

בנוסף, על החוקרים לוודא שמדידות מסוימות בניסוי עקביות לאורך זמן. לדוגמה, מדידות משקל נלקחות באופן אמין כדי להשוות נתונים לפני ואחרי שגרת פעילות גופנית.

הרגע צפית בהקדמה של JoVE לקביעת אמינות בניסויים פסיכולוגיים. עכשיו אתה צריך להבין טוב כיצד לכמת מבנה פסיכולוגי כגון התנהגות בלתי הולמת, לעצב ניסוי, ולבסוף כיצד להעריך אמינות מהתוצאות.

תודה שצפיתם!

Results

התוצאות מצביעות על כך שלשיעורים הייתה רמה גבוהה של הסכמה או עקביות ברייטינג שלהם בתוך כל פרק מצויר, מה שמצביע על אמינות בין-שיעורים גבוהה (איור 1). יש גם אמינות או עקביות בפרקים של בובספוג מכנסמרובע שיש להם תוכן לא הולם יותר מאשר Caillou. התוצאות גם חשפו הטיות אישיות בקרב המדרגים. לדוגמה, Rater 3 דיווח על תוכן לא הולם יותר בבובספוג מאשר 2 מדרגים אחרים, ו Rater 1 דיווח פחות ב Caillou מאשר שיעורים אחרים.

איור 1. מקרים של תוכן לא הולם לפי מדרג וקריקטורה לפרקים 1 (למעלה) ו-2 (למטה).

Applications and Summary

חוקרים הפנו יותר ויותר את תשומת לבם לניתוח התוכן של הטלוויזיה, במיוחד בכל הקשור לילדים. כפי שנדון לפני הניסוי הנוכחי, מחקר שנערך לאחרונה בכתב העת Pediatrics תאם את הקצב המהיר של קריקטורת בובספוג מכנסמרובע ליכולות קוגניטיביות גרועות יחסית אצל הילדים שצופים בו.

מכיוון שתוצאות הניסוי שלנו נראות אמינות, מחקר עתידי יכול לבחון אם הכמות היחסית של תוכן לא הולם בבובספוג אחראית (או לחילופין) לביצועים הקוגניטיביים הנמוכים יותר של ילדים לאחר הצפייה.

אחד היישומים החשובים ביותר של אמינות הוא בשימוש במכשירי סקר. החוקרים חייבים להיות בטוחים כי המשתתפים יענו באופן עקבי על כל אחד מהפריטים בקנה מידה מסוים. כלומר, במידה של 5 פריטים של שביעות רצון מהחיים, המשתתפים צריכים לענות על פריטים 1 ו -2 בצורה דומה במקצת לאופן שבו הם עונים על שאלות 3, 4 ו -5. בנוסף, החוקרים רוצים לוודא שהמדידות שלהם בניסוי עקביות לאורך זמן. לכן, אם חוקר משתמש בהרחבת האישונים כדי להצביע על עניין בגירוי, החוקר חייב להיות בטוח כי התפשטות האישון היא אינדיקטור עקבי לעניין.

Transcript

המחקר המדעי משתמש בשיטות מדויקות לאיסוף נתונים, אך לעתים קרובות קיימת שונות בהשגת מדידות.

ניתן להעריך את האמינות עבור כל מדידה ניסיונית, והיום, נבחן מדידות של התנהגויות בלתי הולמות בסרטים מצוירים.

כאשר הצופים מסכימים על כמות החומר הבלתי הולם באותה תוכנית – על פני מספר פרקים – השיפוטים שלהם נחשבים אמינים ביותר. במקרה זה, הערכות יכולות להתפרש על פני תוכניות שונות בגלל העקביות בין הצופים, המכונה אמינות בין מדרגים.

סרטון זה מדגים כיצד לעצב ולבצע, כמו גם כיצד לנתח ולפרש, ניסוי הבוחן אם לקריקטורה אחת יש יותר תוכן לא הולם מאחרת.

כדי לבחון מהימנות ואמינות בין מדרגים, נעשה שימוש בעיצוב בתוך הנבדקים בניסוי זה. המשתתפים מתבקשים לצפות בשני פרקים של שני סרטים מצוירים שונים? בובספוג מכנס מרובע וקאיו.

בהקשר זה של צפייה בסרטים מצוירים, המשתנה התלוי הוא מספר ההתנהגויות הבלתי הולמות שהמשתתפים צופים. אלה כוללים: כל התנהגות גסה וגסה, שפה גסה, תוקפנות מילולית ופיזית, והתייחסויות לסמים ולתוכן מיני.

אם קיימת אמינות בניקוד של תוכן בלתי הולם של קריקטורה ספציפית, המשתתפים ידרגו באופן עקבי את הקריקטורה הזו על פני פרקים שונים.

יתר על כן, אם מספר משתתפים מסכימים עם מספר המקרים הבלתי הולמים שהם סופרים, קיימת אמינות בין מדרגים.

לפיכך, ביסוס מהימנות בין מעריכים מאפשר לחוקרים להשתמש באותם משתתפים כדי להשוות נתונים בצורה חזקה יותר בין מספר מצבים.

כדי לערוך את המחקר, הכינו ארבעה קליפים: שני פרקים שונים משני סרטים מצוירים שונים, בובספוג מכנס מרובע וקאיו.

כדי לאפשר למשתתפים לזהות באופן שיטתי מקרים של התנהגות בלתי הולמת, צור גיליון קידוד עם קטגוריות, דוגמאות קונקרטיות ומקום לספירת כל מופע.

כשהמשתתף יושב מול המסך, תנו לו ארבעה דפי קידוד. הנחו את המשתתף לצפות בנפרד בשני פרקים של בובספוג מכנס מרובע.

כאשר המשתתף צופה בכל פרק, הנחו אותו לזהות כל התרחשות של התנהגות בלתי הולמת.

באמצעות אותה ערכת קידוד, הנחו את המשתתף לצפות ולדרג שני פרקים של Caillou.

לנתח את מהימנות המשתתפים? דירוגים של תוכן מצויר, השווה את דפי הקידוד בין כל משתתף על פני הפרקים השונים של קריקטורות. סכם את כל התגובות בגיליון אב.

צור גרף של המספר הכולל של התנהגויות בלתי הולמות עבור כל מדרג בפרקים ובסרטים מצוירים.

שימו לב שאמינות גבוהה נצפתה בניקוד של שתי הקריקטורות השונות, מכיוון שבוב ספוג מקבל באופן עקבי ציון גבוה יותר מקאילו.

עם זאת, מהימנות גבוהה יותר בין המדרגים נמצאה בניקוד של תוכן לא הולם בקאילו בהשוואה לבובספוג. מהימנות מופחתת בין המדרגים הייתה ברורה יותר בפסקול של פרק 2 של בובספוג.

כעת, כשאתה מכיר את האמינות בהקשר של ניתוח תוכן, אתה יכול ליישם גישה זו בתחומי מחקר אחרים.

ניסויים פסיכולוגיים רבים אוספים מידע על ידי שימוש בהערכות וסקרים קוגניטיביים, שבהם המהימנות בין כל אחד מהפריטים חייבת להיות עקבית בין המשתתפים.

אמינות במדדים נוירופיזיולוגיים, כגון EEG או מעקב עיניים, חיונית לביצוע ניסויים חוזרים. אמינות זו מאפשרת לחוקרים ליצור קשרים בין תפקוד המוח למצבי מחלה בקרב נבדקים מרובים.

בנוסף, על החוקרים לוודא שמדידות מסוימות בניסוי עקביות לאורך זמן. לדוגמה, מדידות משקל נלקחות באופן מהימן כדי להשוות נתונים לפני ואחרי שגרת אימונים.

זה עתה צפיתם בהקדמה של JoVE לקביעת מהימנות בניסויים פסיכולוגיים. עכשיו אתה צריך להבין היטב כיצד לכמת מבנה פסיכולוגי כגון התנהגות בלתי הולמת, לתכנן ניסוי, ולבסוף כיצד להעריך מהימנות מהתוצאות.

תודה שצפיתם!?

Tags

ערך ריק בעיה