الموثوقية في تجارب علم النفس
المصدر: مختبرات غاري ليفاندوفسكي ، ديف ستروميتز ، وناتالي سياروكو - جامعة مونماوث
من أجل دراسة شيء ما علميا ، يحتاج الباحث إلى تحديد طريقة لتحديده كمي…
1. تحديد المتغيرات الرئيسية.
- قم بإنشاء تعريف تشغيلي (أي وصف واضح لما يعنيه الباحث بالضبط بمفهوم) للمحتوى غير اللائق.
- راجع التعريفات التي أنشأتها منظمة إرشادات الوالدين التلفزيونية ووافقت عليها لجنة الاتصالات الفيدرالية.
- المحتوى غير اللائق هو أي سلوك فظ أو وقح (مثل الفكاهة في استخدام المرحاض) أو تصوير العدوان اللفظي أو الجسدي (مثل الشتائم أو الضرب وما إلى ذلك) أو اللغة البذيئة (مثل الكلمات الشتية) أو الإشارات إلى تعاطي المخدرات أو العنف أو الجنس.
2. إنشاء فئات ترميز من التعريف التشغيلي للمحتوى غير الملائم.
- صمم عملية منهجية للمشاركين في البحث (يشار إليهم هنا باسم المقيمين) لتحديد حالات السلوك المستهدف وغير المناسب (انظر الجدول 1).
سلوكيات مثيرة للاشمئزاز عن قصد السلوك الوقح تعطيل الآخرين
سوء الأخلاق اللغة استخدام كلمات اللعنة العدوان اللفظي الإهانات
الصراخ
مناداة الأسماء العدوان الجسدي الضرب
الدفع / الدفع
تنطلق مراجع الأدوية شفهية (عبارات موحية / محادثة)
غير لفظي (يحاكي تعاطي المخدرات) المراجع الجنسية شفهية (عبارات موحية / محادثة)
غير لفظي (تقليد الأفعال الجنسية) < p class = "jove_content" > الجدول 1. مثال على كيفية تسجيل حالات السلوكيات غير اللائقة. يمكن استخدام هذا السجل بشكل منهجي عبر المقيمين.
3. اطلب من المقيمين مشاهدة نفس الحلقة من SpongeBob SquarePants بشكل منفصل وتوفير عدد الترميز.
4. اطلب من المقيمين مشاهدة نفس الحلقة من Caillou بشكل منفصل وتقديم عدد الترميز.
5. قارن التقييمات لمعرفة ما إذا كان المقيمون قد توصلوا إلى تقييمات مماثلة لكل عرض.
- الموثوقية هي القدرة على قياس المتغير باستمرار - المحتوى غير المناسب.
- الموثوقية بين المقيمين هي قدرة أكثر من شخص على قياس المتغيرات وقياساتهم على أن تكون متوافقة.
يستخدم البحث العلمي طرقا دقيقة لجمع البيانات ، ومع ذلك غالبا ما يوجد تباين في الحصول على القياسات.
يمكن تقييم الموثوقية لأي قياس تجريبي ، واليوم ، سنلقي نظرة على قياسات السلوكيات غير الملائمة في الرسوم المتحركة.
عندما يتفق المشاهدون على كمية المواد غير اللائقة في نفس العرض - عبر حلقات متعددة - تعتبر أحكامهم موثوقة للغاية. في هذه الحالة ، يمكن أن تمتد التقييمات عبر عروض مختلفة بسبب الاتساق بين المراقبين ، والذي يشار إليه باسم الموثوقية بين المقيمين.
يوضح هذا الفيديو كيفية تصميم وأداء تجربة تفحص ما إذا كان أحد الرسوم المتحركة يحتوي على محتوى غير مناسب أكثر من الآخر.
لفحص الموثوقية والموثوقية بين المقيمين ، يتم استخدام تصميم داخل الأشخاص في هذه التجربة. يطلب من المشاركين مشاهدة حلقتين من كاريكاتورين مختلفين - SpongeBob SquarePants و Caillou.
في هذا السياق من مشاهدة الرسوم المتحركة ، المتغير التابع هو عدد السلوكيات غير اللائقة التي يلاحظها المشاركون. وتشمل هذه: أي سلوكيات فظة ووقحة ، ولغة بذيئة ، واعتداء لفظي وجسدي ، وإشارات إلى المخدرات والمحتوى الجنسي.
إذا كانت الموثوقية موجودة في تسجيل محتوى غير لائق لرسم كاريكاتوري معين ، فسيقوم المشاركون بتقييم هذا الرسم الكارتوني باستمرار عبر حلقات مختلفة.
علاوة على ذلك ، إذا كان العديد من المشاركين يتفقون مع عدد الحالات غير الملائمة التي يحسبونها ، فتوجد موثوقية بين المقيمين.
وبالتالي ، فإن إنشاء موثوقية بين المقيمين يسمح للباحثين باستخدام نفس المشاركين لمقارنة البيانات بقوة أكبر بين ظروف متعددة.
لإجراء الدراسة ، قم بإعداد أربعة مقاطع: حلقتان مختلفتان من كاريكاتورين مختلفين ، SpongeBob SquarePants و Caillou.
للسماح للمشاركين بتحديد حالات السلوك غير اللائق بشكل منهجي ، قم بإنشاء ورقة ترميز تحتوي على فئات وأمثلة ملموسة ومساحة لحساب كل تكرار.
مع جلوس المشارك أمام الشاشة ، سلمه أربع أوراق ترميز. اطلب من المشارك مشاهدة حلقتين منفصلتين من SpongeBob SquarePants.
عندما يشاهد المشارك كل حلقة ، اطلب منهم تحديد كل حدوث سلوك غير لائق.
باستخدام نفس مخطط الترميز ، اطلب من المشارك مشاهدة وتقييم حلقتين من Caillou.
لتحليل موثوقية تقييمات المشاركين لمحتوى الرسوم المتحركة ، قارن أوراق الترميز بين كل مشارك عبر حلقات الرسوم المتحركة المختلفة. جمع جميع الاستجابات في ورقة رئيسية.
رسم بياني للعدد الإجمالي للسلوكيات غير اللائقة لكل مقيم عبر الحلقات والرسوم المتحركة.
لاحظ أنه لوحظت موثوقية عالية في تسجيل الكاريكاتورين المختلفين ، حيث يتم تسجيل سبونجبوب باستمرار أعلى من كايلو.
ومع ذلك ، تم العثور على موثوقية أقوى بين المقيمين في تسجيل المحتوى غير المناسب في Caillou مقارنة ب SpongeBob. كانت الموثوقية المنخفضة بين المقيمين أكثر وضوحا في تسجيل الحلقة 2 من SpongeBob.
الآن بعد أن أصبحت على دراية بالموثوقية في سياق تحليل المحتوى ، يمكنك تطبيق هذا النهج على مجالات البحث الأخرى.
تجمع العديد من التجارب النفسية المعلومات من خلال استخدام التقييمات والاستطلاعات المعرفية ، حيث يجب أن تكون الموثوقية بين كل عنصر متسقة بين المشاركين.
تعدالموثوقية في المقاييس الفيزيولوجية العصبية ، مثل مخطط كهربية الدماغ أو تتبع العين ، ضرورية لإجراء تجارب قابلة للتكرار. تسمح هذه الموثوقية للباحثين بإجراء ارتباطات بين وظائف المخ وحالات المرض عبر مواضيع متعددة.
بالإضافة إلى ذلك ، يجب على الباحثين التأكد من أن بعض القياسات في التجربة متسقة بمرور الوقت. على سبيل المثال ، يتم أخذ قياسات الوزن بشكل موثوق لمقارنة البيانات قبل وبعد إجراءات التمرين.
لقد شاهدت للتو مقدمة JoVE لتحديد الموثوقية في التجارب النفسية. الآن يجب أن يكون لديك فهم جيد لكيفية تحديد بنية نفسية مثل السلوك غير اللائق ، وتصميم تجربة ، وأخيرا كيفية تقييم الموثوقية من النتائج.
شكرا للمشاهدة!
تسجيل الدخول أو للوصول إلى المحتوى الكامل. تعرّف على المزيد حول وصول مؤسستك إلى محتوى JoVE هنا
يستخدم البحث العلمي طرقا دقيقة لجمع البيانات ، ومع ذلك غالبا ما يوجد تباين في الحصول على القياسات.
يمكن تقييم الموثوقية لأي قياس تجريبي ، واليوم ، سنلقي نظرة على قياسات السلوكيات غير اللائقة في الرسوم المتحركة.
عندما يتفق المشاهدون على كمية المواد غير اللائقة في نفس العرض - عبر حلقات متعددة ، تعتبر أحكامهم موثوقة للغاية. في هذه الحالة ، يمكن أن تمتد التقييمات عبر عروض مختلفة بسبب الاتساق بين المراقبين ، والذي يشار إليه باسم الموثوقية بين المقيمين.
يوضح هذا الفيديو كيفية تصميم وأداء تجربة تفحص ما إذا كان أحد الرسوم المتحركة يحتوي على محتوى غير مناسب أكثر من الآخر.
لفحص الموثوقية والموثوقية بين المقيمين ، يتم استخدام تصميم داخل الأشخاص في هذه التجربة. يطلب من المشاركين مشاهدة حلقتين من كاريكاتورين مختلفين؟ سبونجبوب سكوير بانتس وكايلو.
في هذا السياق من مشاهدة الرسوم المتحركة ، المتغير التابع هو عدد السلوكيات غير اللائقة التي يلاحظها المشاركون. وتشمل هذه: أي سلوكيات فظة ووقحة ، ولغة بذيئة ، واعتداء لفظي وجسدي ، وإشارات إلى المخدرات والمحتوى الجنسي.
إذا كانت الموثوقية موجودة في تسجيل محتوى غير لائق لرسم كاريكاتوري معين ، فسيقوم المشاركون بتقييم هذا الرسم الكارتوني باستمرار عبر حلقات مختلفة.
علاوة على ذلك ، إذا كان العديد من المشاركين يتفقون مع عدد الحالات غير الملائمة التي يحسبونها ، فتوجد موثوقية بين المقيمين.
وبالتالي ، فإن إنشاء موثوقية بين المقيمين يسمح للباحثين باستخدام نفس المشاركين لمقارنة البيانات بقوة أكبر بين ظروف متعددة.
لإجراء الدراسة ، قم بإعداد أربعة مقاطع: حلقتان مختلفتان من كاريكاتورين مختلفين ، SpongeBob SquarePants و Caillou.
للسماح للمشاركين بتحديد حالات السلوك غير اللائق بشكل منهجي ، قم بإنشاء ورقة ترميز تحتوي على فئات وأمثلة ملموسة ومساحة لحساب كل تكرار.
مع جلوس المشارك أمام الشاشة ، سلمه أربع أوراق ترميز. اطلب من المشارك مشاهدة حلقتين منفصلتين من SpongeBob SquarePants.
عندما يشاهد المشارك كل حلقة ، اطلب منهم تحديد كل حدوث سلوك غير لائق.
باستخدام نفس مخطط الترميز ، اطلب من المشارك مشاهدة وتقييم حلقتين من Caillou.
لتحليل موثوقية المشاركين؟ تقييمات محتوى الرسوم المتحركة ، قارن أوراق الترميز بين كل مشارك عبر حلقات الرسوم المتحركة المختلفة. جمع جميع الاستجابات في ورقة رئيسية.
رسم بياني للعدد الإجمالي للسلوكيات غير اللائقة لكل مقيم عبر الحلقات والرسوم المتحركة.
لاحظ أنه لوحظت موثوقية عالية في تسجيل الكاريكاتورين المختلفين ، حيث يتم تسجيل سبونجبوب باستمرار أعلى من كايلو.
ومع ذلك ، تم العثور على موثوقية أقوى بين المقيمين في تسجيل المحتوى غير المناسب في Caillou مقارنة ب SpongeBob. كانت الموثوقية المنخفضة بين المقيمين أكثر وضوحا في تسجيل الحلقة 2 من SpongeBob.
الآن بعد أن أصبحت على دراية بالموثوقية في سياق تحليل المحتوى ، يمكنك تطبيق هذا النهج على مجالات البحث الأخرى.
تجمع العديد من التجارب النفسية المعلومات من خلال استخدام التقييمات والاستطلاعات المعرفية ، حيث يجب أن تكون الموثوقية بين كل عنصر متسقة بين المشاركين.
تعد الموثوقية في المقاييس الفيزيولوجية العصبية ، مثل مخطط كهربية الدماغ أو تتبع العين ، ضرورية لإجراء تجارب قابلة للتكرار. تسمح هذه الموثوقية للباحثين بإجراء ارتباطات بين وظائف المخ وحالات المرض عبر مواضيع متعددة.
بالإضافة إلى ذلك ، يجب على الباحثين التأكد من أن بعض القياسات في التجربة متسقة بمرور الوقت. على سبيل المثال ، يتم أخذ قياسات الوزن بشكل موثوق لمقارنة البيانات قبل وبعد إجراءات التمرين.
لقد شاهدت للتو مقدمة JoVE لتحديد الموثوقية في التجارب النفسية. الآن يجب أن يكون لديك فهم جيد لكيفية تحديد بنية نفسية مثل السلوك غير اللائق ، وتصميم تجربة ، وأخيرا كيفية تقييم الموثوقية من النتائج.
شكرا للمشاهدة!؟
View the full transcript and gain access to JoVE Science Education videos
Q1: What is inter-rater reliability in psychology experiments?
Inter-rater reliability occurs when multiple observers or raters agree on their measurements of the same behavior or phenomenon. When participants consistently count the same number of inappropriate instances across different episodes or shows, this demonstrates strong inter-rater reliability. Establishing inter-rater reliability allows researchers to confidently compare data between multiple conditions using the same participants.
Q2: How do you measure reliability in content analysis studies?
Reliability in content analysis is measured by comparing coding sheets between participants across different episodes or conditions. Researchers sum all responses on a master sheet and graph the total number of occurrences for each rater. High reliability is demonstrated when raters consistently score the same content similarly, such as SpongeBob consistently scoring higher than Caillou across episodes.
Q3: Why is a coding sheet important when analyzing behavioral content?
A coding sheet provides a systematic framework for identifying and counting specific behaviors. It includes concrete categories, examples, and space to record each occurrence, ensuring participants apply consistent criteria when observing. This standardization helps establish reliability by allowing multiple raters to independently assess the same content using identical definitions and measurement procedures.
Q4: What design did researchers use to examine reliability in the cartoon study?
Researchers used a within-subjects repeated-measures design where participants watched multiple episodes from two different cartoons. Each participant rated the same cartoons across different episodes, allowing researchers to assess both test-retest reliability within a cartoon and inter-rater reliability across participants. This design strengthens comparisons between conditions by using the same participants.
Q5: How does reliability apply beyond content analysis in psychology research?
Reliability is essential across multiple psychological measurement methods. Cognitive assessments and surveys require consistent item reliability between participants. Neurophysiological measures like EEG or eye tracking must be reliable to establish associations between brain function and disease states. Additionally, researchers must ensure measurements remain consistent over time, such as weight measurements taken before and after exercise interventions.
Q6: What dependent variable was measured in the cartoon content study?
The dependent variable was the number of inappropriate behaviors participants observed in each cartoon episode. Inappropriate behaviors included crude and rude actions, bad language, verbal and physical aggression, and references to drugs or sexual content. Participants used the coding sheet to systematically count and record each occurrence of these behaviors while watching the cartoons.
Q7: Why is quantifying psychological constructs challenging for researchers?
Psychological constructs like inappropriate behavior are abstract and subjective, making them difficult to measure directly. Researchers must develop operational definitions and systematic measurement tools, such as coding sheets with concrete examples, to transform abstract concepts into quantifiable data. This process requires careful design to ensure different observers can reliably identify and count the same behaviors consistently.