استخدام حركات العين التي تسجل في نموذج العالم المرئي لاستكشاف الإنترنت معالجة اللغة المنطوقة

نموذج العالم المرئي وترصد حركات العين المشاركين في مساحة عمل visual كما يتم الاستماع إلى أو يتحدث لغة منطوقه. يمكن استخدام هذا النموذج للتحقيق في معالجة طائفة واسعة من المسائل بسيتشولينجويستيك، بما في ذلك البيانات المعقدة لغوياً، مثل بيانات الفاصل على الإنترنت.

يمكن أن تساعد هذه الطريقة في الإجابة على الأسئلة الرئيسية في المعالجة عبر الإنترنت للغة المنطوقة، بما في ذلك الجمل المعقدة الدلالية، مثل الانفصام والشروط. الميزة الرئيسية لهذه التقنية هي أنه يمكن تنفيذها على مجموعة واسعة من السكان لدراسة معظم المواضيع في مجالات معالجة اللغة. ومن بين الاجراءات سيكون شو جينغ وهو طالب دراسات عليا .

تساو ييفان، وانغ منغ، يانغ شياوتونغ، تشان مين، تشو شيويه هان هم الطلاب من مجموعتي البحثية. لإعداد المحفزات البصرية ، وتحميل 60 حقوق الطبع والنشر الحرة كليب صور فنية للحيوانات من الإنترنت وفتح الصور في محرر الصور المناسبة. انقر على أدوات واستخدم التحديد السريع لتحديد الخلفية وحذفها من كل صورة.

انقر فوق الصورة وحجم الصورة لتغيير حجم الصور إلى 120 في 120 بكسل ورسم مربع واحد كبير مفتوح 320 × 240 بكسل، مربع صغير مغلق 160 × 160 بكسل، وصندوقين صغيرين مفتوحين 160 × 240 بكسل. افتح ملفاً جديداً لإنشاء قالب 1, 024 في 768 بكسل لصورة الاختبار الأولى، واسحب المربعات إلى المواقع المشار إليها. اسحب صورتين قصاصة فنية في المربع المفتوح الكبير وواحدة من نفس الصورتين في الصندوقين الصغيرين المفتوحين.

ثم إنشاء 59 أكثر الصور اختبار كما أظهرت للتو مع كل صورة الحيوان تستخدم مرتين لكل صورة اختبار، وموازنة المواقع المكانية من المربعات الأربعة بين الصور. لإعداد المحفزات اللغوية المنطوقة، تصميم أربع جمل اختبار مطابقة لكل صورة اختبار باللغة الأم للمشاركين لما مجموعه 240 جملة اختبار يتم تسجيلها، مع ثلاثة على الأقل من الجمل الأربعة وواحدة من كل من الأشكال كما هو موضح. تجنيد متحدثة محلية لتسجيل أربعة بيانات من الأمثلة، وكذلك الصوت لجميع الحيوانات المستخدمة في التجربة.

تقسيم الجمل الاختبارية 240 إلى أربع مجموعات، مع كل مجموعة تحتوي على 15 بيانًا مُلتَمَسًا، و15 بيانًا غير مُفكّر، و15 كلمة ولكن عبارات، و15 جملة حشو. ثم احفظ كل المعلومات الهامة المتعلقة بالمحفزات الاختبارية في ملف نصي محدد بعلامة تبويب، مع كل صف يقابل كل من التجارب الـ 240. لإنشاء تسلسل التجربة، افتح منشئ التجربة وأنشئ مشروعًا جديدًا.

اسحب كائن شاشة عرض إلى مساحة العمل، ثم أعد تسمية "تعليمة مساحة العمل". انقر فوق إدراج مورد نص متعدد الأسطر وانقر نقراً مزدوجاً لفتح تسلسل الكتلة لإنشاء تسلسل الكتلة. اسحب عقدة إعداد كاميرا EI في تسلسل الكتلة لعرض شاشة إعداد الكاميرا على جهاز الكمبيوتر المضيف EyeLink لتسهيل معايرة إعداد الكاميرا والتحقق من صحتها.

انقر فوق حقل نوع المعايرة في لوحة الخصائص وحدد HV5 من القائمة المنسدلة. لبناء تسلسل تجريبي اسحب عقدة شاشة عرض إلى تسلسل المحاكمة وإعادة تسميته Animal_1_Image. اسحب عقدة تشغيل الصوت إلى التسلسل التجريبي وإعادة تسميته Animal_1_Audio.

اسحب عقدة Timer في التسلسل التجريبي ثم أعد تسميته Animal_1_Audio_Length. متابعة سحب وإعادة تسمية إضافية عرض الشاشة وتشغيل الصوت والعُقد المؤقت في التسلسل التجريبي حتى تم إنشاء ثلاث عقد لكل صورة القصاصة الفنية. ثم اسحب عقدة الانجراف الصحيح في تسلسل المحاكمة لإدخال التصحيح الانجراف.

لإنشاء تسلسل التسجيل، اسحب عقدة شاشة عرض جديدة إلى تسلسل السجل. إعادة تسمية Test_Image العقدة. انقر نقراً مزدوجاً فوق عقدة شاشة العرض لفتح منشئ الشاشة، وانقر فوق منطقة منطقة منطقة الاهتمام المستطيل إدراج ورسم أربعة مناطق مستطيلة من الاهتمام.

اسحب عقدة Timer إلى مساحة العمل، ثم أعد تسمية العقدة إيقاف مؤقت، ثم قم بتغيير خاصية المدة إلى 500 مللي ثانية. اسحب عقدة تشغيل الصوت إلى مساحة العمل ثم إعادة تسمية العقدة Test_Audio ثم اسحب عقدة Timer إلى مساحة العمل ثم إعادة تسميته Test_Audio_Length. ثم قم بإضافة عقدة لوحة مفاتيح إلى مساحة العمل، ثم أعد تسمية العقدة الاستجابات السلوكية، وقم بتغيير الخاصية "مفاتيح مقبولة" إلى أعلى، لأسفل، يمين، يسار.

لإجراء تجربة، قم بتشغيل النظام على الكمبيوتر المضيف لبدء تشغيل التطبيق المضيف للكاميرا، وانقر فوق الإصدار القابل للتنفيذ من المشروع التجريبي على جهاز الكمبيوتر الشخصي المعروض. أدخل اسم المشارك وانقر فوق تحديد قيمة الشرط لتشغيلها لتحديد مجموعة من نافذة المطالبة. ضع ملصقًا صغيرًا على جبهته لتتبع موضع الرأس حتى عندما تفقد صورة التلميذ مثل أثناء الوميض أو الحركات المفاجئة. مقعد المشارك ما يقرب من 60 سم من 21 بوصة 4:3 شاشة ملونة مع 1، 024 من 769 بكسل القرار، والتي 27 بكسل يساوي زاوية درجة واحدة.

ضبط ارتفاع شاشة جهاز عرض الكمبيوتر الشخصي للتأكد من أنه عندما يكون المشارك يتطلع مباشرة إلى الأمام، فإنهم يبحثون عموديا في منتصف إلى أعلى 75٪ من الشاشة، ثم تدوير ذراع التركيز على جبل مكتب لجعل صورة العين في التركيز. بعد ذلك، انقر فوق معايرة على الكمبيوتر المضيف واطلب من المشارك التركيز على شبكة من خمسة أهداف التثبيت، في تعاقب عشوائي مع عدم وجود استجابات سلوكية اُنْحَرَة، لرسم خريطة لحركات عين المشارك إلى نظرة النظر في العالم المرئي. انقر فوق التحقق من الصحة واطلب من المشارك التركيز على نفس شبكة أهداف التثبيت للتحقق من صحة نتائج المعايرة.

قم بإجراء فحص الانجراف عن طريق مطالبة المشارك بالضغط على شريط المسافة على لوحة المفاتيح أثناء التركيز على النقطة السوداء في وسط الشاشة. ثم تقديم المحفزات البصرية عبر شاشة جهاز عرض أثناء تشغيل المحفزات السمعية عبر زوج من مكبرات الصوت الخارجية الموجودة إلى اليسار واليمين من الشاشة. لترميز البيانات وتحليلها فتح عارض البيانات وانقر فوق ملف، استيراد ملف، واستيراد ملفات بيانات EyeLink متعددة لاستيراد كافة ملفات تعقب العين المسجلة.

حفظ الملفات في ملف evs واحد، ثم افتح ملف EVS وانقر فوق تحليل والتقارير وتقرير العينة لتصدير البيانات الأولية العينة مع عدم وجود تجميع. الاستجابة الصحيحة لبيان مُلَكِف هو المربع المفتوح الكبير، بينما الاستجابة الصحيحة لعبارة But هي المربع الصغير المفتوح الذي يحتوي على الحيوان الأول المذكور ضمن البيان. بشكل حاسم، أي مربع يتم اختياره لعبارات مضمّن يعتمد على كيفية معالجة العبارة الشرطية.

على سبيل المثال، يتم اختيار المربع المغلق الصغير فقط عندما يتم حساب كل من التورطات الاحتيارية والاستدلالات الجهلية، والتي تنتج عن فهم عبارة غير جانية. كما هو موضح في اللوحة، لا يزيد تثبيت العين على المربع المغلق الصغير إلا إذا كان الضامة الغفلة هو الضامة الانفصامية أو مع بداية الزيادة في موعد لا يتجاوز الإزاحة من الضامة الانفصامية. نموذج العالم المرئي هو تقنية تتبع العين متعددة الاستخدامات لاستنتاج فهم المشارك عبر الإنترنت للغة المنطوقة من حركات العين في العالم الحقيقي.

عندما يُعيّن المشاركون أن يتذكروا أن لديهم قدرة بصرية طبيعية أو صحيحة وقدرة سمعية طبيعية. لتصميم دراسة مؤهلة للعالم الحقيقي، يجب التحكم في العوامل الأخرى التي قد تؤثر على حركات عيون المشاركين أو استبعادها. عند تحليل النتائج إحصائيا ، والمشكلة التي قد تنشأ عن الاستجابات يحد ، وينبغي النظر في جميع الارتباط التلقائي أو المقارنات التلقائية.