فصلنامه علمی

نوع مقاله: مقاله پژوهشی

نویسندگان

1 گروه هوش مصنوعی، دانشکده مهندسی کامپیوتر، دانشگاه تربیت دبیر شهید رجایی، تهران، ایران

2 گروه آموزش زبان انگلیسی، دانشکده علوم انسانی، دانشگاه تربیت دبیر شهید رجایی، تهران، ایران

10.22061/tej.2020.6237.2368

چکیده

پیشینه و اهداف: امروزه استفاده از چندرسانه‌ای در آموزش زبان خارجی متداول است. برای طراحی چندرسانه‌ای اصولی وجود دارد که به‌کارگیری آن‌ها موجب کاهش بار شناختی می‌شود. این اصول بر آمده از نظریه بار شناختی هستند. روش‌های اندازه‌گیری بار شناختی به دو دسته‌ خودانگارانه و واقع‌گرایانه تقسیم می‌شوند. روش‌هایی مانند پرسشنامه شاخص بار کاری ناسا در دسته اندازه‌گیری‌های خودانگارانه جای می‌گیرند و روش‌هایی مانند تحلیل سیگنال‌های مغزی یا تحلیل رفتارهای حرکتی چشم در دسته واقع‌گرایانه قرار دارند. امروزه به دلیل مزیت‌هایی که در استفاده از روش‌های واقع‌گرایانه وجود دارد، استفاده از این نوع اندازه‌گیری‌ها در مطالعات شناختی متداول شده است. فناوری ردیابی حرکت چشم می‌تواند رفتارهای مختلف چشم مانند قطر مردمک، ساکاد، تثبیت، پلک‌زدن و میکروساکاد را با نرخ نمونه‌برداری بالا ثبت کند. از این اندازه‌گیری‌ها به صورت گسترده در مطالعات شناختی و بار ذهنی استفاده می‌شود. در این پژوهش بار شناختی در یادگیری چندرسانه‌ای زبان با استفاده از تحلیل داده‌های ردیاب چشمی مورد ارزیابی قرار گرفت.
روش‌ها‌: دو نسخه چندرسانه‌ای آموزش زبان انگلیسی با روایت یکسان به طول 342 ثانیه ساخته شد. در یکی اصول طراحی چندرسانه‌ای رعایت و در دیگری نقض شده است تا بار شناختی بیشتری نسبت به حالت با اصول اعمال شود. 10 فرد که توانایی شنیداری زبان انگلیسی آن‌ها با شبیه‌سازی آزمون آیلتس ارزیابی شدند، در آزمایش شرکت کردند و به صورت تصادفی به دو گروه 5 نفره تقسیم شدند. یک گروه، چندرسانه‌ای بدون اصول و گروه دیگر، چندرسانه‌ای با اصول را مشاهده کردند. توانایی شنیداری همه افراد در بازه یکسان قرار داشت. هر گروه یک نسخه از چندرسانه‌ای‌ها را مشاهده کردند و سپس هر فرد به 12 سؤال چهارگزینه‌ای در رابطه با مفاهیم مطرح شده در چندرسانه‌ای به‌عنوان آزمون عملکرد پاسخ داد. در طول فرآیند مشاهده چندرسانه‌ای و آزمون، داده‌ حرکت چشم از هر فرد شرکت‌کننده اخذ شد. سپس هر فرد به پرسش‌نامه شاخص بار کاری ناسا پاسخ داد. در تحلیل با استفاده از نتایج آزمون عملکرد و شاخص بار کاری ناسا، میزان دشواری چندرسانه‌ای بدون اصول نسبت به حالت با اصول اعتبارسنجی شد. داده‌های اخذ شده به بلوک‌های 30 ثانیه‌ای تقسیم شدند.
یافته‌ها: بر پایه نمرات پرسشنامه شاخص بار کاری ناسا، بار شناختی اعمال‌شده بر روی گروه چندرسانه‌ای بدون اصول بیشتر از بار شناختی اعمال‌شده بر روی گروه چندرسانه‌ای با اصول است که تاییدکننده فرض ما در رابطه با بار شناختی بیشتر توسط چندرسانه‌ای بدون اصول هست. اما در مورد نتایج عملکرد تفاوت معناداری بین دو گروه آزمایش یافت نشد. بر اساس آزمون‌های آماری، معیارهای قطر مردمک، طول ساکاد، سرعت ساکاد، تأخیر پلک زدن، و بزرگی میکروساکاد در بلوک‌های چندرسانه‌ای‌های دو گروه، دارای تفاوت معنادار بودند. برای معیارهای مدت‌زمان تثبیت، نرخ تثبیت و نرخ میکروساکاد، تفاوت معناداری یافت نشد.
نتیجه‌گیری: براساس یافته‎های این پژوهش معیارهای قطر مردمک چشم، طول ساکاد، سرعت ساکاد، تأخیر پلک‌زدن و بزرگی میکروساکاد دارای ارتباط معنادار با بار شناختی اعمال‌شده توسط چندرسانه‌ای آموزش زبان هستند که با ادبیات پژوهش نیز مطابقت دارند. بر پایه‌ نتایج این پژوهش، داده‌‌ حرکت چشم می‌تواند به عنوان معیار مناسبی، در کنار روش‌های خودانگارانه، برای ارزیابی بار شناختی یادگیری چندرسانه‌ای و کیفیت‌سنجی محتوای آموزشی در قالب چندرسانه‌ای، مورد استفاده قرار گیرد. نرخ پلک‌زدن نیز دارای تفاوت معناداری بین دو گروه مورد مطالعه است. در رابطه با سایر معیارهای حرکت چشم که در این پژوهش مطرح شدند، یعنی مدت‌ زمان تثبیت، نرخ تثبیت و نرخ میکروساکاد نیاز به پژوهش بیشتر و طراحی آزمایش‌های مختلف است تا بتوان اظهارنظر قطعی در مورد ارتباط معنادار این پارامترها با بار شناختی اعمال‌شده توسط چندرسانه‌ای آموزش زبان مطرح کرد.

کلیدواژه‌ها

عنوان مقاله [English]

Evaluating Cognitive Load of Multimedia Learning by Eye-tracking Data Analysis

نویسندگان [English]

  • K. Latifzadeh 1
  • Seyed Hamid Amiri 1
  • A. Bosaghzadeh 1
  • R. Ebrahimpour 1
  • M. Rahimi 2

1 Department of Artificial Intelligence, Faculty of Computer Engineering, Shahid Rajaee Teacher Training University, Tehran, Iran

2 English Department, Faculty of Humanities, Shahid Rajaee Teacher Training University, Tehran, Iran

چکیده [English]

Background and Objectives: Today, it is common to use multimedia in foreign language teaching . There are some principles for designing multimedia that using them would reduce the cognitive load. These  principles are based on the cognitive load theory. The methods of cognitive load measurement  are divided into two categories, namely  the subjective and the objective measurements. NASA-TLX is an example of the subjective measurements and methods, such as electroencephalography and eye-tracking are among the objective measurements. Due to the advantages of the objective measurements, using these methods  is common in the cognitive studies. Eye-tracking technology can record different eye-movements of humans, such as pupil dilation, saccades, fixations, blinks and microsaccades with a high sampling rate. These measurements are being widely used in cognitive and mental workload studies. In this paper, the cognitive load in multimedia language learning has been evaluated, using eye-tracking data analysis.
Materials and Method: Two multimedia versions of the English language teaching with the same narration and the length of 342s were produced. In one version, the principles in designing multimedia were applied whereas in the other version, they  were violated so that more cognitive load in comparison to the former version could be imposed. Ten subjects whose English listening comprehension was assessed  with a simulation of the International English Language Testing System (IELTS) participated in the experiment and were randomly divided into two equal groups of five persons. .The two groups were homogeneous with respect to their listening proficiency . One group watched the multimedia without principles while the other group watched the multimedia with principles . Then, each individual answered 12 multiple choice questions about the concepts presented in the multimedia as a performance test. During watching the multimedia and taking the performance test, the participants’ eye movement data were recorded. Then, each person filled out the NASA-TLX Questionnaire. Based on the results of the performance test and the NASA-TLX, the difficulty level of the multimedia without principles as compared to its version with principles was evaluated. The collected data were divided into blocks of 30 seconds.
Findings: Based on the NASA-TLX, the group without principles  experienced more cognitive load in comparison to the group with principles which approved our assumption about the higher load of the multimedia without principles . However, no significant difference  was found in the results of the performance test between the two groups. According to statistical  analyses, the pupil diameter, saccade length, saccade velocity, blink latency, and microsaccade amplitude in the multimedia blocks of both groups were significantly different Nevertheless, no significant difference was found between the two groups  in terms of the fixation time, the fixation rate, and the microsaccade rate.
Conclusion: Based on the findings of this study, pupil dilation, saccade length, saccade velocity, blink latency, and microsaccade amplitude have a significant relationship with the amount of the load that is imposed by the instructional multimedia which corresponds to the literature review of the study. Based on the results of this study,  along with the subjective methods, eye movement data can also be considered as an appropriate tool for assessing the cognitive load imposed by multimedia learning and qualifying  the multimedia instructional content  . A significant difference  was also found between the two groups in the study in terms of their blinking rate.  More investigation and different experiments are needed about the other eye movement criteria that have been investigated in this study,  including fixation time,  , fixation rate, and microsaccade rate so that a more definitive conclusion can be reached regarding a significant relationship between these parameters and the mental load imposed by the multimedia English teaching.

کلیدواژه‌ها [English]

  • Multimedia Learning
  • Language Learning
  • Cognitive load
  • Eye-tracking

[1] Mayer R.E. Multimedia Learning. New York: Cambridge University Press; 2001.

 [2] Azizinejad B., Allah Karami F. [Comparing the effect of education-based on ICT with traditional education on students' academic eagerness]. Technology of Education, 2018; 13(2), 339-348.  Persian.

 [3] Zarrin F., Montazer G. [Personalizing e-learning environment based on learner’s self-efficacy]. Technology of Education, 2019; 14(1): 141-154. Persian.

 [4] Alizadeh I. [The effect of computer- assisted concept mapping technique on learners' vocabulary retention and autonomy education]. Technology of Education. 2013; 8(1), 11-19. Persian.

 [5] Meshkat M and Foroozeshnia S [The investigation of Iranian learners’ CALL attitude and its relationship with academic self-regulation in learning EFL]. Technology of Education. 2013; 8(1), 51-58. Persian.

 [6] Moradimokhles, Het al. [The impact of computer-based and web-enhanced learning environments on the interaction of instructional elements]. Technology of Education. 2017; 11(4), 315-325. Persian.

  [7] Brunken R., Plass J.L. and Leutner D. Direct measurement of cognitive load in multimedia learning. Educational psychologist. 2003; 38(1), 53-61.

[8] De Waard D. The measurement of drivers' mental workload. 1996; Groningen University, Traffic Research Center Netherlands.

 [9] Iqbal S.T., Zheng X.S. and Bailey B.P. Task-evoked pupillary response to mental workload in human-computer interaction.  In CHI'04 extended abstracts on Human factors in computing systems; 2004; 1477-1480 ACM. check? Please identify this reference? A book chapter?

 [10] Veltman J and Gaillard A. Physiological indices of workload in a simulated flight task. Biological psychology. 1996; 42(3), 323-342.

[11] Duchowski AT, Krejtz K, Krejtz I, Biele C, Niedzielska A, Kiefer P. et al. The Index of Pupillary Activity: Measuring Cognitive Load vis-à-vis Task Difficulty with Pupil Oscillation. Montreal QC, Canada: Association for Computing Machinery; 2018. Paper P. 282

 [12] Ito A., CorleyM. and Pickering M.J.. A cognitive load delays predictive eye movements similarly during L1 and L2 comprehension. Bilingualism,Language and Cognition. 2018; 21(2), 251-264.

[13] De Greef T, Lafeber H, Van Oostendorp H, Lindenberg J.  editors. Eye Movement as Indicators of Mental Workload to Trigger Adaptive Automation. Berlin, Heidelberg: Springer Berlin Heidelberg; 2009.

 [14] Tsai, Y.-F. et al. Task performance and eye activity: predicting behavior relating to cognitive workload. Aviation, Space, and Environmental Medicine. 2007; 78(5), 176-185.

 [15] Van Orden KF. et al. Eye activity correlates of workload during a visuospatial memory task. Human Factors. 2001; 43(1), 111-121.

 [16] Beatty J. and Kahneman, D. Pupillary changes in two memory tasks. Psychonomic Science. 1996; 5(10), 371-372.

 [17] Marshall S.P. Identifying cognitive state from eye metrics. Aviation, Space, and Environmental Medicine. 2007; 78(5), 165-175.

 [18] MoresiS. et al. Pupil dilation in response preparation. International Journal of Psychophysiology. 2008; 67(2), 124-130.

 [19] Chen S. et al. Eye activity as a measure of human mental effort in HCI. In Proceedings of the 16th international conference on Intelligent user interfaces; 2011; 315-318.

 [20] RudmannDS, McConkie, GW and Zheng, XS   Eyetracking in cognitive state detection for HCI.  In Proceedings of the 5th International Conference on Multimodal Interfaces; 2003; 159-163.

 [21] Barrios VMG. et al. AdELE: A framework for adaptive e-learning through eye tracking. Proceedings of I KNOW; 2004 p. 609-616.  

 [22] PortaM, Ricotti S.  and Perez C.J. Emotional e-learning through eye tracking. In Proceedings of the 2012 IEEE Global Engineering Education Conference (EDUCON); 2012 IEEE.

 [23] Rafiqi S et al. PupilWare: towards pervasive cognitive load measurement using commodity devices.  In Proceedings of the 8th ACM International Conference on Pervasive Technologies Related to Assistive Environments; 2015 ACM.

 [24] Pomplun M and Sunkara S. Pupil dilation as an indicator of cognitive workload in human-computer interaction.  In Proceedings of the International Conference on HCI; 2003.

 [25] Klingner J, Kumar R, and Hanrahan P. Measuring the task-evoked pupillary response with a remote eye tracker. In Proceedings of the 2008 Symposium on Eye Tracking Research  and  Applications ; 2008, ACM.

 [26] Sibley C, Coyne J, and Baldwin C. Pupil dilation as an index of learning. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Los Angeles, CA: SAGE Publications CA, ;2011.

[27] Rolfs M. Microsaccades: small steps on a long way. Vision Research. 2009; 49(20), 2415-2441.

[28] Siegenthaler E et al. Task difficulty in mental arithmetic affects microsaccadic rates and magnitudes. European Journal of Neuroscience. 2014; 39(2), 287-294.

 [29] Gao X, Yan H, and Sun H J. Modulation of microsaccade rate by task difficulty revealed through between-and within-trial comparisons. Journal of Vision. 2015; 15(3), 3-3.   Please check 3-3??????

 [30] DalmasoM. et al. Working memory load modulates microsaccadic rate. Journal of Vision. 2017; 17(3): 66-66

 [31] ValsecchiM, Betta E, and Turatto M. Visual oddballs induce prolonged microsaccadic inhibition. Experimental Brain Research. 2007; 177(2), 196-208.

 [32] Duncan, J and Parker A. Open Forum 3: Academic Listening and Speaking. Oxford University Press; 2007.

 [33] Carswell CM, Lio CH, Grant R, Klein MI, Clarke D, Seales WB, Strup S. Hands-free administration of subjective workload scales: acceptability in a surgical training environment. Applied Ergonomics. 2010; 42(1):138-145.