ارزشیابی تطبیق‌پذیر و تخمین سطح دانش با استفاده از مدل دانش و به کمک شبکه بیزی

کاردان, احمد; کاردان, صمد

doi:10.22061/tej.2009.1324

نوع مقاله : مقاله پژوهشی

نویسندگان

¹ آزمایشگاه فنّاوریهای پیشرفته در آموزش الکترونیکی دانشگاه صنعتی امیرکبیر،تهران،ایران

² دانشکده مهندسی کامپیوتر و فنّاوری اطالعات، دانشگاه صنعتی امیرکبیر،تهران،ایران

https://doi.org/10.22061/tej.2009.1324

چکیده

در سیستم‌های مدیریت یادگیری¹ همواره ارزشیابی میزان دانش یادگیران بعنوان یک مسأله مهم مطرح است. روش‌های ابتدایی ارزشیابی دانش یادگیران تنها به محاسبه امتیاز کسب شده در آزمون‌هایی بسنده می‌کنند که سؤالات آنها به صورت ماشینی قابل تصحیح باشند. مشکلی که در اینجا ممکن است رُخ دهد پاسخ‌دهی صحیح به صورت تصادفی توسط کاربر بدون داشتن دانش کافی²، و یا پاسخ‌دهی اشتباه بر اثر عدم دقت³ با وجود برخورداری از دانش کافی می‌باشد. از طرف دیگر به منظور بهبود فرایند یادگیری لازم است که نتایج آزمون‌ها به صورت تفصیلی و با تعیین نقاط ضعف و قوت کاربر مشخص شود، و بنا بر این فقط یک امتیازدهی کلی برای ارزشیابی دانش کاربر کافی نمی‌باشد. برای بدست آوردن سطح دانش کاربر به صورت تفکیک‌شده لازم است در مواردی که سؤالات چند مفهوم را مورد پرسش قرار می‌دهند تشخیص دهیم ضعف در دانستن کدام مفهوم آموزشی عامل پاسخ نادرست کاربر شده است⁴. در این پژوهش روشی بهبود‌یافته برای ارزشیابی دانش یادگیران ارائه شده است. در این روش مفاهیم آموزشی با استفاده از یک ساختار سلسله مراتبی اهداف آموزشی مدل‌سازی می‌شوند و از مدل دانش یادگیرنده برای تخمین میزان دانش او استفاده می‌شود. این مدل مبتنی بر شبکه‌های بیزی⁵ است و با در نظر گرفتن ساختار اهداف آموزشی ارائه شده است. در روش پیشنهادی برای ارزشیابی یادگیرنده از سؤالاتی استفاده شده است که با توجه به اهداف آموزشی تهیه شده و پس از سطح‌بندی بر اساس میزان پیچیدگی به کار گرفته شده‌اند. در این پژوهش با ارائه الگوریتمی‌جدید برای روزآمد کردن گره‌ها در شبکه بیزی، تا حد امکان تأثیر پاسخ‌های صحیح تصادفی و نیز پاسخ‌های غلط ناشی از عدم دقت، در ارزیابی نهایی کاهش یافته‌اند. در نهایت با بکارگیری مدل دانش ارائه شده و استفاده از ساختار اهداف آموزشی سلسله مراتبی راه حل مؤثری برای سه مسئلة مطرح در ارزشیابی یادگیران یعنی پاسخ‌های صحیح تصادفی، پاسخ‌های غلط ناشی از عدم دقت، و تشخیص ضعف‌های یادگیرنده، ارائه شده است.

کلیدواژه‌ها

20.1001.1.20080441.1388.3.3.1.6

موضوعات

سواد اطلاعاتی

عنوان مقاله [English]

Adaptive Assessment and Knowledge Level Estimation by Means of Knowledge Model and Bayesian Networks

نویسندگان [English]

A. Kardan ¹
S. Kardan ²

¹ Advanced Technology Laboratory in Electronic Education, Amirkabir University of Technology,Tehran,Iran

² Faculty of Computer Engineering and Information Technology, Amirkabir University of Technology,Tehran,Iran

چکیده [English]

One of the important issues in a learning management system is the assessment of the learner’s knowledge level. In basic methods of assessment, questions are simply ticked by the learners, and then automatically scored by machine. In this sort of examinations, two problems may be raised. Firstly, the learner may answer and mark the questions accidentally by guessing the answer without having enough knowledge about the related subject. Secondly, he/she may slip in answering the questions due to his/her inattention, although he/she has enough knowledge about the related subject. In this work, an improved method for knowledge level assessment is presented. In the proposed method learning concepts are modeled based on the hierarchical construct of learning objectives, and the learner’s knowledge model is used to estimate his/her knowledge level. This model is established on the basis of Bayesian networks, and considering the hierarchical construct of learning objectives. To evaluate the proposed method, a set of questions by considering the learning objectives was designed and ordered into different levels of complications. Then these questions were used for assessments. In this work also a new algorithm for updating the nodes in a Bayesian network is introduced. By means of this algorithm the effect of guessing and slipping answers in an assessment is undoubtedly reduced. Finally, by presenting a model for knowledge and use of the hierarchical construct of learning objectives, an effective solution for three above mentioned problems of guessing answers, slipping answers, and the origin of wrong answers have been established.

کلیدواژه‌ها [English]

Assessment of learners' level of knowledge
adaptive evaluation
user knowledge model
business networks
e-learning

مراجع

[1] Brusilovsky P. and Sosnovsky S., Individualized exercises for self-assessment of programming knowledge: An evaluation of quizpack, ACM Journal of Educational Resources in Computing, Vol. 5, No. 6, 2005. [2] VanLehn K. and Martin J., Evaluation of an assessment system based on Bayesian student modeling, International Journal of Artificial Intelligence and Education, Vol. 8,No 2, 1997, pp. 179-221. [3] Martin J. and Vanlehn K., Student assessment using Bayesian nets, International Journal of Human-Computer Studies, Vol. 42,No. 6, 1995, pp. 575–591. [4] Conati C. and Vanlehn K., POLA: A student modeling framework for probabilistic on-line assessment of problem solving performance, In Proceedings of UM-96, 5th International Conference on User Modeling, User Modeling, Inc., 1996, pp. 75-82. [5] VanLehn K. and Martin J., Evaluation of an assessment system based on Bayesian student modeling, International Journal of Artificial Intelligence and Education,Vol. 8, No. 2, 1997, 179-221. [6] Mayo M. and Mitrovic A., Optimizing ITS behavior with Bayesian networks and decision theory, International Journal of Artificial Intelligence in Education, Vol. 12, 2001, pp. 124–153. [7] Conati C., Gertner A. and Vanlehn K., Using bayesian networks to manage uncertainty in student modeling, User Modeling and UserAdapted Interaction, Vol. 12,No. 4, 2002, pp.371-417. [8] Desmarais M.C. and Pu X., A bayesian inference adaptive testing framework and its comparison with item response theory, International Journal of Artificial Intelligence in Education, Vol. 15, 2005, pp. 291-323. [9] Vanlehn K., Lynch C., Schulze K., Shapiro J. A., Shelby R., Taylor L., Treacy D., Weinstein A., and Wintersgill M., The andes physics tutoring system: Lessons learned, International Journal of Artificial Intelligence in Education, Vol. 15,No. 3, 2005. [10] Bekele R. and Menzel W., A Bayesian Approach to Predict Performance of a Student (BAPPS): A case with ethiopian students, In Proceedings of International Conference of Artificial Intelligence and Applications, AIA2005, Vienna, Austria, 2005. [11] Pardos Z.A., Heffernan N.T., Anderson B. and Heffernan C., Using fine-grained skill models to fit student performance with Bayesian networks, On-line Proceedings of the Workshop on Educational Data Mining at the Eighth International Conference on Intelligent Tutoring Systems, Taiwan, 2006, pp.5-12. [12] Arroyo I, Beal C., Murray T., Walles R. and Woolf B. Wayang outpost: Intelligent tutoring for high stakes achievement tests, In Proceedings of the 7th International Conference on Intelligent Tutoring Systems (ITS2004), Springer Berlin / Heidelberg, 2004, pp. 468-477. ارزشیابی تطبیقپذیر و تخمین سطح دانش با استفاده از مدل دانش و به کمک شبکه بیزی احمد کاردان و همکار 959 نشریه علمی پژوهشی فناوری آموزش، سال سوم، جلد 3 ،شماره 4 ،تابستان 8311 [13] Razzaq L. and Heffernan N.T., Towards designing a user-adaptive web-based elearning system, In CHI '08 Extended Abstracts on Human Factors in Computing Systems, Florence, Italy, April, 2008,pp. 3525-3530. [14] Kardan A. and Kardan S., Learning object tendency: A new Concept for adaptive learning improvement, In Proceedings of 3rd International Conference of Virtual Learning (ICVL 2008), Constanta, Romania, 2008, pp. 237-248. [15] Collins J., Greer J., Huang S., Adaptive assessment using granularity hierarchies and Bayesian nets, In: Frasson C., Gauthier G., Lesgold A.(eds) Intelligent tutoring systems, Third International Conference, ITS’96 ,June, Montreal, Canada, 1996, pp. 569-577. [16] Molenda M., Historical and philosophical foundations of instructional design: A north american view, In: R. D. Tennyson, F. Schott, N. Seel and S. Dijkstra, (Eds.), Instructional design: International Perspective: Theory, research, and models. Vol. 1, pp. 41-54. Mahwah, NJ: Erlbaum. [17] Salaberry M.R., Pedagogical design of computer mediated communication tasks: Learning objectives and technological capabilities, Modern Language Journal, Vol. 84, part 1, 2000, pp. 28-37. [18] Boyle T., Design principles for authoring dynamic, reusable learning objects, Australian Journal of Educational Technology, Vol. 19, part 1, 2003, pp. 46-58. [19] Gagne R.M., Wager W.W., Golas K.C., Keller J.M., Principles of instructional design, 5th edition, Wadsworth Publishing, 2004. [20] Mitchell T.M., Machine learning, McGrawHill, 1997, pp. 154-184. [21] Birenbaum M., Toward adaptive assessment - the student's angle, Studies in Educational Evaluation, Vol. 20, No.2, 1994, pp. 239-255. [22] Dowling C.E., Hockemeyer C., Ludwig A.H., Adaptive assessment and training using the neighborhood of knowledge states, Lecture Notes in Computer Science, Issue 1086, 1996, pp. 578-586. [23] Challis D., Committing to quality learning through adaptive online assessment, Assessment and Evaluation in Higher Education, Vol. 30,No. 5, 2005, pp. 519-528 [24] Hatzilygeroudis I., Koutsojannis C., Papavlasopoulos C., Prentzas J., Knowledgebased adaptive assessment in a web-based intelligent educational system, In Advanced Learning Technologies 2006, Sixth International Conference on, IEEE, 2006, pp. 651 – 655. [25] Sitthisak O., Gilbert L. and Davis H.C., Towards a competency model for adaptive assessment to support lifelong learning, In: TENCompetence Workshop on Service Oriented Approaches and Lifelong Competence Development Infrastructures, January, Manchester, UK, 2007.

نامه به سردبیر

سر دبیر نشریه فناوری آموزش، با تواضع انتشار نامه های واصله از نویسندگان و خوانندگان و بحث در سامانه نشریه را ظرف 3 ماه از تاریخ انتشار آنلاین مقاله در سامانه و یا قبل از انتشار چاپی نشریه، به منظور اصلاح و نظردهی امکان پذیر نموده است.، البته این شامل نقد در مورد تحقیقات اصلی مقاله نمی باشد.

توچه به موارد ذیل پیش از ارسال نامه به سردبیر لازم است در نظر گرفته شود:

[1]نامه هایی که شامل گزارش از آمار، واقعیت ها، تحقیقات یا نظریه ها هستند، لازم است همراه با منابع معتبر و مناسب باشند، اگرچه ارسال بیش از زمان 3 نامه توصیه نمی گردد

[2] نامه هایی که بجای انتقاد سازنده به ایده های تحقیق، مشتمل بر حملات شخصی به نویسنده باشند، توجه و چاپ نمی شود

[3] نامه ها نباید بیش از 300 کلمه باشد

[4] نویسندگان نامه لازم است در ابتدای نامه تمایل یا عدم تمایل خود را نسبت به چاپ نظریه ارسالی نسبت به یک مقاله خاص اعلام نمایند

[5] به نامه های ناشناس ترتیب اثر داده نمی شود

[6] شهر، کشور و محل سکونت نویسندگان نامه باید در نامه مشخص باشد.

[7] به منظور شفافیت بیشتر و محدودیت حجم نامه، ویرایش بر روی آن انجام می پذیرد.