نوع مقاله : مقاله پژوهشی-شماره انگلیسی

نویسندگان

• وحیدرضا میرزائیان ¹
• مجتبی مقصودی ²

¹ گروه زبان انگلیسی، دانشکده ادبیات، دانشگاه الزهراء، تهران، ایران

² گروه زبان انگلیسی، دانشگاه فرهنگیان، تهران، ایران

چکیده

پیشینه و اهداف: ترجمه ماشینی  یکی از فنون هوش مصنوعی  است که با استفاده از رایانه، متون را از زبانی به زبان دیگر ترجمه می کند. مطالعات محدودی با هدف استفاده از خروجی ترجمه ماشینی برای اهداف زبان آموزی انجام شده است. یکی از جنبه های استفاده از ترجمه ماشینی در آموزش زبان به استفاده از خروجی ترجمه ماشینی برای درک مطلب در یادگیری زبان اشاره دارد. با توجه به این واقعیت که کیفیت خروجی ترجمه ماشینی موضوعی بحث برانگیز بوده است، پژوهش های بیشتری برای بررسی اینکه آیا خروجی آن واجد شرایط کافی برای استفاده به عنوان کمک در دوره های انگلیسی برای اهداف آکادمیک است، مورد نیاز است. این پژوهش با هدف ارزیابی کارایی خروجی ترجمه ماشینی برای دروس درک مطلب انگلیسی برای اهداف آکادمیک از طریق اثبات قابل درک بودن آن و بررسی ادراک دانشجویان انجام شد. این پژوهش تلاشی برای ارزیابی کیفیت خروجی ترجمه ماشینی از نظر قابل درک بودن خروجی ترجمه ماشینی برای دانشجویان شرکت کننده بود.
روش‌‌: برای همگن‌سازی شرکت‌کنندگان از نظر تسلط به زبان انگلیسی، از آزمون تعیین سطح زبانی آکسفورد استفاده شد. دو نسخه از آزمون درک مطلب یعنی ترجمه انسانی  و ترجمه ماشینی  به 140 دانشجوی ایرانی در مقطع کارشناسی دانشگاه فرهنگیان داده شد. این آزمون شامل 25 آیتم چند گزینه ای بود که درک شرکت کنندگان از اطلاعات مندرج در متن و همچنین درک مرتبه بالاتری که مستلزم استنباط و نتیجه گیری بود را ارزیابی می کرد. به منظور بررسی پایایی آزمون‌ها از فرمول KR-21 استفاده شد و نتایج نشان داد که هر دو آزمون ترجمه ماشینی (83/0) و آزمون ترجمه انسانی (78/0) پایایی دارند. به منظور بررسی ادراک شرکت‌کنندگان از کارایی خروجی ترجمه ماشینی که در آزمون با آن مواجه شدند، مصاحبه های نیمه ساختاریافته با برخی از شرکت کنندگان انجام شد.
یافته‌ها: از طریق آزمون‌های ناپارامتریک مانند آزمون‌های اسپیرمن و من ویتنی مشخص شد به طور کلی، خروجی ترجمه ماشینی با خروجی ترجمه انسانی قابل رقابت است. علاوه بر این، از نظر مهارت‌های فرعی درک مطلب، کیفیت دو ترجمه قابل مقایسه بود. علاوه بر این، یافته‌های حاصل از مصاحبه نشان داد دانش‌آموزان علی‌رغم مشکلات جزئی موجود در خروجی مانند خطاهای صرفی- نحوی یا معادل‌های واژگانی نامناسب، ترجمه ماشینی را کمکی اساسی برای فعالیت‌های درک مطلب خود می دانستند.
نتیجه‌گیری: این پژوهش نشان داد کارایی خروجی ترجمه ماشینی وابسته به خواننده هدف و وابسته به متن است، زیرا هم توسط ویژگی های خواننده و هم متن تعیین می گردد. این موضوع در نمرات کسب شده توسط دانشجویان در گروه های مختلف کاملا مشهود بود. بنا براین پژوهش حاضر درک پژوهشگران را از ترجمه ماشینی و تاثیر آن بر درک مطلب افزایش می دهد. 

کلیدواژه‌ها

• ادراک پذیری
• انگلیسی آکادمیک
• ترجمه ماشینی
• درک مطلب

موضوعات

• ترجمه ماشینی

عنوان مقاله [English]

Benchmarking Machine Translation Efficacy for Teaching EAP Reading Comprehension Skills

نویسندگان [English]

• V. Mirzaeian ¹
• M. Maghsoudi ²

¹ Department of English, Faculty of Literature, Alzahra University, Tehran, Iran

² Department of English Language Teaching, Farhangian University, Tehran, Iran

چکیده [English]

Background and Objectives: Although Machine Translation (MT) is extensively researched within the field of Artificial Intelligence (AI) and translation studies, few studies have attempted to implement MT output in foreign language teaching (FLT). One potential aspect of using MT in FLT refers to the implementation of MT output for reading comprehension. Considering the existing gap in the body of research on this issue, the present study aimed to investigate whether MT output is qualified enough to be used as an aid in EAP reading comprehension courses. More specifically, this study intended to benchmark the efficacy of MT output for EAP reading comprehension courses based on the data obtained from testing its comprehensibility and probing the students’ perceptions. To achieve the objectives of the study, MT was operationally defined as quality assessment in terms of output efficacy, a combination of usability and comprehensibility, which mirrors the ultimate goal of MT use in EAP reading comprehension courses, from the users' or target readers’ standpoint. Within this perspective, the current research was an attempt to assess the quality of MT output in terms of comprehensibility and the degree to which MT output might be comprehensible to the EAP students participating in this study.
Materials and Methods: The participants of the study, 140 Iranian undergraduate university students majoring in the field of education at Farhangian University, Iran, were selected based on simple random sampling. Oxford Quick Placement Test was used to homogenize them in terms of English proficiency. Two versions of a reliable reading comprehension test, human translation (HT) and Machine Translation (MT), were given to. This test included 25 multiple-choice items, assessing the participants' literal comprehension of information stated in the passage as well as higher-order comprehension that required making inferences and conclusions. In particular, the items measured textual coherence, inference, reference, scanning, skimming, and word-meaning inference. To test the reliability of the tests, the KR-21 formula was applied and the results showed that both HT test (.83) and MT test (.78) were reliable. To investigate the perceptions of the participants on the efficacy of the MT output they encountered on the test, semi-structured interviews were conducted with some of the participants in Persian. 
Findings: With reference to the results of non-parametric tests such as Spearman’s rho, and Mann-Whitney Tests, and considering the observed effect sizes (Cohen’s d), it was revealed that, generally, the efficacy of MT output is comparable to that of HT. Moreover, in terms of reading comprehension sub-skills, the qualities of the two translations were comparable with regard to scanning, and inference, but not skimming and reference. Furthermore, the findings from the interview indicated that the students perceive MT to be a seminal aid for their EAP reading comprehension activities despite the minor problems that exist in the output such as morpho-syntactic errors or inappropriate lexical equivalents.
Conclusions: The present study confirmed the fact that the efficacy of MT output is target-reader-dependent and text-dependent since it is determined both by the characteristics of the readers, such as their disciplines, and text features, as demonstrated by the significant differences in comprehension levels of the same readers measured by the same questions for HT and MT output. Accordingly, this study shed limelight on comprehensibility as a criterion of MT output efficacy; that is to say, it has to be reminded that MT quality needs to be defined as a context-bound and target-reader-specific concept.

کلیدواژه‌ها [English]

• Comprehensibility
• EAP
• Machine Translation
• Reading Comprehension

COPYRIGHTS 
© 2024 The Author(s).  This is an open-access article distributed under the terms and conditions of the Creative Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) (https://creativecommons.org/licenses/by-nc/4.0/)