عملکرد چت جی پی تی هنوز در حوزه حسابداری با انسان قابل مقایسه نیست!

به تازگی محققان، فناوری OpenAI را به چالش کشیدند و از نسخه‌ی اصلی چت جی پی تی تست حسابداری گرفتند. به گفته‌ی این محققان، ChatGPT هنوز در حوزه حسابداری نیاز به پیشرفت دارد. دیوید وود، مسئول ارشد تحقیقات که استاد حسابداری است گفته: «زمانی که این فناوری برای اولین بار عرضه شد، همه نگران بودند که دانشجویان از آن برای تقلب استفاده کنند. اما باید اشاره کنیم که تقلب قبل از ChatGPT هم وجود داشته است. در همین راستا ما تصمیم گرفتیم که عملکرد ChatGPT را مورد بررسی قرار دهیم و طبق توانایی آن در حوزه حسابداری، شیوه‌ی جدیدی در تدریس خود ایجاد کنیم.» با مازستا همراه باشید تا به جزییات بیشتر بپردازیم.

همانطور که می‌دانید، چت جی پی تی از زمان آغاز به کار خود در نوامبر 2022 به سریعترین پلتفرم فناوری در حال رشد تبدیل شده و در کمتر از دو ماه به 100 میلیون کاربر رسیده است.

برای تست ChatGPT در حوزه حسابداری، سوالاتی شامل سیستم‌های اطلاعات حسابداری (AIS)، حسابرسی، حسابداری مالی، حسابداری مدیریتی و مالیاتی در اختیار این سیستم قرار دادند و از نظر سختی و نوع، سوالات شامل صحیح/غلط، چند گزینه ای، پاسخ کوتاه و غیره بود. در مقابل همین سوالات را در اختیار دانشجویان حسابداری نیز قرار دادند تا عملکرد این تکنولوژی OpenAI را با دانشجویان این رشته مقایسه کنند.

در نهایت اگرچه عملکرد چت جی پی تی چشمگیر بود، اما دانشجویان عملکرد بهتری داشتند. دانشجویان میانگین کلی 76.7% را در مقایسه با امتیاز ChatGPT 47.4% کسب کردند. در 11.3٪ از سوالات، ChatGPT امتیاز بالاتری از میانگین دانشجویان کسب کرد و به ویژه در AIS خوب عمل کرد. اما این ربات هوش مصنوعی در ارزیابی‌های مالیاتی، مالی و مدیریتی عملکرد خوبی نداشت و احتمالاً دلیلش آن است که ChatGPT با فرآیندهای ریاضی مشکل داشت. از سوی دیگر ChatGPT در سوالات صحیح/غلط (68.7٪ درست) و سوالات چند گزینه ای (59.5٪) بهتر عمل کرد، اما با سوالات پاسخ کوتاه (بین 28.7٪ تا 39.1٪) مشکل داشت.

محققان این تحقیق اشاره کرده‌اند که در حال حاضر ChatGPT در حوزه حسابداری حرفی برای گفتن ندارد و در واقع قرار نیست که ChatGPT در تمامی حوزه‌ها عملکرد بالایی داشته باشد و در تمامی حوزه‌ها از آن استفاده شود.

این محققان همچنین توضیح داده‌اند که چت جی پی تی همیشه خطاهایی در محاسبات دارد و اغلب برای پاسخ‌های نادرست خود توضیحات قانع‌کننده‌ و دقیقی ارائه می‌دهد اما این توضیحات نمی‌تواند اشتباهات محاسباتی آن را بپوشاند. در نهایت محققان انتظار دارند که GPT-4 به طور تصاعدی در حوزه حسابداری بهبود یابد. به نظر شما ChatGPT در چه حوزه‌های دیگری، عملکرد بالایی را ارائه نمی‌دهد؟ نظرات خود را با ما به اشتراک بگذارید.