ChatGPT در پاسخ به سوالات برنامه نویسی خیلی خاص نیست

تیمی از دانشمندان کامپیوتر در دانشگاه پردو دریافتند که چت ربات محبوب مبتنی بر هوش مصنوعی ChatGPT باگ های زیادی دارد و هنگام پاسخ دادن به سوالات برنامه نویسی کامپیوتری پاسخ های اشتباه بسیاری می دهد.

در مقاله خود که به عنوان بخشی از کنفرانس CHI در مورد عوامل انسانی در سیستم‌های محاسباتی منتشر شد، این گروه توضیح می‌دهد که چگونه سؤالات را از StackOverflow گرفتند، آنها را به ChatGPT ارسال کردند و سپس میزان دقیق پاسخ‌های آنها را اندازه‌گیری کردند.

این تیم یافته‌های خود را در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI 2024) که از 11 تا 16 مه برگزار شد، ارائه کردند.

دانشمندان دقت ChatGPT را در پاسخ به سوالات برنامه نویسی آزمایش کردند

ربات‌های چت هوش مصنوعی ChatGPT و سایر LLM‌ها اخیراً مورد توجه قرار گرفته‌اند. از آنجایی که چنین برنامه هایی در دسترس عموم قرار گرفته اند، بسیار محبوب شده اند. اما متاسفانه در کنار انبوهی از اطلاعات مفیدی که در بسیاری از پاسخ های ارائه شده توسط این گونه برنامه ها وجود دارد، انبوهی از اطلاعات نادرست نیز وجود دارد. تاسف بارتر این است که همیشه مشخص نیست که برنامه ها چه زمانی پاسخ اشتباه می دهند.

در این مطالعه جدید، تیم تحقیقاتی دانشگاه پوردو مشاهده کردند که بسیاری از دانشجویان برنامه نویسی از MBA نه تنها برای کمک به نوشتن کد در تکالیف برنامه نویسی، بلکه برای پاسخ به سوالات برنامه نویسی استفاده می کنند.

تیم تحقیقاتی 517 سوال دریافت کرد و بررسی کرد که چند بار هوش مصنوعی ChatGPT به سوالات پاسخ صحیح داده است. متاسفانه میزان دقت این چت بات تنها در 52 درصد موارد گزارش شده است. تحقیقات در مورد پاسخ های چت بات های مبتنی بر هوش مصنوعی ادامه دارد.

محققان از سوالاتی که به صورت رایگان در StackOverflow در دسترس بود استفاده کردند. این سایت برای کمک به برنامه نویسان ایجاد شده است که از طریق همکاری با دیگران در مورد برنامه نویسی بیشتر بیاموزند.