يجيب ChatGPT على أكثر من نصف أسئلة هندسة البرمجيات بشكل غير صحيح

إن قدرة ChatGPT على تقديم إجابات محادثة لأي سؤال في أي وقت تجعل من chatbot موردًا مفيدًا لاحتياجاتك من المعلومات. على الرغم من الراحة ، وجدت دراسة جديدة أنك قد لا ترغب في استخدام ChatGPT لمطالبات هندسة البرمجيات.

قبل ظهور روبوتات الدردشة بالذكاء الاصطناعي ، كان Stack Overflow هو المورد الأساسي للمبرمجين الذين احتاجوا إلى المشورة لمشاريعهم ، مع نموذج سؤال وجواب مشابه لنموذج ChatGPT.

أيضًا: كيفية منع زاحف الويب الجديد للتدريب على الذكاء الاصطناعي من OpenAI من استيعاب بياناتك

ومع ذلك ، مع Stack Overflow ، عليك الانتظار حتى يجيب شخص ما على سؤالك بينما لا تفعل ذلك مع ChatGPT.

نتيجة لذلك ، تحول العديد من مهندسي البرمجيات والمبرمجين إلى ChatGPT بأسئلتهم. نظرًا لعدم وجود بيانات توضح مدى فعالية ChatGPT في الرد على هذه الأنواع من المطالبات ، فإن ملف دراسة جامعة بوردو حقق في المعضلة.

لمعرفة مدى كفاءة ChatGPT في الرد على مطالبات هندسة البرمجيات ، قدم الباحثون أسئلة لـ ChatGPT 517 Stack Overflow وفحصوا دقة هذه الإجابات وجودتها.

أيضًا: كيفية استخدام ChatGPT لكتابة التعليمات البرمجية

أظهرت النتائج أنه من أصل 512 سؤالاً ، كانت 259 (52٪) من إجابات ChatGPT غير صحيحة وأن 248 (48٪) فقط كانت صحيحة. علاوة على ذلك ، كانت 77٪ من الإجابات مطولة.

وعلى الرغم من عدم دقة الإجابات بشكل كبير ، إلا أن النتائج أظهرت أن الإجابات كانت شاملة بنسبة 65٪ من الوقت وتناولت جميع جوانب السؤال.

لمزيد من تحليل جودة استجابات ChatGPT ، طلب الباحثون من 12 مشاركًا بمستويات مختلفة من الخبرة في البرمجة تقديم رؤاهم حول الإجابات.

أيضًا: قام فريق Microsoft الأحمر بمراقبة الذكاء الاصطناعي منذ عام 2018. فيما يلي خمس رؤى كبيرة

على الرغم من أن المشاركين فضلوا استجابات Stack Overflow على ChatGPT عبر فئات مختلفة ، كما يتضح من الرسم البياني ، فشل المشاركون في تحديد الإجابات غير الصحيحة التي تم إنشاؤها بواسطة ChatGPT بنسبة 39.34٪ من الوقت بشكل صحيح.

وفقًا للدراسة ، تسببت الاستجابات الواضحة بشكل جيد في نتائج ChatGPT للمستخدمين في التغاضي عن المعلومات غير الصحيحة في الإجابات.

كتب المؤلفون: “يتجاهل المستخدمون المعلومات غير الصحيحة في إجابات ChatGPT (39.34٪ من الوقت) بسبب الرؤى الشاملة والمفصلة جيدًا والبشرية في إجابات ChatGPT”.

أيضًا: كيف يمكن لـ ChatGPT إعادة كتابة التعليمات البرمجية الحالية وتحسينها

يعد توليد إجابات تبدو معقولة وغير صحيحة مشكلة مهمة عبر جميع روبوتات المحادثة لأنها تتيح انتشار المعلومات المضللة. بالإضافة إلى هذا الخطر ، يجب أن تكون درجات الدقة المنخفضة كافية لتجعلك تعيد النظر في استخدام ChatGPT لهذه الأنواع من المطالبات.