ChatGPT يمكنه كتابة الشفرة. والآن يقول الباحثون إنه جيد في إصلاح الأخطاء أيضًا

الروبوت الدردشة ChatGPT التابع لشركة OpenAI يمكنه إصلاح عيوب البرمجيات بكفاءة عالية لكن الميزة الأساسية التي يتمتع بها والتي تفوق طرق ونماذج الذكاء الاصطناعي الأخرى هي قدرته الفريدة على الحوار مع البشر مما يسمح له بتحسين صحة الإجابة.

قام باحثون من جامعة يوهانس غوتنبرغ في ماينز وجامعة كوليدج لندن بوضع ChatGPT من OpenAI في مقابل "تقنيات إصلاح البرامج الآلية القياسية" ونهجين آخرين استخدما التعلم العميق في إصلاح البرامج: CoCoNut من باحثين في جامعة واترلو في كندا؛ و Codex ، نموذج مبني على GPT-3 من OpenAI الذي يعتمد عليه خدمة Copilot لإكمال التعاوني التلقائي للشفرة في GitHub.

أيضًا: كيفية البدء باستخدام ChatGPT

"نجد أن أداء إصلاح الأخطاء في تشات جي بي تي متنافس مع الطرق الشائعة لتعلم العمق مثل كوكونات وكوديكس ، وأفضل بشكل ملحوظ من النتائج المُبلغ عنها في سبل برامج الإصلاح المعتادة" ، كما يكتب الباحثون في ورقة جديدة على arXiv ، والتي تم اكتشافها لأول مرة من قبل New Scientist.

أفضل الروبوتات الدردشة الذكية: ChatGPT وبدائل أخرى مثيرة للتجربة

يمكن للروبوتات الدردشة المزوّدة بالذكاء الاصطناعي والكتّاب أن تساعد في تخفيف عبء عملك عن طريق كتابة الرسائل الإلكترونية والمقالات وحتى القيام بعمليات الرياضيات. فهي تستخدم الذكاء الاصطناعي لتوليد النصوص أو الإجابة على الاستفسارات استنادًا إلى مدخلات المستخدم. تعد شاتجيبي تي واحدة من الأمثلة الشهيرة، ولكن هناك أيضًا روبوتات دردشة ملفتة للانتباه أخرى.

اقرأ الآن

أنه ليس بجديد أن يمكن استخدام ChatGPT لحل مشاكل البرمجة، ولكن يؤكد الباحثون أن قدرته الفريدة على الحوار مع البشر يمنحه ميزة محتملة على أساليب ونماذج أخرى.

قام الباحثون بالاختبار على أداء ChatGPT باستخدام QuixBugs بمؤشر إصلاح الأخطاء. يبدو أن أنظمة إصلاح البرامج الآلية (APR) تعاني من عدم التفوق لأنها تم تطويرها قبل عام 2018.

تستند ChatGPT إلى تنظيم التحويل (Transformer)، والذي أبرزه رئيس الذكاء الاصطناعي لشركة ميتا (Meta) يان لوكان هذا الأسبوعتم تطويره من قبل غوغل. تستند كوديكس (Codex) و CodeBERT التابعة لمايكروسوفت للبحوث ، وBERT سابقة لهما التي أنشأتها غوغل جميعها إلى طريقة غوغل للتحويل.

يسلط OpenAI الضوء على قدرة ChatGPT على إجراء حوارات في أمثلة لتصحيح الشفرة حيث يمكنه طرح استفسارات للتوضيح وتلقي تلميحات من شخص للوصول إلى إجابة أفضل. تدرب نماذج اللغة الكبيرة التي تقف وراء ChatGPT (GPT-3 و GPT 3.5) باستخدام التعلم بالتعزيز من ملاحظات البشر (RLHF).

في حين أن قدرة شاتGPT على المناقشة يمكن أن تساعده على الوصول إلى إجابة أكثر صحة ، إلا أن جودة اقتراحاته لا تزال غير واضحة ، حسب ما يشير الباحثون. ولهذا السبب أرادوا تقييم أداء شاتGPT في إصلاح الأخطاء والعيوب.

قام الباحثون باختبار ChatGPT ضد 40 مشكلة في بايثون فقط من QuixBugs، ثم قاموا بالتحقق يدويًا مما إذا كانت الحل المقترح صحيحة أم لا. قاموا بتكرار الاستعلام أربع مرات نظرًا لوجود بعض العشوائية في موثوقية إجابات ChatGPT، كما اكتشف أحد أساتذة مدرسة وارتون بعد إخضاع الروبوت لامتحان يشبه الدراسات العليا في إدارة الأعمال.

حلّت ChatGPT 19 من مجموع 40 أخطاء Python، مما يضعها على قدم المساواة مع CoCoNut (19) و Codex (21). ولكن الأساليب القياسية للإصلاح الآلي للبرامج حلّت فقط سبعة من المشاكل.

وجد الباحثون أن نسبة نجاح ChatGPT في التفاعلات التالية وصلت إلى 77.5٪.

تكون الآثار على المطورين من حيث الجهد والإنتاجية غامضة، على الرغم من ذلك. حظرت Stack Overflow مؤخرًا الإجابات المُنشأة بواسطة ChatGPT لأنها كانت ذات جودة منخفضة ولكنها تبدو معقولة. وجد الأستاذ في كلية وارتون أن ChatGPT يمكن أن يكون رفيقًا رائعًا لطلاب الدراسات العليا في إدارة الأعمال لأنه يتحلى بصفة "استشاري ذكي" - واحد يقدم إجابات أنيقة لكن في كثير من الأحيان خاطئة - ويعزز التفكير النقدي.

"هذا يظهر أن المساهمة البشرية يمكن أن تكون مفيدة جداً لنظام APR الآلي، حيث يوفر ChatGPT الوسيلة اللازمة لذلك"، يكتب الباحثون.

"على الرغم من أدائه الرائع، يطرح التساؤل ما إذا كانت التكلفة العقلية المطلوبة للتحقق من إجابات ChatGPT تفوق المزايا التي يقدمها ChatGPT."