ما هو GPT-3؟ كل ما يحتاجه عملك لمعرفته عن برنامج OpenAI المبتكر للذكاء الاصطناعي في مجال اللغة

تعد GPT-3 برنامج حاسوبي تم إنشاؤه من قبل شركة البداية الصغيرة في سان فرانسيسكو OpenAI. إنه شبكة عصبية ضخمة، وبالتالي فهو جزء من شريحة التعلم العميق في التعلم الآلي، والتي بدورها تعتبر فرعًا من مجال علوم الحاسوب المعروف بالذكاء الاصطناعي. يعد هذا البرنامج أفضل من أي برنامج سابق في إنتاج سلاسل من النصوص التي تبدو وكأنها يمكن أن تكون مكتوبة من قبل إنسان.

السبب الذي يمكن أن يكون فيه هذا الاختراق مفيدًا للشركات هو أنه لديه إمكانات كبيرة لتطوير المهام الآلية. يمكن لـ GPT-3 الرد على أي نص يقوم الشخص بكتابته على الحاسوب بنص جديد مناسب للسياق. اكتب جملة بالإنجليزية كاملة في مربع البحث، على سبيل المثال، ومن الأرجح أن تحصل على جواب ملائم في جملة كاملة. وهذا يعني أنه يمكن أن يعزز GPT-3 بذل الجهود البشرية في مجموعة واسعة من الحالات، من أسئلة وإجابات لخدمة العملاء إلى البحث في وثائق الدراسة الجدوى إلى إنشاء التقارير.

لاحظ المثال القصير التالي لما يكتبه شخص في الكمبيوتر وكيف يعود GPT-3 برد:

الإدخال المُقدم من الإنسان: س: من قام بدور تس في مسلسل "ملامسة الملاك؟"

GPT-3-generated completion : A: ديلوريس باتريشيا إيرلي (6 يوليو 1931 - 19 نوفمبر 2017)، المعروفة بشكل مهني باسم ديلا ريز

البرنامج حاليًا في بيتا خاصة يمكن للأشخاص التسجيل في قائمة الانتظار. ويتم تقديمه من قبل OpenAI كواجهة برمجة تطبيقات (API) تعمل عبر السحابة، ولقد قامت الشركات التي حصلت على الوصول بتطوير بعض التطبيقات المثيرة التي تستخدم توليد النصوص لتعزيز جميع أنواع البرامج، بدءًا من الأسئلة والأجوبة البسيطة إلى إنتاج الشفرات البرمجية.

إلى جانب إمكانية الأتمتة تأتي عيوب كبيرة. يتطلب GPT-3 الكثير من الحسابات، وبالتالي يوضع خارج استخدام معظم الشركات في أي نهج ممكن داخل الردهة. يمكن أن تكون النصوص التي ينتجها مبهرة في البداية، ولكن المؤلفات الطويلة تميل إلى أن تصبح بعض الشيء بلا معنى. ولديه قدر كبير لتعزيز التحيزات، بما في ذلك العنصرية والتحيز ضد الجنسين.

كيف يعمل GPT-3؟

يعتبر GPT-3 مثالًا على ما يعرف بنموذج اللغة، وهو نوع معين من البرامج الإحصائية. في هذه الحالة، تم إنشاؤه كشبكة عصبية.

اسم GPT-3 هو اختصار يعني "التدريب التوليدي المسبق"، حيث إنها النسخة الثالثة حتى الآن. يعتبر التدريب التوليدي لأنه بخلاف الشبكات العصبية الأخرى التي تعطي نتيجة رقمية أو إجابة بنعم أو لا، يستطيع GPT-3 توليد تسلسلات طويلة من النص الأصلي كنتيجة له. كما يتم التدريب المسبق بمعنى أنه لا يتم بناؤه بأي معرفة مجالية، على الرغم من قدرته على إكمال المهام ذات المجال النوعي، مثل ترجمة اللغات الأجنبية.

نموذج اللغة، في حالة GPT-3، هو برنامج يحسب مدى احتمال ظهور كلمة في نص معين بناءً على الكلمات الأخرى في النص. ويُعرف ذلك بمفهوم احتمالية الشرط للكلمات.

على سبيل المثال، في الجملة، أردت تحضير أوليت، لذلك ذهبت إلى الثلاجة وأخذت بعض ____، يمكن ملء الفراغ بأي كلمة، حتى الهراء، نظرًا لقابلية اللغة للتركيب اللانهائي. ولكن الكلمة "البيض" غالبًا ما تحصل على درجة عالية لملء تلك الفراغ في معظم النصوص العادية، أعلى من مثل "الفيلة". نقول أن احتمالية البيض في ضوء النص المطلوب أعلى من احتمالية الفيلة.

في مرحلة تطوير الشبكة العصبية، وتسمى مرحلة التدريب، يتم إرسال الملايين والملايين من نماذج النص إلى GPT-3 ويقوم بتحويل الكلمات إلى ما يسمى بالمتجهات، أي تمثيلات عددية. وهذا هو شكل من أشكال ضغط البيانات. ثم يحاول البرنامج فك تلك البيانات المضغوطة وتحويلها إلى جملة صحيحة. مهمة ضغط وفك ضغط البيانات تساهم في تطوير دقة البرنامج في حساب الاحتمالية المشروطة للكلمات.

بمجرد أن يتم تدريب النموذج، وهذا يعني أن حساباته لاحتمالية الشرط عبر مليارات الكلمات تكون دقيقة قدر الإمكان، يمكنه بعد ذلك التنبؤ بالكلمات التي تأتي بعدها عندما يتم تشغيله بواسطة شخص يكتب كلمة أولية أو كلمات أولية. تسمى هذه العملية بالتنبؤ في تعلم الآلة.

تؤدي ذلك إلى تأثير مرآة مدهش. ليس فقط يظهر الكلمات المحتملة ، بل يتم تكرار نسيج وإيقاع النوع أو شكل المهمة الكتابية ، مثل أطقم الأسئلة والأجوبة. على سبيل المثال ، يمكن تغذية GPT-3 ببعض أسماء الشعراء الشهيرين وعينات من أعمالهم ، ثم اسم شاعر آخر وعنوان فقط لقصيدة خيالية ، وسيقوم GPT-3 بإنتاج قصيدة جديدة بطريقة متسقة مع إيقاع وبناء الجمل للشاعر الذي تم توجيه اسمه.

التفكير في الحالة التالية لـ GPT-3 التي تنشئ قصيدة من البداية تكون مشابهة بعض الشيء لعمل والاس ستيفنز بعد تزويدها بعناوين وأسماء وأمثلة عن شعراء آخرين وأعمالهم:

الإدخال المقدم من الإنسان: المدينة  من قبل ك. ب. كافافي  ترجمة: ادموند كيلي  [نص القصيدة محذوف]

المدخلات المحددة بواسطة الإنسان: بعض الأشجار جون اشبري [نص القصيدة محذوف]

إدخال تعمل عليه الإنسان: الظلال في الطريق - والاس ستيفينز

GPT-3-generated completion : -------- القصيدة المُولدة رقم 1 --------  يجب أن يكون لدي ظلال في الطريق  إذا كنت أن أمشي يجب  أن أخطو كل خطوة ببطء وبمفردي  لأجدها جاهزة    ويجب أن أفكر بأسطر من الرمادي  ليكون لدي أفكار غامضة تكون دليلي  يجب أن أنظر إلى الأزرق والأخضر  وأن لا أدع عيني تنسى  أن اللون هو رفيقي  ويرافقني اللون الأرجواني أيضًا  الأصفر للشمس أقل تدخلاً من الثلج الأزرق  الذي يتساقط على الجميع. يجب أن يكون لدي  أفكار رمادية وأفكار زرقاء تمشي معي  إذا أردت الذهاب على الإطلاق.

توليد إجابة يعني أن GPT-3 يمكن أن يصل إلى أبعد من مجرد إنتاج الكتابة. يمكنه الأداء في جميع أنواع الاختبارات بما في ذلك اختبارات المنطق التي تنطوي على استجابة بلغة طبيعية. إذا كان، على سبيل المثال، تم إدخال مقالة عن أسعار الإيجارات لعقارات مانهاتن للإيجار في GPT-3، وعبارة تلخص النص مثل "مانهاتن رخيصة"، والسؤال "صحيح أو خاطئ؟"، فإن GPT-3 سيستجيب لذلك الطلب بالكامل عن طريق إرجاع كلمة "خاطئ"، حيث لا تتفق العبارة مع حجة المقالة.

المدخلات المقدمة من البشر: الاتجاه نحو انخفاض الإيجارات قد يبدو مفاجئاً مع العلم بأن بعض المجتمعات في نيويورك تشعر بحزن لفقدان الأعمال المحلية المفضلة بسبب ارتفاع الإيجارات. ولكن على الرغم من التخفيض الأخير، لا يزال هناك قفزة كبيرة بالنسبة للعديد من هؤلاء التجار عن أسعار الإيجار في أواخر سبعينيات القرن الماضي عند توقيع عقودهم. بالتأكيد، لا يعني التراجع الأخير في الأسعار أن مانهاتن رخيصة.

إدخال المستخدم: إجابة: 

GPT-3-إكمال تم إنشاؤها : خاطئ

قدرة GPT-3 على الاستجابة بطريقة متسقة مع مهمة محددة، بما في ذلك النماذج التي لم يتعرض لها من قبل، تجعله نموذج لغوي "موشى قليلا". بدلاً من أن تكون قد تم ضبطها بشكل كبير، أو "تدريبها"، كما يسمى، على مهمة محددة، يحتوي GPT-3 بالفعل على الكثير من المعلومات حول الطرق العديدة التي يمكن أن تتم تركيب الكلمات بها، بحيث يمكن أن يتم إعطاءه سوى عدد قليل من الأمثلة لمهمة معينة، ما يعرف باسم خطوة الإعداد الدقيق، ويكتسب القدرة على أداء تلك المهمة الجديدة أيضًا.

القدرة على تشابه أنماط اللغة الطبيعية وتحقيق درجات مرتفعة نسبياً في الاختبارات المعتمدة على اللغة يمكن أن يعطي انطباعًا بأن GPT-3 يقترب من تحقيق مهارات إنسانية في مجال اللغة. كما سنرى، هذا ليس الحال.

يمكنك العثور على مزيد من التفاصيل التقنية في ورقة GPT-3 الرسمية التي نشرها علماء OpenAI.

ماذا يمكن لـ GPT-3 أن يفعل؟

أصبحت OpenAI الآن مشهورة - أو سيئة السمعة - بسبب ممارسات إصدار رموزها بنفس قدر شهرتها. عندما قدمت الشركة GPT-2 ، النسخة السابقة ، في عيد الحب عام 2019 ، لم ترغب في إصدار النسخة الأكثر قدرة للجمهور ، قائلة إنها خطرة جداً لترخيصها في البرية بسبب خطر انتاج كتلي لنصوص كاذبة ومضللة. في الوقت الحالي ، أصبح متاحًا للتحميل بواسطة OpenAI.

هذه المرة ، لا تقدم OpenAI أي تنزيلات. بدلاً من ذلك ، قامت بتشغيل نقطة نهاية لواجهة برمجة التطبيقات القائمة على السحابة ، مما يجعل GPT-3 عرضًا كخدمة. (فكر فيه على أنه LMaaS ، نموذج لغة كخدمة.) يدعي OpenAI أن السبب في ذلك هو تقييد استخدام GPT-3 من قبل الأشخاص السيئين وتحقيق أرباح.

"لا يوجد 'زر تراجع' مع المصدر المفتوح،" أخبرت OpenAI ZDNet من خلال المتحدث الرسمي."

"إطلاق GPT-3 عبر واجهة برمجة التطبيقات يسمح لنا بضبط استخدامه بأمان وإعادة الوصول إليه إذا لزم الأمر."

في الوقت الحالي ، يتم تقديم خدمة واجهة برمجة التطبيق (API) لـ OpenAI للأطراف المعتمدة فقط. يمكن للمهتمين الانضمام إلى قائمة الانتظار للحصول على الوصول.

"الآن، الواجهة البرمجية في مرحلة بيتا مضبوطة مع عدد قليل من المطورين الذين يقدمون فكرة لشيء يرغبون في إنتاجه باستخدام الواجهة البرمجية،" قالت OpenAI لـ ZDNet.

أيضًا: تم إصدار مولد نصوص الذكاء الاصطناعي الخطير من OpenAI: يجد الناس الكلمات "مقنعة"

هناك أمثلة شيقة لما يمكن أن يتم من الشركات في برنامج بيتا. شركة Sapling، وهي شركة مدعومة من قبل صندوق الاستثمار الاستوديو الشامل، تقدم برنامجًا يعمل فوق برنامج إدارة علاقات العملاء (CRM). عندما يقوم موظف خدمة العملاء بالتعامل مع طلب مساعدة وارد، على سبيل المثال، عبر البريد الإلكتروني، يستخدم البرنامج GPT-3 لاقتراح عبارة كاملة كاستجابة من بين الاستجابات الأكثر احتمالاً.

شركة صانعة ألعاب مثل Latitude تستخدم GPT-3 لتعزيز لعبة المغامرات القائمة على النصوص AI Dungeon. عادةً ما تتطلب لعبة المغامرة شجرة قرار معقدة لكتابة العديد من المسارات الممكنة في اللعبة. بدلاً من ذلك ، يمكن لـ GPT-3 توليد حالة تغيرية للعب في استجابة لإجراءات المستخدمين التي يقومون بكتابتها.

بالفعل ، يتجاوز التَّلقيح التَّلقائي للمهام اللغة الطبيعية ليتضمن إنتاج الشِّفرة الحاسوبية. الشِّفرة هي لغة ، ويمكن لـ GPT-3 استدلال أكثر صحة لبنية العناصر والعمليات في لغات البرمجة المختلفة ، ويمكنه إنتاج تسلسلات يمكن تجميعها وتشغيلها بنجاح.

لإثارة بداية المثال مشاعا تويتر-فيرس، من شركة تطوير تطبيق النجارة. كان شريف شاميم، رئيس الشركة، قادرًا على بناء برنامج حيث تكتب وصفًا لواجهة المستخدم البرمجية بلغة إنجليزية بسيطة، ويقوم GPT-3 باستجابة برمجية باستخدام ملحق بناء JSX لجافاسكريبت. تلك الشفرة تنتج واجهة مطابقة لما وصفته.

هذا مدهش للغاية. باستخدام GPT-3 ، قمت ببناء مُنشئ تخطيط حيث يمكنك فقط وصف أي تخطيط تريده ، وسيقوم تلقائيًا بإنشاء الشفرة JSX بالنسبة لك. مُذهل جدًا. صورة

— شريف شمعة (@sharifshameem) 13 يوليو 2020

شميم أظهر أنه من خلال وصف واجهة المستخدم بأزرار متعددة، يمكنه وصف برنامج بأكمله بجملة واحدة، على الرغم من كونه بسيطًا مثل حساب العمليات الحسابية الأساسية وعرض النتيجة، وسيقوم GPT-3 بإنشاء جميع الشفرات اللازمة لها وعرض التطبيق النشط.

لقد قمت للتو ببناء تطبيق React * يعمل * عن طريق وصف ما أردته لـ GPT-3. لا زلت في ذهول. pic.twitter.com/UUKSYz2NJO

— شريف شمعة (@sharifshameem) يوليو 17، 2020

أعلنت شركة OpenAI لـ ZDNet أنها "تلقت عشرات الآلاف من التطبيقات للحصول على وصول لواجهة برمجة التطبيقات (API) حتى الآن، ونحن نتصرف بحذر في منح الوصول حيث نتعرف فقط على قدرة هذه النماذج في العالم الحقيقي". "لذا قد يكون قائمة الانتظار طويلة".

التسعير لخدمة تجارية نهائية ما زال قيد التحديد. على سؤال متى ستخرج البرنامج من مرحلة بيتا، أجابت OpenAI "لن يحدث ذلك قريبًا".

"إطلاق نموذج قوي من هذا القبيل يعني أننا بحاجة إلى التحلي بالبطء والتفكير المتأني في تأثيره على الشركات والصناعات والأشخاص"، صرحت الشركة. "تتيح لنا صيغة واجهة برمجة تطبيقات دراسة ومراقبة استخداماتها بشكل مناسب، ولكننا لسنا مستعجلين لجعلها متاحة عمومًا نظرًا لقيودها."

إذا كنت غير صبور على قائمة انتظار البيتا ، يمكنك في هذه الأثناء تنزيل الإصدار السابق ، GPT-2 ، والذي يمكن تشغيله على الكمبيوتر المحمول باستخدام تثبيت Docker. تم نشر الشفرة المصدرية في نفس مستودع Github ، بتنسيق Python لإطار TensorFlow. بالطبع ، لن تحصل على نفس النتائج مثل GPT-3 ، ولكنها طريقة للبدء في التعرف على الأمر.

لا تنس أيضًا، أنه يظهر في كل وقت نماذج لغوية جديدة ذات إمكانات مماثلة، وبعضها قد يكون كافيًا لأغراضك. على سبيل المثال، أصدرت Google مؤخرًا نسخة من نموذجها اللغوي BERT، المسمى LaBSE، والذي يظهر تحسينًا واضحًا في ترجمة اللغة. وهو متاح للتنزيل من مركز TensorFlow Hub.

أيضًا: يشير الموديل اللغوي العملاق لـ GPT-3 من OpenAI إلى حدود نماذج اللغة في الذكاء الاصطناعي

ما هي تاريخ GPT-3؟

تم الكشف عن GPT-3 في مايو ، وهو الإصدار الثالث من برنامج تم تقديمه لأول مرة في عام 2018 من قبل OpenAI تبعه العام الماضي GPT-2. الثلاثة برامج هي مثال على الابتكار السريع في مجال نماذج اللغة ، بفضل تقدمين كبيرين ، حدثا في عام 2015.

كان التطور الأول استخدام ما يعرف باسم الاهتمام. لوحظ من قبل عالم الذكاء الاصطناعي يوشوا بنجيو وزملاؤه في معهد ميلا للذكاء الاصطناعي في مونتريال أن نماذج اللغة عند ضغط جملة باللغة الإنجليزية ثم فك ضغطها، استخدمت جميعها مجموعة محددة الطول. تم ضغط كل جملة في متجه بنفس الحجم، بغض النظر عن طول الجملة.

بنجيو وفريقه خلصوا إلى أن هذا النهج الصارم كان عائقًا. يجب أن يكون لدى نموذج اللغة القدرة على البحث عبر العديد من النواقص ذات الأطوال المختلفة للعثور على الكلمات التي تحسن الاحتمالية المشروطة. ولذلك وضعوا طريقة للسماح للشبكة العصبية بضغط الكلمات بمرونة إلى نواقص ذات أحجام مختلفة، بالإضافة إلى السماح للبرنامج بالبحث بمرونة عبر تلك النواقص عن السياق الذي يهم. أطلقوا عليها اسم الانتباه.

أصبحت الانتباه عنصرًا حاسمًا في نماذج اللغة. تم استخدامها من قبل علماء Google بعد عامين لإنشاء برنامج نموذج لغة يُسمى "المحوّل". حقق المحوّل درجات لا تصدق في اختبارات تعديل اللغة. أصبح المحوّل الموديل اللغوي المعتمد واستخدمته Google لإنشاء ما يعرف بـ BERT، وهو نموذج لغة ناجح جدًا آخر. أصبح المحوّل أيضًا أساس GPT-1.

خالِصًا من الحاجة إلى التلاعب بمتجه ذو حجم ثابت، يُمكن تجوال المحول وذريته في جميع أنحاء أجزاء مختلفة من النص المعطى واكتشاف التبعيات الشرطية التي قد تمتد إلى سياق أكبر بكثير.

تلك الحرية وضعت المسرح لابتكار آخر جاء في عام 2015 وكان أكثر أهمية لعمل OpenAI، وهو المعروف بالتعلم غير المشرف.

تركزت الاهتمام حتى ذلك الوقت بالنسبة لمعظم نماذج اللغة على التعلم المشرف باستخدام ما يُعرف بالبيانات المُعلَّمة. تعطى الشبكة العصبية مثالاً مخرجًا كنسخة مثالية للإجابة. لذا، إذا كانت المهمة تتعلق بالترجمة، فقد يكون جملة باللغة الإنجليزية النص الأولي، وتُقدم ترجمة فرنسية تم إنشاؤها بواسطة إنسان كهدف مطلوب، ويشكل الثنائي من الجملتين مثالًا معلَّمًا.

محاولة الشبكة العصبية في إنتاج ترجمة فرنسية ستُقارن بالجملة الفرنسية الرسمية، والاختلاف بينهما هو قدر خطأ الشبكة العصبية في توقعاتها، والمعروف باسم وظيفة الخسارة أو الهدف.

يهدف مرحلة التدريب إلى سد الفجوة بين الناتج المقترح من الشبكة العصبية والناتج المستهدف. عندما تكون الفجوة بأقل حجم ممكن، يعتبر وظيفة الهدف قد تم تحسينها، وتُعتبر الشبكة العصبية لنموذج اللغة قد تم تدريبها.

ولكن وضع الناتج المطلوب مع تحديد دقيق قد يكون مشكلة لأنه يتطلب الكثير من تنظيم البيانات، مثل تجميع أزواج الجمل العينية بواسطة حكم بشري، وهو يستغرق وقتًا وجهدًا كبيرين. افترض أندرو داي وكواك لي من جوجل أنه من الممكن تقليل التسميات المطلوبة إذا تم تدريب نموذج اللغة بطريقة غير مراقبة أولاً.

بدلاً من إعطاء الشبكة زوجًا من الجمل، تم إعطاؤها جمل فردية فقط وعلى عاتقها ضغط كل جملة إلى متجه ثم فك الضغط عنها لتصبح الجملة الأصلية مرة أخرى. أصبح التداخل خسارة الوظيفة المطلوبة للتحسين. ووجدوا أن كلما تم ضغط مزيد من الأمثلة الغير موسومة وفك ضغطها بهذه الطريقة، كلما استطاعوا استبدال الكثير من البيانات الموسومة في المهام مثل الترجمة.

في عام 2018، قام فريق OpenAI بدمج هاتين العنصرين، آلية الانتباه التي طورها بينغيو وزملاؤه والتي ستتجول عبر العديد من متجهات الكلمات، والنهج التدريب غير المشرف لديا ولي الذي سيبتلع كميات كبيرة من النص المبعثر، وضغطه وفك ضغطه لإعادة إنتاج النص الأصلي.

أخذوا محولا قياسيا وأطعموه محتويات كتاب كوربوس، قاعدة بيانات تم تجميعها من قبل جامعة تورونتو ومعهد ماساتشوستس للتكنولوجيا وتتكون من أكثر من 7000 نص كتاب نشرت وتحتوي على ما يقرب من مليون كلمة، بإجمالي 5 جيجابايت. تم تدريب GPT-1 على ضغط وفك ضغط هذه الكتب.

بدأت بذلك تاريخاً يمتد لثلاث سنوات من مجموعات البيانات الأكبر والأكبر. تخمين الباحثون في OpenAI بأن المزيد من البيانات يجعل النموذج أكثر دقة، دفعهم إلى توسيع حدود ما يمكن للبرنامج أن يستوعبه. مع GPT-2، قاموا بتجاهل BookCorpus لصالح مجموعة بيانات مطورة داخلياً، تتألف من ثمانية ملايين صفحة ويب تم سحبها من روابط خارجية في Reddit، بإجمالي 40GB من البيانات.

تدريب GPT-3 لا يزال أضخم، ويتألف من مجموعة البيانات الشهيرة CommonCrawl لصفحات الويب من عام 2016 إلى عام 2019. يُقدّر حجمه بحوالي 45 تيرابايت من البيانات النصية المضغوطة، على الرغم من أن OpenAI قامت بتنقيتها من التكرارات وتحسين جودتها بطرق أخرى. النسخة النهائية تحتوي على 570 جيجابايت من البيانات. قامت OpenAI أيضًا بإضافتها بعدد من مجموعات البيانات الإضافية من أنواع مختلفة، بما في ذلك بيانات الكتب.

كيف يعتمد GPT-3 على قوة الحساب؟

مع وصول GPT-1 و GPT-2 و GPT-3 ، أصبحت مقياس الحوسبة عنصراً أساسياً للتقدم. تستخدم هذه النماذج قدرًا أكبر من قوة الكمبيوتر عندما يتم تدريبها لتحقيق نتائج أفضل.

ما يحسن شبكة عصبية أثناء التدريب هو ضبط أوزانها. والأوزان، التي تسمى أيضًا بالمعاملات، هي مصفوفات، أي مجموعات من الصفوف والأعمدة التي يتم ضرب كل متجه بها. من خلال الضرب، يتم إعطاء المتجهات العديدة للكلمات، أو أجزاء الكلمة، وزنًا أكبر أو أقل في الناتج النهائي حيث يتم ضبط الشبكة العصبية لتقليل فجوة الخطأ.

وجدت OpenAI أنه للقيام بعمل جيد على مجموعات البيانات الكبيرة المتزايدة، كان عليهم إضافة مزيد من الأوزان.

المحول الأصلي من جوجل كان لديه 110 مليون وزن. تبع GPT-1 هذا التصميم. مع GPT-2، تم زيادة العدد إلى 1.5 مليار وزن. مع GPT-3، ارتفع عدد المعلمات إلى 175 مليار، مما يجعل GPT-3 أكبر شبكة عصبية في العالم.

الضرب هو شيء بسيط، ولكن عندما يجب ضرب 175 مليار وزن بكل بت من بيانات الإدخال، عبر مليارات البايتات من البيانات، فإنه يصبح تمرينًا مذهلاً في معالجة الحاسوب الموازية.

بالفعل مع GPT-1، في عام 2018، كانت شركة OpenAI في طليعة الحوسبة العملية. تكبير حجم البيانات يعني زيادة حجم وحدات معالجة الرسومات. النماذج اللغوية السابقة كانت تحتاج إلى وحدة معالجة رسومية واحدة لأنها كانت صغيرة الحجم. استغرق تدريب GPT-1 شهرًا باستخدام ثماني وحدات معالجة رسومية تعمل بالتوازي.

مع GPT-3 ، كانت OpenAI قليلاً ساذجة. لم تصف التكوين الكمبيوتري الدقيق المستخدم للتدريب ، سوى القول بأنه كان على مجموعة من رقائق Nvidia V100 تعمل في Microsoft Azure. وصفت الشركة عدد دورات الحساب الإجمالية المطلوبة ، مشيرة إلى أنها تعادل تشغيل ألف تريليون عملية عائمة في الثانية في اليوم الواحد لمدة ٣،٦٤٠ يومًا.

تقدر شركة صانعة الحواسيب والمشغل السحابي لامبدا كومبيوتنج أنه سيستغرق لوحدة معالجة رسومية واحدة 355 عامًا لتشغيل هذا الحجم من الحسابات ، مما سيكلف 4.6 مليون دولار بسعر قياسي لمثيل لمعالجة الرسوميات في السحابة. وهناك أيضًا الذاكرة. لحجز جميع قيم الوزن يتطلب المزيد والمزيد من الذاكرة مع زيادة عدد المعلمات. يتطلب 175 مليار معلمة في GPT-3 700 جيجابايت ، وهو 10 مرات أكثر من الذاكرة المتاحة في وحدة معالجة رسوميات واحدة.

إنه نوع من متطلبات الطاقة الهائلة التي تدفع مجال رقائق الحاسوب قد دفعت سعر سهم شركة نفيديا، الشركة الرائدة في توريد وحدات معالجة الرسومات لتدريب الذكاء الاصطناعي، بنسبة تصل إلى 5000٪ خلال العشر سنوات الماضية. وقد أدت إلى ظهور العديد من شركات الناشئة المدعومة بمئات الملايين من الدولارات في تمويل رأس المال الاستثماري من بينها كيريبريس سستمز، وغرافكور، وتاشيوم. وسوف يستمر التنافس في الازدهار ما دام إنشاء النماذج الأكبر حجماً يظل مسار المجال.

لقد قامت شركة OpenAI بإنتاج بحوثها الخاصة حول القوة المتزايدة للحواسيب المطلوبة. لاحظت الشركة في عام 2018 أن الدورات الحسابية التي تستهلكها أكبر نماذج التدريب الذكاء الاصطناعي قد تضاعفت كل 3.4 شهر منذ عام 2012، وهو معدل توسع أسرع من توسع قانون مور لنمو المعالجات المصبوبة الشهيرة. (علماً أن الشركة قد أنتجت أيضًا بحوثًا تبين أنه من حيث الوحدة، تكون النماذج الأكبر حجمًا أكثر كفاءة من الشبكات العصبية السابقة التي قامت بنفس العمل.)

بالفعل، هناك نماذج تحت التطوير تستخدم أكثر من تريليون معلمة، وفقًا للشركات المطلعة على مشاريع الذكاء الاصطناعي السرية. ربما هذا ليس الحد الأقصى، طالما أن الشركات الفائقة المقياس مثل جوجل مستعدة لتكريس مراكز بياناتها الضخمة لنماذج أكبر وأكبر. يتفق معظم العلماء في مجال الذكاء الاصطناعي على أن الأكبر والأكبر ستكون القاعدة لنماذج التعلم الآلي في المستقبل القريب.

"من ناحية تأثيرها على الذكاء الاصطناعي كمجال، فإن الجزء الأكثر إثارة حول GPT-3 هو أنه يظهر أننا لم نقترب بعد من حدود توسع الذكاء الاصطناعي" ، قال كيني دانيال ، المدير التقني لبائع أدوات إدارة الذكاء الاصطناعي ، Algorithmia ، لـ ZDNet.

بالإضافة إلى زيادة استخدام الحاسوب، سيؤثر GPT-3 بشكل كبير أيضًا على سرعة البرمجة وتطوير التطبيقات بشكل عام. عرض شاميم لبرنامج JSX تم إنشاءه فقط عن طريق كتابة عبارة هو مجرد بداية الجبل الجليدي.

ما هي نقاط الضعف في GPT-3؟

على الرغم من التحسين الكبير عن الإصدار السابق ، فإن GPT-3 لديه العديد من القيود ، كما يشير المؤلفون أنفسهم. "على الرغم من أن الجودة في مجملها عالية ، إلا أن عينات GPT-3 في بعض الأحيان تكرر نفسها من الناحية الدلالية على مستوى المستند ، وتبدأ في فقدان الترابط عبر مقاطع طويلة بما فيه الكفاية" ، كما يشيرون في الورقة المنشورة.

البرنامج أيضاً يفشل في الأداء الجيد في عدد من الاختبارات الفردية. "وبالتحديد، يعاني GPT-3 من صعوبة في الإجابة على أسئلة من نوع 'إذا وضعت الجبن في الثلاجة، هل سيذوب؟' يصف المؤلفون هذا النوع من الأمور المتعلقة بالمنطق السليم التي تفوت GPT-3".

كان هناك الكثير من الإثارة بعد فترة قصيرة من إصدار GPT-3 حتى قام الرئيس التنفيذي للشركة، سام ألتمان، بطلب تهدئة حماس الناس علنًا.

"تضخيم GPT-3 هو أكثر من اللازم،" تعلق ألتمان في 19 يوليو. "إنه مثير للإعجاب (شكرًا على الثناء الجميل!) ولكن لا يزال لديه نقاط ضعف جديّة وأحيانًا يرتكب أخطاء سخيفة جدًا"، كتب. "الذكاء الاصطناعي سيغير العالم، ولكن GPT-3 هو مجرد لمحة مبكرة جدًا. لدينا الكثير لا نزال نحتاج إلى تحديده."

الضجة حول GPT-3 كانت أكثر من اللازم. إنه مذهل (شكرًا على الثناء الجميل!) ولكن لا يزال لديه ضعفات جوهرية وأحيانًا يرتكب أخطاء سخيفة جدًا. ستغير الذكاء الاصطناعي العالم، ولكن GPT-3 هو مجرد نظرة مبكرة جدًا. لدينا الكثير لاستكشافه بعد.

- سام ألتمان (@sama) 19 يوليو 2020

أعطى البعض خارج OpenAI واقعًا آخر. كتب ماكس وولف، المستخدم ذو الخبرة في عدة أجيال من GPT، على مدوّنته الشخصية أن GPT-3 هو أفضل مما سبق، ولكن فقط في المتوسط. هناك طيف من جودة النص المُنتج بحيث يبدو بعض الأمثلة المدهشة، والبعض الآخر غير جيد على الإطلاق. يشبه وولف GPT-3 لـ Siri لشركة آبل، التي تميل إلى إنتاج مُهمل كثيرًا في العديد من المناسبات. (يستحق مقال وولف القراءة الشاملة لتحليل واعٍ لـ GPT-3.)

في الواقع، كما يقرأ المرء المزيد والمزيد من أمثلة GPT-3، وخاصة مقاطع النص الطويلة، فإن الحماسة الأولية مرجح أن تتلاشى. GPT-3 على فترات طويلة يميل إلى فقدان الخيط، كما يقولون. بغض النظر عن النوع أو المهمة، يبدأ ناتجه النصي في أن يصبح متسلسلاً ومملًا، مع ظهور عدم الترابط الداخلي في الرواية.

بعض المبرمجين، على الرغم من حماسهم، قاموا بتوثيق العديد من النقائص، مثل المحاولات الفاشلة لـ GPT-3 في صنع نكات الآباء. عند إدخال جُزء النكتة الذي يتم تمهيده بـ "ماذا قالت صحن واحد إلى الآخر؟"، فإن الجزء الذي يلي يكون بالفعل برنامج لنكة الآباء الصحيح هو "العشاء مجاني!" ولكن قد يُجيب GPT-3 بدلاً من ذلك بعبارة غير مضحكة تقول "انغمسني!"

الإدخال الذي قدمه الإنسان: س. ماذا قالت إحدى الصحون للصحن الآخر؟

اكتمال تم إنشاؤه بواسطة GPT-3: أ. اغمسني!

في حين يمكن لـGPT-3 الإجابة على أسئلة منطقية منتظرة ، مثل عدد العيون للزرافة ، إلا أنه لا يمكنه تحويل سؤال سخيف ويتم إجباره على تقديم إجابة سخيفة. عندما يتم طرح السؤال "كم عدد العيون التي لدي قدمي؟" ، سوف يجيب بشكل مطيع "لدي قدمي عينين".

هناك طريقة واحدة للتفكير في كل هذا التوسط وهي أن الحصول على نتائج جيدة من GPT-3 يتطلب إلى حد ما استثمارًا في إنشاء إرشادات فعالة. ستساعد بعض الإرشادات التي يبتكرها الإنسان البرنامج على الحصول على نتائج أفضل من بعض الإرشادات الأخرى. إنها نسخة جديدة من قولة "زبالة تدخل، زبالة تخرج". قد يبدو أن الإرشادات قد تصبح مجالًا جديدًا في برمجة ذات حقها، تتطلب نصيحة وحنكة.

التحيز هو اعتبار كبير، ليس فقط مع GPT-3 ولكن مع جميع البرامج التي تعتمد على التوزيع الشرطي. النهج الأساسي للبرنامج هو أن يعيد بالضبط ما يتم وضعه فيه، مثل المرآة. هذا يمكن أن يؤدي إلى تكرار التحيزات في البيانات. لقد تم بالفعل النقاش العلمي حول التحيز الواسع في GPT-2.

مع GPT-3 ، صوتت العالمة آية الله يسجل عن توجه لإنتاج نتائج غير موضوعية، بما في ذلك النتائج العنصرية والجنسانية.

أشعر بالاضطراب لرؤية هذا الإصدار من دون محاسبة على التحيز. تم تدريب هذا على مجموعة بيانات ريديت مع وجود كمية هائلة من #العنصرية و #التحيز ضد الجنسين. لقد عملت مع هذه النماذج والنص الذي أنتجوه لا يعاني من تحيز صادم. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— الأستاذة أنيما أناندكومار (@AnimaAnandkumar) ١١ يونيو ٢٠٢٠

أجابت OpenAI، عند سؤالها حول نقد أناندكومار، "مثلما هو الحال مع جميع النماذج القادرة على إنتاج محتوى بشكل متزايد، العدالة وسوء الاستخدام هما قلق لدينا".

"هذا هو أحد الأسباب التي نقوم بمشاركة هذه التكنولوجيا عبر واجهة برمجة التطبيقات (API) وإطلاقها في بيتا خاصة للبدء"، أبلغت OpenAIZDNet. تشير الشركة إلى أنها "لن تدعم استخدامات قد نحكم أنها تسبب ضرراً جسديًا أو عقليًا للأشخاص، بما في ذلك ولكن لا يقتصر على التحرش، الخداع العمد، التطرف، الإضاءة المزيفة، أو البريد المزعج."

قالت شركة OpenAI لـ ZDNet إنها تستخدم نوعًا مألوفًا من لعب الحرب البيضاء والسوداء لاكتشاف المخاطر في البرنامج:

لقد نفذنا ما نسميه 'الفريق الأحمر' الذي يعمل على تكسير نظام تصفية المحتوى بشكل مستمر حتى نتمكن من معرفة المزيد عن كيفية ولماذا يقدم النموذج نتائج سيئة. وعنصر الفريق الآخر هو "الفريق الأزرق" الذي يحمل مهمة قياس وتقليل التحيز.

مشكلة أخرى كبيرة هي الطابع الشامل جداً، بمعنى أن GPT-3 لا يدعم إلا الأجزاء الأكثر بدسم في منحنى الاحتمال الشرطي. هناك ما يعرف بمفهوم الذيل الطويل، وأحيانًا يكون هناك ذيل دسم في توزيع الاحتمال. هذه هي الحالات الأقل شيوعًا التي قد تشكل أمثلة مبتكرة في استخدام اللغة. التركيز على تقليد النص الأكثر شيوعًا في المجتمع يعرض إبداع واستكشاف اللغة للخطر.

لحظياً، إجابة OpenAI لتلك المشكلة هي إعداد يمكن للمستخدم ضبطه في GPT-3 يسمى "قيمة الحرارة". يمكن تغيير هذا القرص لضبط GPT-3 لاختيار تجميعات كلمات أقل احتمالاً وبالتالي إنتاج نص أكثر غرابة ربما.

أحد المخاوف الأكثر إلحاحًا للشركات هو عدم القدرة على ضبط GPT-3 باستخدام بيانات خاصة بالشركة. بدون القدرة على ضبط أي شيء فإنه من الصعب تخصيص GPT-3 لمجال صناعي، على سبيل المثال. قد يحدث أن أي شركة تستخدم خدمة واجهة برمجة التطبيقات تنتهي بنص يجب معالجته أكثر لجعله قابلاً للتطبيق في مجال معين. ربما ستأتي الشركات الناشئة مثل سابلينغ لتشكل نظامًا بيئيًا، ما يعادل موزعي القنوات الأكترونية، الذين سيحلون هذه المشكلة. قد يحدث ذلك، ولكن يبقى الانتظار لنرى.

إذا لم يكن ذلك ما يكفي للقلق، هناك مشكلة أخرى وهي أن خدمة GPT-3 كخدمة سحابية هي صندوق أسود. ما يعني ذلك هو أن الشركات التي ستستخدم هذه الخدمة لا يعرفون كيف يتم الوصول إلى النتائج -- وهو أمر غامض بشكل خاص عند النظر في قضايا التحيز. قد يضيف نظام من الجهات مثل Sapling الذين يعززون GPT-3 طبقات إضافية من التعتيم في الوقت نفسه الذي يعززون فيه الخدمة.

كجزء فرعي من مشكلة صندوق الأسود، يُمكن لـ GPT-3 في بعض الحالات أن يُحفظ ببساطة ما تعلمه من الويب. وهذا يثير قضايا حقوق النشر. إذا استخدمت شركة مخرجات من خدمة API تشكل مواد محمية بحقوق النشر، فإن تلك الشركة قد تنتهك حقوق النشر لجهة أخرى. ولدى الاستفسار عن حقوق النشر، أخبرت OpenAI ZDNet أن حقوق النشر على النص الذي ينتجه GPT-3 "تنتمي إلى المستخدم، وليس لـ OpenAI". ماذا يعني ذلك عمليًا لا يزال قيد الانتظار.

في الوقت الحالي، أكبر نقص عملي هو الحجم اللازم لتدريب وتشغيل GPT-3. تقر OpenAI بهذا في الورقة الرسمية. يكتب الكتّاب أنه يجب القيام بعمل لحساب كيف يتم توزيع تكلفة النماذج الكبيرة على مر الزمن بناءً على قيمة الناتج المنتج.

أيضًا: لا ، لا يستطيع هذا الذكاء الاصطناعي إكمال جملتك

هل GPT-3 حقا يتعلم؟

باستخدام المعنى الضيق للكلمة ، فإن GPT-3 يتعلم في الاعتبار الوزن المُضبّط بشكل تلقائي لمعلماته من خلال استيعاب البيانات التدريبية بحيث ينتهي بنموذج لغة أفضل مما يعطيه برمجته الصريحة وحدها. من هذا المنظور ، فإن GPT-3 هو تقدم في السعي المستمر على مدى عقود للحصول على حاسوب قادر على تعلم وظيفة تحويل البيانات بدون ترميز ذلك بشكل صريح من قبل إنسان.

وبعد ذلك، سيسأل أحدهم ما إذا كانت الآلة حقًا ذكية أم أنها حقًا تتعلم. هناك العديد من الطرق للنقاش في هذا الموضوع، ولكن التفكير العابر يشير إلى أن الكثير مما نسميه الفكر البشري لا يحدث هنا.

قد يكون لديك القدرة على الاحتفاظ في ذهنك بنقاط رقمية تُظهر كم الكلمات من المحتمل أن تظهر معًا. هل تعتقد أن قدرتك على تكوين عبارات وجمل وفقرات وفقرات نصية كاملة هي ذات دسامة؟ ربما ستقول أنها مجرد إحصائيات وأن شيئًا ما آخر يفتقد.

تمت إجراء مقارنات بين التعلم العميق و "كليفر هانس" المشهور، وهو حصان ألماني كان يعرضه سيده في الجمهور كحيوان قادر على القيام بالحسابات باستخدام حوافره. واكتشف فيما بعد أن هانس يستجيب لتلميحات جسده من قبل سيده ليدق حوافره، وأنه بدون تلك التلميحات لم يكن قادرًا على القيام بالعمل.

بالمثل، تنهار جودة البشرية في GPT-3 عند مراجعة أقرب. عندما يجيب GPT-3 بشكل صحيح على سؤال صحيح / خاطئ حول مقالة عن العقارات في نيويورك ، فإن ذلك ليس لأن البرنامج يعرف شيئًا عن العقارات أو نيويورك. إنه قد قام بتخزين التوزيع الاحتمالي الذي يلتقط التأكيدات في النصوص وتنسيق زوج البيانات والأسئلة ، ويمكنه استنساخهم في الناتج.

كان هانس لا يعرف شيئًا عن الحساب ، وعلى الرغم من ذلك ، في محافظة هانس ، لديه ذكاء. في حالة الشبكات العصبية ، سيقول النقاد إن هناك فقط الحيل هنا ، دون أي خبرة.

ومع ذلك، يمكن أن تعني الذكاء والتعلم العديد من الأشياء، ولقد تحركت الأهداف على مر السنين لما يفترض أن يكون الذكاء الاصطناعي، كما أشارت باميلا ماكوردوك، مؤرخة المجال. قد يجادل البعض بأن برنامجًا يمكنه حساب الاحتمالات عبر تجميعات ضخمة من النصوص قد يكون نوعًا مختلفًا من الذكاء، ربما يكون ذكاءً فضائًا مختلفًا عن ذكاءنا الخاص. إن رفضه يبدو متسرعًا.

وعلاوة على ذلك، فإن الشبكات العصبية التي تؤدي إلى هذه الاحتمالات الشرطية ليست مجرد برامج إحصائية. حساباتها هي خاصية ناشئة من عمليات رياضية متعددة تحدث بتوازي، وضبط أوزان المعلمات. إذا كان من الممكن النظر في أشكال أخرى من الذكاء، فقد يكون الخاصية الناشئة مثل التمثيلات الموزعة التي تتشكل داخل الشبكات العصبية هي مكان للبحث عنها.

ما هو مستقبل GPT-3؟

يبدو أن شيئًا واحدًا مؤكدًا: لقد فتح GPT-3 فصلاً جديدًا في التعلم الآلي. أبرز ميزته هي شموليته. قبل بضع سنوات فقط، كانت الشبكات العصبية مبنية بوظائف معدلة لمهمة محددة، مثل الترجمة أو الإجابة على الأسئلة. تم تجهيز مجموعات البيانات لتعكس تلك المهمة. بدلاً من ذلك، لا تحتوي GPT-3 على وظائف محددة للمهمة، ولا يحتاج إلى مجموعة بيانات خاصة. ببساطة، يبتلع أكبر قدر ممكن من النصوص من أي مكان ويعكسها في إخراجه.

من أسرار حساب التوزيع الاحتمالي المشروط على كل تلك الجيجابايت من النصوص، يظهر وظيفة تستطيع أن تنتج إجابات متقدمة في أي عدد من المهام. إنه انتصار مذهل للبساطة والذي ربما له سنوات عديدة من الإنجازات في المستقبل.

حتى هذا العام، قد يصل العمومية إلى حدها. بالفعل، يشير مؤلفو جي بي تي-3 في نهاية بحثهم إلى أن الاتجاه الذي يسبق التدريب قد ينفد في نهاية المطاف. "قد يكون القيد الأكثر أساسية للنهج العام المذكور في هذا البحث [...]" هو أنه قد يصل في النهاية إلى حدود الهدف المتعلق بالتدريب المسبق.

يقترح المؤلفون اتجاهات جديدة واعدة قد تشمل "تعلم الدالة الموضوعية من البشر"، ومزج أنواع أخرى من التعلم العميق، مثل النهج "تعلم التعزيز" المستخدم في AlphaZero الخاص بشركة DeepMind للفوز في لعبة الشطرنج والعبور. (لقد بدأوا بالفعل في تنفيذ مثل هذه النهج. في أوائل سبتمبر، أظهر مؤلفو OpenAI أنه يمكنهم استخدام التعلم بالتعزيز لتدريب GPT-3 لإنتاج ملخصات أفضل للمقالات عن طريق إعطاء نموذج اللغة بعض التعليقات البشرية حول أي ملخص يبدو أفضل.)

شيء آخر يقترحونه هو إضافة أنواع بيانات أخرى، مثل الصور، لملء "نموذج العالم" للبرنامج.

في الواقع ، من المحتمل أن تشهد السنوات القادمة انتشار هذا النهج العام إلى أنماط أخرى بخلاف النص ، مثل الصور والفيديو. تخيل برنامجًا مثل GPT-3 الذي يمكنه ترجمة الصور إلى كلمات والعكس دون أي خوارزمية محددة لنمذجة العلاقة بينهما. يمكن أن يتعلم على سبيل المثال وصف المشاهد النصية من الصور أو التنبؤ بتسلسلات الأحداث الفعلية من وصف النص.

مدير مشروع فيسبوك للذكاء الاصطناعي، يان ليكان، قد قدم حجة تفيد أن التدريب بدون إشراف بأشكال مختلفة هو مستقبل التعلم العميق. إذا كان ذلك صحيحاً، فإن النهج التدريب المُسبق المُطبق على العديد من وسائط البيانات، بدءًا من الصوت حتى النص والصور والفيديو، يمكن اعتباره اتجاه واعد جداً للموجة بدون إشراف.