#مختارات_منظور
للنماذج التوليدية GANs استخدامات متعددة في توليد الصور ونقل الأنماط من صورة إلى أخرى، مشكلتها أنها تتطلب قدرة حاسوبية كبيرة وبيانات تدريب كثيرة بمواصفات خاصة.
اشتهرت نماذج نقل النمط StyleGAN التي طورتها Nvidia بغرض تحسين نتائج توليد الصور!
youtube.com
للنماذج التوليدية GANs استخدامات متعددة في توليد الصور ونقل الأنماط من صورة إلى أخرى، مشكلتها أنها تتطلب قدرة حاسوبية كبيرة وبيانات تدريب كثيرة بمواصفات خاصة.
اشتهرت نماذج نقل النمط StyleGAN التي طورتها Nvidia بغرض تحسين نتائج توليد الصور!
youtube.com
تعتمد GAN على التعلم العميق، ولشرح الفكرة ببساطة، يحتوي النموذج على: المولد Generator والمميز Discriminator.
كثيراً ما يوصف المولد أنه مزور اللوحات الذي يحاول إنشاء صور تبدو مشابهة جدًا للصور الأصلية. بينما المميز هو من يحاول اكتشاف ما إذا كانت الصور التي تم إنشاؤها مزيفة أم لا.
كثيراً ما يوصف المولد أنه مزور اللوحات الذي يحاول إنشاء صور تبدو مشابهة جدًا للصور الأصلية. بينما المميز هو من يحاول اكتشاف ما إذا كانت الصور التي تم إنشاؤها مزيفة أم لا.
الذي يحصل فعلياً أن كلاً من المولد والمميز يتحسن أدائهما، بمعنى أن المولد يستمر في انتاج صور لا يمكن تمييزها عن الصور الأصلية و في نفس الوقت يستمر المميز بالتحسن في كشف الصور المزيفة!
وبعد عدد معين من دورات التدريب ينتج المولد صور لا يمكن تمييزها.
مصدر :
towardsdatascience.com
وبعد عدد معين من دورات التدريب ينتج المولد صور لا يمكن تمييزها.
مصدر :
towardsdatascience.com
في النسخ السابقة للـ GAN، كان هناك اشكالية: لم يكن بالإمكان نقل كثير من الخصائص المميزة للصور المدخلة.
تم العمل على ذلك وتطوير النماذج كما نلاحظ في الصور المرفقة في StyleGAN2، يمكن للنموذج أن يتحكم في خصائص دقيقة جداً مثل لون الشعر وشكل البشرة.
رابط البحث: github.com
تم العمل على ذلك وتطوير النماذج كما نلاحظ في الصور المرفقة في StyleGAN2، يمكن للنموذج أن يتحكم في خصائص دقيقة جداً مثل لون الشعر وشكل البشرة.
رابط البحث: github.com
نستعرض اليوم ورقة علمية نشرت فبراير ٢٠٢٠ بهدف تحسين أداء نقل النمط Style Transfer بالمقارنة مع طريقة ضبط المعاملات fine Tuning.
اسم النموذج FreezeD، بمعنى تجميد الـ Discriminator، وهو نموذج يقوم على تجميد الطبقات الدنيا من المميز بغرض تحسين الأداء.
الرابط:
github.com
اسم النموذج FreezeD، بمعنى تجميد الـ Discriminator، وهو نموذج يقوم على تجميد الطبقات الدنيا من المميز بغرض تحسين الأداء.
الرابط:
github.com
وبالتالي تكون النتائج ذات جودة عالية مقاربة جداً لطريقة ضبط المعاملات fine tuning دون الوقوع في مشكلة overfitting. ويقاس هذا الأمر عن طريق حساب FID الذي كلما قلت قيمته دل ذلك على جودة وتنوع الصور المولدة.
رابط عن كيفية حساب FID:
link.medium.com
رابط عن كيفية حساب FID:
link.medium.com
وبالمثل، على غرار FreezeD، تم نشر نتائج FreezeG وهي تتبع نفس الطريقة لكن هذه المرة مع تثبيت المولد generator.
هنا صفحة النتائج: github.com
نستعرض بعض نتائج FreezeG، والتي استخدمت لنقل النمط:
Cat2Wild
هنا صفحة النتائج: github.com
نستعرض بعض نتائج FreezeG، والتي استخدمت لنقل النمط:
Cat2Wild
Face2Simpsons:
جاري تحميل الاقتراحات...