محققان آزمایشگاه سامسونگ مگاپرتره ایجاد میکنند: دیپفیکهایی با وضوح بسیار بالا از یک عکس

محققان آزمایشگاه سامسونگ راهی برای ایجاد آواتارهای با وضوح بالا یا دیپفیک از یک عکس یا نقاشی ابداع کردهاند.
این تیم که مگاپرتره MegaPortraits نام دارد، میگوید که میتوانند آواتارهایی مگاپیکسلی از عکسهای ساده تک فریمی ایجاد کنند.
مشکل دیپ فیکهای قبلی این بود که شخصی که باید مدل حرکات میشد، میبایست تا حدودی با سوژه شباهت میداشت. مثلا برای ایجاد دیپ فیکهای تام کروز باید کسی مدل میشد که تا حدودی از نظر اندام و ساختار و آناتومی چهره با او شباهت میداشت. اما در روش جدید محققان سامسونگ دیگر این محدودیت برطرف شده است.
محققان در ادامه میگویند: «ما مجموعهای از معماریهای عصبی جدید و روشهای آموزشی را پیشنهاد کردهایم که میتوانند هم از دادههای ویدیویی با وضوح متوسط و هم از دادههای تصویر با وضوح بالا برای دستیابی به سطوح مطلوب کیفیت تصویر رندر شده و تعمیم به نماها و حرکتهای جدید استفاده کنند.»
«ما نشان دادهایم که معماریها و روشهای پیشنهادی، آواتارهای عصبی با وضوح بالا قانعکنندهای تولید میکنند که از رقبا بهتر عمل میکنند.»
سیستم ساخت آواتارهای انسانی با وضوح بالا پرتره مگاپیکسلی یا به اختصار MegaPortrait نامیده میشود.
این تیم موفق شده که این سیستم موثر و تا حدی هم ترسناک را در یک مدل فشرده کار کند که به صورت بیدرنگ و زنده هم کار میکند.
پروژه کامل با عنوان MegaPortraits: One-shot Megapixel Neural Head Avatars منتشر شده است.