هوش مصنوعی جدید به صورت خیره کنندهای، جلوههای صوتی واقعی را به هر ویدئویی اضافه میکند!
هفته گذشته، OpenAI یک مدل هوش مصنوعی جدید به نام سورا Sora منتشر کرد که میتواند کلیپهای ویدیویی با وضوح بالا را با دستورات متنی تولید کند. اما مشکل این بود که همه این فیلم صامت یعنی بدون صدا بودند. اما اکنون ElevenLabs فناوری تولید صداهای پس زمینه را به فیلم های ساخته شده توسط Sora اضافه کرده است.
استارتآپ شبیهسازی صدای هوش مصنوعی ElevenLabs توسط مهندس پیشین یادگیری ماشین گوگل پیوتر دابکوفسکی و ماتی استانیشفسکی در سال 2022 تأسیس شد و از آن زمان نرمافزار تبدیل متن به گفتار مبتنی بر هوش مصنوعی و ابزار دوبله هوش مصنوعی را راهاندازی کرد که برای ترجمه خودکار طراحی شده. به این ترتیب به صورت خودکار گفتار یک ویدیو به بیش از 20 زبان، آن هم به صورتی که لحن و سبک صدای اصلی حفظ شود، میتواند تغییر یابد.
اکنون این شرکت روی چیز جدیدی کار میکند، که طبق گزارشها میتواند صداهایی را برای همراهی با فیلمهای ویدئویی بیصدا بر اساس توضیحات یک صحنه که توسط کاربر ارائه شده، تولید کند.
Elevenlabs برای نشان دادن مهارت خود آن را روی برخی از محتوای تولید شده توسط Sora منتشر کرده است.
این شرکت توضیح میدهد: «ما از پیامهای متنی مانند «برخورد امواج»، «صدای فلزی»، «صدای پرندگان» و «موتور ماشین مسابقهای» برای تولید صدا استفاده کردیم که روی برخی از کلیپهای مورد علاقهمان از OpenAI Sora آنها را قرار دادیم.»
نسخه نمایشی مجموعهای از کلیپهای ویدئویی تولید شده توسط Sora را نشان میدهد که با صداهای پسزمینه نسبتاً واقعی همراه است – از صدای گامها در یک خیابان شلوغ همراه با زمزمه شهر گرفته تا بوقها و ربات دوپا آینده با روایتی صدای تبلیغاتی به سبک هالیوود. همه اینها ظاهراً از پیامهای متنی به صوتی تبدیل شده است.
مانند سورا، بدون شک مشکلاتی وجود خواهد داشت که نیاز به کار دارند، و همچنین باید تمهیداتی در برابر تقلب و پروتکلهای ایمنی اندیشیده شود.
منبع: ElevenLabs (X/Twitter)
مطالب مرتبط
