فراتر از متن: مدل هوش مصنوعی یا یادگیری از 80 ساعت ویدئو ، در حال یادگیری زبان اشاره است

0

برای افراد ناشنوا و کم شنوا، فناوری تشخیص صدا مانند الکسا و سیری کاربردی نیست. پس محققان از هوش مصنوعی برای توسعه ابزاری استفاده کرده‌اند که زبان اشاره را به متن تبدیل می‌کند و به طور بالقوه باعث افزایش دسترسی‌پذیری ابزارهای اینترنتی هوشمند برای جامعه ناشنوایان می‌شود.

ترجمه زبان اشاره مستلزم درک دقیق ژست‌ها برای ایجاد یک رونویسی متنی دقیق است. محققان در مرکز ابررایانه‌ای بارسلونا (BSC) و دانشگاه سیاسی کاتالونیا (UPC) از هوش مصنوعی برای توسعه ابزاری برای بهبود ترجمه زبان اشاره استفاده کرده‌اند که گامی مهم در جهت اجازه دادن به افراد ناشنوا و کم‌شنوا برای تعامل با فناوری و دسترسی به خدمات دیجیتال طراحی شده برای استفاده با زبان‌های گفتاری است.

محققان از یک مدل یادگیری ماشینی  شبیه به مدل‌های ابزار‌های هوش مصنوعی دیگر مانند ChatGPT موسوم به ترانسفورماتور‌ها  استفاده کردند.

ترانسفورماتور‌ها به دلیل مکانیسم توجه درونی کارا و متنی کردن متغیرها با استفاده از سایر متغیرها و امکان استفاده از داده‌های آموزشی بیشتر مفید هستند.

مجموعه داده آموزشی از How2Sign، یک مجموعه داده با مقیاس بزرگ، چندوجهی و چند نمایشی در دسترس عموم است که شامل 80 ساعت فیلم آموزشی به زبان اشاره آمریکایی با رونوشت‌های انگلیسی مربوطه است.

ابزار جدید توسعه‌یافته، توسعه‌ای از انتشار قبلی به نام How2Sign است که توسط BSC و UPC توسعه یافته بود.

چالشی که محققان با آن مواجه بودند، تنوع و پیچیدگی زبان‌های اشاره بود که می‌تواند تحت تأثیر مواردی مانند پیشینه، زمینه و ظاهر ایما و اشاره کننده باشد. برای کمک به این موضوع، آن‌ها داده‌ها را با استفاده از شبکه‌های سه‌بعدی متورم (I3D) پیش پردازش کردند، روشی برای استخراج ویدیو که یک فیلتر سه‌بعدی را روی فیلم‌ها اعمال می‌کند و اجازه می‌دهد اطلاعات مکانی – زمانی مستقیماً از آن‌ها گرفته شود.

محققان دریافتند که پیش پردازش متن نیز به طور قابل توجهی ترجمه علامت به متن را بهبود می‌بخشد. برای پیش پردازش متن خام، همه آن را به حروف کوچک تبدیل کردند که پیچیدگی واژگان را کاهش داد.

به طور کلی، آن‌ها دریافتند که مدل آن‌ها می‌تواند ترجمه‌های معناداری را تولید کند، اما کامل نیست. محققان می‌گویند: «در حالی که کار ما نتایج امیدوارکننده‌ای را نشان داده است، هنوز جا برای بهبود وجود دارد.

با توجه به اینکه این مدل هنوز در مرحله آزمایشی قرار دارد، محققان به کار بر روی ایجاد ابزاری ادامه خواهند داد که به افراد ناشنوا و کم شنوا امکان دسترسی به فناوری‌های مشابه افراد بدون مشکل شنوایی را می‌دهد.

این تحقیق بدر arXiv منتشر شده.

منبع: مرکز ابرکامپیوتر بارسلونا


اگر خواننده جدید سایت «یک پزشک»  هستید!
شما در حال خواندن سایت یک پزشک (یک پزشک دات کام) به نشانی اینترنتی www.1pezeshk.com هستید. سایتی با 18 سال سابقه که برخلاف اسمش سرشار از مطالب متنوع است!
ما را رها نکنید. بسیار ممنون می‌شویم اگر:
- سایت یک پزشک رو در مرورگر خود بوک‌مارک کنید.
-مشترک فید یا RSS یک پزشک شوید.
- شبکه‌های اجتماعی ما را دنبال کنید: صفحه تلگرام - صفحه اینستاگرام ما
- برای سفارش تبلیغات ایمیل alirezamajidi در جی میل یا تلگرام تماس بگیرید.
و دیگر مطالب ما را بخوانید. مثلا:

یادآوری داستان تصویر تولیدشده زنی که در اینترنت وحشت آفرید و تفسیر کنونی آن ماجرا در عصر انفجار…

او در جایی بیرون است و در جهان موازی احتمالا به کمین شما نشسته. تنها کاری که باید انجام دهید تا او را به وجود بیاورید این است که دستور درست را در یک تولید‌کننده تصویر هوش مصنوعی تایپ کنید!مانند یک طلسم دیجیتالی، کلمات شما مانند یک «ورد…

10 شهید دنیای فناوری!

هر کدام از ابزارها و دستگاه‌هایی که ما در زندگی عادی خود از آنها استفاده می‌کنیم، ثمره تلاش‌های بی‌وقفه دانشمندان و افراد زیادی بوده‌اند. اگر فداکاری، ریسک‌پذیری، شهامت و ماجراجویی این افراد نبود، ما هیچ کدام از این فناوری‌ها و ابزارها را…

مورد عجیب بیمار M: مردی که گلوله‌ای به سرش خورد و بعد همه چیز را وارونه می‌دید!

بر اساس گزارش موردی که به تازگی منتشر شده است، یکی از منحصر به فردترین و عجیب‌ترین موارد آسیب مغزی در تاریخ شرح داده شده: این مورد با نام مستعار بیمار M، نامیده می‌شود که در سال ۱۹۳۸ در جریان جنگ داخلی اسپانیا به سرش گلوله خورد و بعد آن…

۲۰ برنده عکاسی از طبیعت در سال ۲۰۲۲ در مسابقه عکاسی IPA

جوایز بین المللی عکاسی (IPA) در سال 2022 بار دیگر از مجموعه‌ای خیره کننده از عکس های طبیعت پرده‌برداری کرد که قلب و ذهن بینندگان در سراسر جهان را تسخیر کرده است. این تصاویر برنده استثنایی ما را به قلمروهای مسحورکننده طبیعت منتقل می‌کنند،…

آخرین «نمونه» مقاوم – هر یک از اینها، آخرین چیزهای سالم به جا مانده در طول تاریخ هستند

از برخی جنبه‌های تاریخی چیزهای قالب توجهی به جا مانده، مثلا هزاران سکه از یک دوره تاریخ یا ده‌ها زره یا شمشیر یا کتاب‌های پوستی فراوان. اما برخی چیزها هم آنقدر نادر از بلایایی طبیعی و فساد و آتش‌سوزی‌های در امان مانده‌اند که تبدیل به آخرین…

ربات‌هایی که در دنیای سینما و تخیل دوستشان داشتیم یا در مواردی از آنها می‌ترسیدیم!

انسان‌ها همیشه از تحولات تازه می‌ترسند و از زمانی که تخیل آدم ماشینی ایجاد شد، ترس از این توده‌های آهنی هم ایجاد شد. شخصیت ربات‌ها در ابتدا در داستان‌ها خیلی سطحی و بیشتر هراس‌‌انگیز بود، اما بعدا ربات‌ها دارای شخصیت شدند تا جایی که حتی…
آگهی متنی در همه صفحات
دکتر فارمو / کپسول پرگابالین / لیزر زگیل تناسلی /بهترین کلینیک کاشت مو مشهد /داروخانه آنلاین / بهترین سریال های ۲۰۲۴ / خرید دستگاه تصفیه آب / تجهیزات و وسایل دندانپزشکی /ثبت برند /خدمات پرداخت ارزی نوین پرداخت / کلینیک زیبایی دکتر محمد خادمی /جراح تیروئید / پزشکا /تعمیر فن کویل / سریال ایرانی کول دانلود / مجتمع فنی تهران / دانلود فیلم دوبله فارسی /خرید دوچرخه برقی /موتور فن کویل / شیشه اتومبیل / نرم افزار حسابداری / خرید سیلوسایبین / هوش مصنوعی / مقاله بازار / شیشه اتومبیل / قیمت ایمپلنت دندان با بیمه /بهترین دکتر لیپوماتیک در تهران /بهترین جراح بینی در تهران /کاشت مو / درمان طب / تجهیزات پزشکی /داروخانه اینترنتی آرتان /اشتراك دايت /فروشگاه لوازم بهداشتی /داروخانه تینا /لیفت صورت در تهران /فروش‌ دوربین مداربسته هایک ویژن /سرور مجازی ایران /مرکز خدمات پزشکی و پرستاری در منزل درمان نو /سایت نوید /پزشک زنان سعادت آباد /کلاه کاسکت / لمینت متحرک دندان /فروشگاه اینترنتی زنبیل /ساعت تبلیغاتی /تجهیزات پزشکی /چاپ لیوان /بهترین سریال های ایرانی /کاشت مو /قیمت ساک پارچه ای /دانلود نرم افزار /

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.