شکایت از OpenAI به دلیل توصیههای پزشکی نادرست ChatGPT که نزدیک بود باعث مرگ مردی در فلوریدا شود
چند روز پیش خبری در رسانههای فناوری و پزشکی پیچید که بار دیگر زنگ خطر را درباره تکیه بیش از حد به هوش مصنوعی به صدا درآورد. شاید تا حالا تصور میکردید که چتباتهای هوشمند و مدلهای زبانی مانند ChatGPT میتوانند مثل یک دستیار همهچیزدان، حتی در مسائل مربوط به سلامتی و درمان به کمک ما بیایند و نقش یک مشاور امین را ایفا کنند. اما در این پست با هم میبینیم که چطور اعتماد بیپایه به توصیههای درمانی هوش مصنوعی نزدیک بود زندگی یک فرد را به پایان برساند و کار را به دادگاه و شکایت رسمی بکشاند.
داستان از این قرار است که اسکات وینترز (Scott Winters)، کشیش سابق اهل فلوریدا، پس از تجربه برخی علائم ناخوشایند جسمی به جای مراجعه فوری به مراکز درمانی، به سراغ ChatGPT رفت تا بفهمد علت اصلی مشکلش چیست. هوش مصنوعی با اطمینان خاطر علائم او را کماهمیت جلوه داد و توصیههایی کرد که در نهایت وضعیت او را به شدت وخیم کرد.
حالا او از شرکت OpenAI و مدیرعامل آن، سام آلتمن (Sam Altman) در دادگاه عالی سانفرانسیسکو شکایت کرده است. در این مقاله قصد داریم جزییات این پرونده جنجالی را بررسی کنیم و ببینیم چرا کارشناسان حوزه حقوق و سلامت معتقدند خط قرمزهای ابزارهای هوش مصنوعی در حوزه درمان باید بسیار جدیتر تعریف شوند.
ماجرای چتباتی که جای پزشک متخصص نشست
اسکات وینترز در طول سال گذشته بارها دچار سرگیجههای مداوم و افت و خیز ناگهانی فشار خون میشد. او برای درک بهتر وضعیت جسمانی خود، دست به دامن مدل ChatGPT-4o شد و علائمش را به صورت دقیق برای این چتبات تشریح کرد. اما پاسخهای هوش مصنوعی نه تنها او را به سمت درمان درست هدایت نکرد، بلکه خریدار یک ریسک جانی بزرگ برای او شد.
بر اساس شکواییه تنظیم شده، ChatGPT این علائم را مواردی جزئی و کماهمیت قلمداد کرده و به وینترز پیشنهاد داده بود که در خانه بماند و استراحت کند. چتبات حتی پا را فراتر گذاشته و به او اعلام کرده بود که تنها در صورتی وضعیتش جدی تلقی میشود که بین ۸ تا ۱۰ بار دیگر چنین حملاتی را تجربه کند! وینترز هم که به لحن مطمئن و قاطعانه هوش مصنوعی اعتماد کرده بود، این توصیه را پذیرفت و هفتهها در خانه بیحرکت ماند.
همین استراحت مطلق و بیتحرکی طولانیمدت که مستقیماً بر اساس راهنمایی چتبات انجام شده بود، خاستگاه یک بحران عمیقتر شد. چند هفته بعد، لختههای خونی در بدن او تشکیل شدند و در نهایت منجر به یک آمبولی ریه (Pulmonary Embolism) بسیار شدید و مرگبار گردیدند. پزشک معالج وینترز بعدها تصریح کرد که همین بیتحرکی توصیهشده توسط هوش مصنوعی، عامل اصلی بروز این حادثه حیاتی بوده است.
سوءاستفاده از باورها و پاسخهای خطرناک در لحظه بحران
نکته تکاندهنده دیگری که در متن دادخواست به آن اشاره شده، رفتار چتبات دقیقاً در روز حادثه اصلی است. ساعات اولیه همان روزی که وینترز دچار آمبولی شدید شد، احساس درد و حساسیت شدیدی در ناحیه کشاله ران داشت. او مجدداً از ChatGPT پرسید که آیا این درد نیازمند مراجعه سریع به بیمارستان است یا خیر.
چتبات در پاسخ، با دستکاری باورهای مذهبی و معنوی وینترز، جملهای با این مضمون تحویل او داد که خداوند بدن تو را طوری نساخته که مدام دچار شکست و بیماری شود. این نوع پاسخدهی غیرمسئولانه که لحن یک حامی معنوی و پزشک آگاه را بازسازی میکرد، باعث شد وینترز باز هم رفتن به اورژانس را به تاخیر بیندازد، در حالی که آن درد شدید در واقع نشانهای از آغاز لختهشدن خون و آمبولی ریوی بود که او را تا یک قدمی مرگ پیش برد.
وکلای حقوقی شاکی تاکید دارند که ChatGPT با اعتمادبهنفس یک متخصص بالینی رفتار کرده، بدون اینکه دارای صلاحیت یا مسئولیتی در این حوزه باشد. اگر یک پزشک واقعی چنین توصیههای مرگباری صادرمیکرد، قطعاً به اتهام قصور پزشکی سنگین راهی دادگاه میشد.
پاسخ رسمی OpenAI و جدی شدن چالش مسئولیت حقوقی
در مقابل این اتهامات سنگین، سخنگوی شرکت OpenAI اعلام کرده که ChatGPT به هیچ وجه برای جایگزینی با کادر درمان یا ارائه تشخیصهای پزشکی طراحی نشده است. آنها معتقدند چتباتها صرفاً ابزارهایی برای ساماندهی اطلاعات و کمک به کاربران برای آمادگی جهت گفتگو با پزشکان هستند و نباید مبنای تصمیمگیریهای نهایی سلامت قرار گیرند.
شرکتهای توسعهدهنده هوش مصنوعی معمولاً به قوانین استفاده (Terms of Service) خود استناد میکنند که در آنها قید شده تمامی خروجیها باید با مسئولیت شخص کاربر استفاده شوند و نباید به عنوان حقیقت مطلق یا جایگزین نظر متخصصان تلقی گردند. اما حقوقدانان معقتدند این سلب مسئولیتها حد و مرزی دارند. زمانی که لحن خود ابزار به گونهای طراحی شده که لحن قاطع یک متخصص را تقلید میکند، ادعای سلب مسئولیت حقوقی در دادگاه دچار چالش جدی میشود.
تیم حقوقی شاکی علاوه بر درخواست غرامت مالی، خواستار ایجاد محدودیتهای سختگیرانهتر روی سیستمهای پاسخدهی پزشکی هوش مصنوعی و حتی توقف خدمات مرتبط با سلامت این شرکت تا زمان ارزیابی دقیق ایمنی آنها شدهاند.
سوءبرداشتها و خطاهای علمی گذشته در خودتشخیصیهای درمانی
تمایل انسانها به خودتشخیصی (Self-diagnosis) پدیده جدیدی نیست. سالها پیش از پیدایش هوش مصنوعی، با همهگیر شدن اینترنت، پدیدهای به نام سایبرکوندزیا (Cyberchondria) یا خودبیمارانگاری اینترنتی شکل گرفت. در آن دوران، افراد با جستجوی یک علائم ساده در موتورهای جستجو، با انبوهی از اطلاعات نادرست یا سناریوهای ترسناک مواجه میشدند که موجب اضطراب شدید یا تصمیمگیریهای اشتباه درمانی میشد.
خطای بزرگ گذشته در ابزارهای جستجو این بود که اطلاعات بدون تحلیل به کاربر ارائه میشد. اما خطر مدلهای زبانی بزرگ بسیار پیچیدهتر است؛ زیرا آنها اطلاعات را در قالبی کاملاً انسانی، با لحنی متقاعدکننده و بدون کوچکترین تردیدی ارائه میدهند. سیستمهای هوش مصنوعی بر پایه احتمال کلمات بعدی آموزش دیدهاند، نه بر اساس درک واقعی از فیزیولوژی انسان. وقتی یک سیستم پاسخهای احتمالی را با قطعیتی ساختگی ترکیب میکند، کاربر ناآگاه آن را به عنوان یک تشخیص بالینی معتبر میپذیرد و دقیقا مشابه حادثه اخیر، توصیههای خطرناک را اجرا میکند.
زمینه تاریخی و علمی توسعه ابزارهای تشخیص پزشکی
تلاش برای ورود فناوری به عرصه تشخیصهای پزشکی، تاریخچهای چند ده ساله دارد. در دهه ۱۹۷۰ میلادی، یکی از نخستین سیستمهای خبره هوش مصنوعی به نام مایسین (MYCIN) در دانشگاه استنفورد توسعه یافت. این سیستم با استفاده از قواعد منطقی مشخص طراحی شده بود تا به پزشکان در تشخیص عفونتهای خونی کمک کند. مایسین با وجود دقت بالا، هرگز به طور تجاری در کلینیکها استفاده نشد زیرا مسائل مربوط به مسئولیت حقوقی و اخلاقی آن روشن نبود.
با گذشت زمان و پیدایش شبکههای عصبی و هوش مصنوعی مدرن، رویکرد توسعهدهندگان از سیستمهای قاعده-محور به سمت مدلهای آماری تغییر کرد. اما فرق عمده سیستمهای قدیمی با مدلهای امروزی این است که ابزارهای تخصصی قدیم فقط دستیار پزشک بودند و در محیطی کنترلشده استفاده میشدند، اما چتباتهای امروزی بدون هیچ واسطهای در دسترس عموم مردم قرار گرفتهاند. عدم وجود فیلترهای تخصصی و بالینی در پاسخدهی به عامه مردم، همان گپ ایمنی بزرگی است که پروندههای حقوقی فعلی بر روی آن دست گذاشتهاند.
چرا هوش مصنوعی در تحلیل علائم بالینی پیچیده دچار توهم میشود؟
یکی از سوالات کلیدی که ممکن است برای هر مخاطب دقیقی پیش بیاید این است که چرا یک سیستم هوشمند که پتانسیل تحلیل حجم عظیمی از دادههای پزشکی را دارد، در تشخیص یک بیماری رایج مثل آمبولی ریه دچار چنین خطای فاحشی میشود؟ پاسخ در ماهیت معماری مدلهای زبانی نهفته است. این ابزارها بر اساس پدیده توهم (Hallucination) ممکن است جملاتی کاملاً منطقی اما از نظر علمی کاملاً نادرست بسازند.
تشخیصهای پزشکی نیازمند معاینه فیزیکی، سنجش علائم حیاتی و بررسی تاریخچه دقیق بیمار هستند. هوش مصنوعی صرفاً متنی را که کاربر وارد کرده تحلیل میکند و چون درک واقعی از خطرات جانی ندارد، ممکن است بر اساس الگوهای متنی نادرستی که در دادههای آموزش خود داشته، سادهترین تحلیل را ارائه دهد. این عدم درک از اولویتهای حیاتی باعث میشود که علائم خطرناکی مثل افت فشار خون و سرگیجه را با یک خستگی ساده اشتباه بگیرد.
آیا شرکتهای سازنده فناوری میتوانند پشت بندهای سلب مسئولیت پنهان شوند؟
سوال هوشمندانه دیگری که مطرح میشود این است که آیا وجود متون حقوقی سلب مسئولیت در ابتدای ورود به برنامهها، مانع از محکومیت این شرکتها در دادگاه خواهد شد؟ از نظر حقوقی، پیامهای سلب مسئولیت تا زمانی معتبر هستند که محصول رفتار گمراهکننده از خود نشان ندهد. اگر ابزاری بهگونهای طراحی شده باشد که در تعاملات روزمره مثل یک متخصص صحبت کند، کاربر به مرور زمان گارد دفاعی خود را از دست میدهد.
دادگاهها در حال حرکت به سمت مفهوم مسئولیت محض محصول (Strict Product Liability) برای نرمافزارها هستند. اگر به اثبات برسد که طراحی سیستم به گونهای بوده است که رفتارهای پرخطر را تشویق میکرده یا فاقد مکانیزمهای بازدارنده کافی برای ارجاع فوری بیمار به مراکز درمانی بوده، بندهای سلب مسئولیت معمولی نمیتوانند شرکت سازنده را از مسئولیتهای سنگین مدنی و کیفری تبرئه کنند.
منبع: cbsnews
بیش از دو دهه در زمینه سلامت، پزشکی، روانشناسی و جنبههای فرهنگی و اجتماعی آنها مینویسد و تلاش میکند دانش را ساده اما دقیق منتقل کند.
پزشکی دانشی پویا و همواره در حال تغییر است؛ بنابراین، محتوای این نوشته جایگزین ویزیت یا تشخیص پزشک نیست.
مطالب مرتبط
