چرا نیاز داریم ربات‌های نظامی‌ قاتل را همین حالا متوقف کنیم؟

زمانی در آثار آسیموف قوانین سه‌گانه رباتیک را می‌خواندیم، در این آثار این قوانین آنقدر در تار و پود مغزهای پوزیترونیک روبات‌های تخیلی نقش بسته بود که تخطی از آن و احتمال آزار به انسان تقریبا نامحتمل می‌شد.

اما آیا در عالم واقع هم همین طور است؟ ما هنوز به فناوری ربات‌های بسیار هوشمند به سبک داستان‌های تخیلی دست نیافته‌ایم، اما در عوض بهپادها را داریم یا سیستم‌های خودکار مقابله هشدار و مقابله با حملات موشکی را.

همین چند روز پیش بود که باراک اوباما مجبور شد در مورد کشته شدن یک شهروند آمریکایی با استفاده از بهپاد که ظاهرا امنیت ملی آمریکا را به خطر انداخته بود، توضیح بدهد. چرا که این هراس وجود به وجود آمده بود که شهروندان آمریکایی هم بدون محاکمه توسط این فناوری، مورد تهدید قرار بگیرند.

آیا ما باید به ربات‌ها و سیستم‌های کامپیوتری اجازه تصمیم‌گیری‌های خطیری مثل تصمیم در مورد مرگ و زندگی یک انسان را بدهیم؟!

نویسنده مهمان «یک پزشک» –احسان حاجیان– در این مورد مقاله‌ای نوشته است:

در طی دهه‌ گذشته، گسترش استفاده از جنگ‌افزارهای بدون سرنشین و هدایت‌شونده از راه دور، به طور چشمگیری میدان نبرد را تغییر داده است و چالش‌های بشردوستانه و حقوقی جدیدی را به وجود آورده است. هم‌اکنون پیشرفت سریع فناوری باعث شده تلاش‌هایی برای توسعه جنگ‌افزارهای کاملاً خودکار صورت بگیرند. این جنگ‌افزارهای رباتی قادر خواهند بود بدون دخالت انسان و بر اساس ارزیابی‌های خودشان، هدف را انتخاب و به آن شلیک کنند. این قابلیت موجب بروز چالش‌های بنیادینی برای حفاظت از غیر نظامیان و برآورده کردن قانون‌های بشردوستانه می‌شود.

چندین کشور دارای ارتش‌های مجهز به فناوری‌های پیشرفته از جمله چین، اسرائیل، روسیه، انگلیس، آمریکا و کره‌ی جنوبی در حال حرکت به سمت سامانه‌هایی هستند که خودمختاری رزمی‌ بیش‌تری به ماشین‌ها خواهند داد. اگر یک یا چند کشور تصمیم به استفاده از جنگ‌افزارهای کاملاً خودکار بگیرند، گامی بسیار فراتر از استفاده از هواگردهای هدایت شونده از راه دور، سایر کشورها ممکن است احساس کنند مجبور هستند سیاست‌های خود را در این زمینه تغییر دهند و این موضوع منجر به شروع یک مسابقه‌ی تسلیحاتی خواهد شد. اکنون و پیش از این که سرمایه‌گذاری، توسعه‌ی فناوری و راهبردهای نظامی‌جدید، تغییر این روند را دشوار کنند، توافق برای فراهم و برقرار کردن کنترل این جنگ‌افزارها ضروری است.

اجازه دادن به ربات‌ها برای تصمیم گیری در مورد زندگی یا مرگ انسان‌ها از خط قرمز اخلاقی بنیادینی عبور می‌کند. ربات‌های خودکار، فاقد قضاوت انسانی و توانایی درک شرایط میدان نبرد هستند. این ویژگی‌ها برای اتخاذ تصمیم‌های پیچیده‌ی اخلاقی در یک میدان نبرد پویا، ضروری هستند.

به عنوان مثال آیا یک ربات می تواند در یک محیط شلوغ شهری به اندازه‌ی کافی بین نظامیان و غیر نظامیان تمایز قائل شود؟ و آیا ارزیابی‌ها و واکنش‌های آنها متناسب با نوع محیط و نوع تهدیدهای موجود خواهد بود؟ برای نمونه، آیا رباتی که مسلح به مسلسل و موشک است می تواند تشخیص دهد به سمت نظامیانی که در اطراف یک ساختمان مسکونی سنگر گرفته‌اند نباید موشک شلیک کند؟ در نتیجه ربات‌های کاملاً خودکار الزامات قانون‌های جنگی را نمی‌توانند اجرا کنند.

جایگزین کردن سربازان با ماشین‌ها، ممکن است باعث شود به راه انداختن جنگ‌ها کار ساده‌تری شود. این موضوع موجب می‌شود بار دشواری‌های جنگ از روی دوش نیروهای نظامی برداشته شده و به مردم غیرنظامی‌ تحمیل شود. به کارگیری ربات‌های کاملاً خودکار باعث می‌شود شکافی در مسئولیت پذیری و پاسخگویی نیروهای نظامی ایجاد شود چرا که مشخص نیست چه کسی از نظر قانون در مورد اقدام‌های ربات‌ها پاسخ‌گو خواهد بود: فرماندهان، برنامه‌نویسان، تولیدکنندگان یا خود ربات‌ها؟

بدون وجود کسی که در برابر کارهای ربات‌ها مسئول و پاسخ‌گو باشد، نظامیان برای اطمینان پیدا کردن از این که ربات‌ها، غیر نظامیان را در معرض خطر قرار نمی‌دهند، انگیزه‌ی کمی‌خواهند داشت و قربانیان اقدام‌های ربات‌ها نیز از این که کسی به خاطر آن‌چه بر سر آن‌ها آمده است مجازات نمی‌شود، ناراضی خواهند بود.

دادن این قدرت به ماشین‌ها که تصمیم بگیرند در میدان نبرد چه کسی زنده بماند و چه کسی کشته شود یک کاربرد غیرقابل پذیرش فناوری است. نظارت انسانی بر هر ربات رزمی، برای اطمینان پیدا کردن از محافظت بشردوستانه و کنترل قانونی موثر، ضروری است. انسان‌ها نباید از حلقه‌ی تصمیم گیری در مورد انتخاب هدف و شلیک به سمت آن در میدان جنگ، کنار گذاشته شوند.

لازم است فورا یک توافق و قانون جامع و پیش‌گیرانه درباره‌ی توسعه، ساخت و استفاده از ربات‌های کاملاً خودکار، ایجاد شود. این قانون می‌تواند توسط یک معاهده‌ی بین المللی و هم‌چنین قانون‌های داخلی کشورها به دست بیاید.

باید از تمام کشورها خواست سیاست‌های خود را در مورد جنگ‌افزارهای کاملاً خودکار، به خصوص با در نظر گرفتن نگرانی‌های اخلاقی، قانونی، سیاسی و فناورانه به طور واضح برای عموم بیان کنند.

آن چه در ادامه می‌خوانید مصاحبه‌ی مارک بیشاپ، متخصص هوش مصنوعی، استاد محاسبات شناختی (cognitive computing) در گلداسمیت در دانشگاه لندن و رئیس انجمن مطالعه‌ی هوش مصنوعی و شبیه سازی رفتار، با مجله‌ی نیوساینتیست است. او می‌گوید ممنوعیت استفاده از جنگ‌افزارهایی که بدون دخالت انسان کار می‌کنند و شلیک می‌کنند حیاتی است.

– جنبش «مبارزه برای متوقف کردن ربات‌های قاتل» چیست؟

-این جنبش یک اتحادیه از سازمان‌های غیردولتی و گروه‌های فشار است که برای ممنوعیت تولید و به کارگیری سامانه‌های جنگ‌افزاری کاملاً خودکار فعالیت می‌کند. در این سامانه‌ها نقش انسان در انتخاب دقیق هدف و دخالت در تصمیم گیری نهایی برای شلیک کردن به هدف حذف شده است.

– چقدر به ساخت و استفاده از این چنین سامانه‌هایی نزدیک هستیم؟

-همین الآن هم نمونه‌هایی از این فناوری موجود هستند. برای مثال سال‌ها است از سامانه دفاع هوایی فالانکس بر روی بیش‌تر ناوهای نیروی دریایی امریکا استفاده می‌شود. این سامانه وظیفه‌ی شناسایی و منهدم کردن موشک‌ها و پهپادهای نزدیک‌شونده دشمن به ناوها را برعهده دارد.

[این سامانه در جنگ‌ها و تمرین‌های نظامی چند بار در تشخیص هدف اشتباه کرده است. برای مثال در جنگ اوّل خلیج فارس به جای هدف قرار دادن یک موشک ضدکشتی عراقی، به اشتباه به سمت اخلال‌گرهای راداری که توسط یکی از ناوهای آمریکا پخش شده بود شلیک کرد امّا این حادثه تلفات جانی نداشت. هم‌چنین در جریان یک تمرین نظامی، به اشتباه به لاشه‌ی یک هواگرد هدف شلیک کرد و باعث کشته شدن یک نفر و زخمی شدن یک نفر دیگر شد]

پهپاد رزمی ‌هارپی ساخت اسرائیل نمونه‌ی دیگری است که از فناوری شلیک کن فراموش کن استفاده می‌کند و به منظور شناسایی و انهدام سامانه‌های راداری به کار گرفته می‌شود.

– عامل محرک توسعه‌ این فناوری چیست؟

– راهبرد نظامی‌ فعلی غرب برروی استفاده از پهپاد‌ها بیش از تجهیزات رایج تمرکز دارد. امّا پهپاد‌ها در برابر هک شدن آسیب‌پذیر هستند[برای مثال می‌توان به پهپادهای آمریکا که توسط ایران شکار شدند اشاره کرد]. سامانه‌های کاملاً خودکار عملا در برابر این تهدید، ایمن هستند. آن‌ها هم‌چنین هزینه‌ها را کاهش می‌دهند. این به معنای آن است که تولیدکنندگان بیش‌تر می‌فروشند. بنابراین یک نیاز و اجبار تجاری برای توسعه‌ی سامانه‌های خودکار و استفاده از آن‌ها توسط دولت‌ها وجود دارد.

– خطرهای این سامانه‌ها چیست؟

– دلیل‌هایی وجود دارند تا نسبت به توانایی‌های سامانه‌های خودکار تردید داشته باشیم. برای مثال آیا این سامانه‌ها می‌توانند به نحو مناسبی در مورد نیاز به شلیک کردن قضاوت کنند، به تهدید‌ها به طور متناسب واکنش نشان دهند یا به طور قابل اعتمادی بین نظامیان و غیر نظامیان تمایز قائل شوند؟

هم‌چنین هنگامی‌که شما سامانه‌های نرم‌افزاری پیچیده را در ارتباط و تعامل با یک‌دیگر قرار می‌دهید، ظرفیت بسیار بزرگی برای رویدادن نتیجه‌های پیش بینی نشده به وجود می‌آید. یک مثال آشکار از این مورد در سال 2011 در وب سایت آمازون مشاهده شد. ربات‌های اینترنتی قیمت‌گذاری، بهای کتابی به نام «The Making of a Fly: The Genetics of Animal Design» را تا بیشتر از 23 میلیون دلار دلار بالا بردند!

– بنابراین آیا شما در مورد تشدید درگیری‌های نظامی به دلیل اقدام‌های ربات‌ها نگران هستید؟

-بله. در کره‌ جنوبی دانشمندان در حال ساخت و توسعه دادن یک ربات به منظور گشت‌زنی در مرز این کشور با کره‌ی شمالی هستند. اگر این ربات اشتباها به سمت هدفی شلیک کند یا به طور نامتناسبی به یک تهدید واکنش نشان دهد، به سادگی می‌توان تصور کرد یک تجاوز مرزی کوچک تا حد یک درگیری جدی و خطرناک تشدید خواهد شد.

نمونه ترسناک‌تر این موضوع در زمان جنگ سرد و در خلال رزمایش ایبل آرچر 83 (Able Archer 83) رخ داد.

[ایبل آرچر یک تمرین 10 روزه مرکز فرماندهی ناتو بود که در دوم نوامبر 1983 در منطقه غرب اروپا آغازشد. قرار بود تا این رزمایش یک جنگ هسته‌ای را شبیه سازی کند

واقع‌گرایی بسیار زیاد رزمایش ایبل آرچر و روابط تخریب شده بین آمریکا و شوروی سابق، بعضی از سران سیاسی و نظامی شوروی را مشکوک کرده بود که شاید این تمرین‌ها، مقدمات شروع یک جنگ واقعی هستند و در حقیقت ناتو قصد دارد در پوشش این رزمایش ضربه اول را به بلوک شرق وارد کند.

در پاسخ به این رزمایش، شوروی وضعیت آماده‌باش درجه یک را به نیروهای هسته‌ای خود اعلام کرد و به واحدهای هوایی خود را در آلمان شرقی و لهستان  آماده باش داد.

بسیاری از تاریخ نویسان این رویداد را نزدیک‌ترین وضعیت به یک رویارویی هسته ای بین دو قدرت پس از بحران موشکی کوبا در سال 1962 قلمداد کرده‌اند. با پایان یافتن این مانور در روز یازدهم نوامبر خطر این رویارویی بر طرف شد.

در شب 26 سپتامبر 1983 ماهواره‌های پیش‌اخطار روس‌ها ، با نام رمز اُکو، شلیک یک موشک قاره‌پیما از خاک آمریکا را اعلام کردند. سرهنگ دوم استانیسلاو پتروف ،افسرنگهبان وقت، این اخطار را به عنوان یک خطای رایانه‌ای ندیده گرفت چرا که رادارهای زمینی هیچ حرکتی را ثبت نکرده بودند. یکی از علت‌های تصمیم پتروف این بود که سامانه‌های تحت نظر وی به تازگی نصب شده بودند و احتمال خطا در آنها وجود داشت. پتروف مطمئن بود که یک حمله هسته‌ای از طرف آمریکا باید توسط هزاران موشک انجام شود نه تنها با یک موشک.

اندکی بعد چهار شلیک دیگر به سوی خاک شوروی از سوی سامانه اعلام شد که پتروف همه آن‌ها نیز را ندیده گرفت و رد کرد. تحقیقات بعدی نشان داد که حق با پتروف بوده است و این اعلان‌های خطا در بعضی موارد نادر، برای سیستم اکو امکان پذیر بوده‌اند.]

در این مورد توصیه می‌کنم این مطلب «یک پزشک» را بخوانید:‌ مردی که جهان را نجات داد.

همان‌طور که می‌بینید، تنها مداخله‌ی یک سرهنگ روس بود که از وقوع جنگ هسته‌ای جلوگیری کرد.

امّا ظرفیت تشدید زمانی که شما سامانه‌های خودکاری دارید که با سامانه‌های خودکار دیگر در ارتباط و تعامل هستند، فوق‌العاده وحشتناک می‌شود.

-آیا ربات‌ها نمی‌توانند خطرهایی را که انسان‌ها راتهدید می‌کنند، کاهش دهند؟

– افرادی مانند رباتیسیت (Roboticist) آمریکایی رونالد آرکین، دیدگاهی دارند که می‌گوید ربات‌ها ممکن است نسبت به سربازانی که داغ‌دار شده‌اند یا به دنبال انتقام‌گیری هستند، ارزیابی‌های بی‌طرفانه‌تری داشته باشند. این گفته نه تنها ارتباطی به مسئله‌ی تشدید ندارد بلکه تنها هنگامی تحقق می‌یابد که سامانه‌ها بتوانند به طور قابل اعتمادی تصمیم بگیرند چه زمانی شلیک کنند، به طور متناسبی قضاوت کنند و با دقت بالایی بین هدف‌ها تمایز قائل شوند.

– در این صورت، چه کاری از دست ما ساخته است؟

-فناوری مورد استفاده در سامانه‌های جنگ‌افزاری خودکار استفاده‌های دیگری هم دارند؛ سامانه هدایت و راندن خودروی گوگل یک نمونه از آن است. بنابراین متوقف کردن توسعه‌ این فناوری می‌تواند مشکل باشد. در عوض ما باید بر روی یک معاهده‌ بین‌المللی که استفاده از جنگ‌افزارهای خودکار را ممنوع می‌کند، متمرکز شویم

منابع:

http://www.newscientist.com/article/mg21829170.300-why-we-need-to-stop-military-killer-robots-now.html

http://wars-and-history.mihanblog.com/post/402

http://www.stopkillerrobots.org/the-problem/

http://www.stopkillerrobots.org/the-solution/