خطرها و پیامدهای گسترش سلاحهای خودمختار در گفتوگو با دکتر «کاظم فولادی»
جنگافزارهای هوشمند، آستانه آغاز جنگ را پایین میآورند
گروه علم: دکتر «کاظم فولادیقلعه»، استاد دانشگاه و پژوهشگر حوزه تخصصی هوش مصنوعی است. وی دکترای خود را در رشته مهندسی برق و کامپیوتر، گرایش هوش مصنوعی و رباتیک از دانشگاه تهران دریافت کرده و مدت 10 سال است که درسهای تخصصی هوش مصنوعی را در مقاطع مختلف تدریس میکند. دکتر «فولادی» در این سالها پایاننامههای متعددی را در این حوزه راهنمایی و مشاوره کرده و مقالات تخصصی مربوطه را در مجلات و کنفرانسها منتشر کرده است. از دیگر فعالیتهای وی، حوزه مطالعات بنیادین فضای سایبر است که در این زمینه دهها سخنرانی ارائه داده و در چندین برنامه رادیویی و تلویزیونی نیز شرکت کرده است. علاوهبر این وی یکی از معدود ایرانیانی است که نامه هشداردهنده دانشمندان هوش مصنوعی را امضا کرده است. گفتنی است بهتازگی جمع زیادی از دانشمندان جهان و ازجمله پژوهشگران حوزه هوش مصنوعی و رباتیک، نامه سرگشادهای را در مورد سلاحهای خودمختار امضا کرده و نسبت به پیامدهای گسترش این نوع سلاحها (که خود نشان آن را بهعنوان انقلاب سوم در عرصه جنگافزار توصیف کردهاند)، هشدار دادند. (متن کامل این نامه را در ستون کناری با عنوان سلاحهای خودمختار بخوانید)به همین مناسبت و برای اطلاع بیشتر در مورد محتوا و اهمیت نامهنگاری دانشمندان حوزه هوش مصنوعی برای پیشگیری از تولید سلاحهای خودمختار با وی گفتوگو کردیم.
بهتازگی نامهای منتشر شد که برخی دانشمندان نسبت به عواقب استفاده از هوش مصنوعی در ساخت سلاحها و جنگافزارها ابراز نگرانی کردند. موضوع نامه دقیقا چه بود؟ لازم است که بنده سؤال شما را دقیقتر بیان کنم. موضوع نامه مورداشاره شما، هشدار درمورد «سلاحهای خودمختار» (Autonomous Weapons) است و نه استفاده مطلق از هوش مصنوعی در ساخت سلاح، چراکه هوش مصنوعی بهعنوان یک علم، واجد روشها، تکنیکها و ابزارهایی است که سالها مورداستفاده صنایع مختلف از جمله صنایع امنیتی و نظامی بوده و در مدت بیش از نیم قرن مورداستفاده قرار گرفته است. مهمتر اینکه اساسا حامیان اصلی شکلگیری، پیشرفت و توسعه دانش هوش مصنوعی، از ابتدا تاکنون از بخشهای نظامی بهخصوص ارتش و دپارتمان دفاع ایالات متحده (DoD) بوده و آژانس پژوهشهای دفاعی پیشرفته آمریکا موسوم به DARPA بسیاری از پروژههای پیشگام در حوزه AI (هوش مصنوعی) را مدیریت و حمایت کرده است و دانشمندان و پژوهشگران این حوزه کاملا از این جریان مطلع هستند و تاکنون اعتراضی عمومی نسبت به آن انجام نشده است. درواقع اشاره به این نکته نیز لازم است که پدیدههای تکنولوژیک در جوامع مدرن، در ابتدا میلیتاری و نظامی-امنیتی هستند و بهمرور به محصولات غیرنظامی (اصطلاحا civil) تبدیل میشوند چراکه با شکلگیری یک تمدن، حفظ بقای آن یک خط قرمز است و بنابراین حداکثر توانمندیها ازجمله تکنولوژی باید در خدمت آن باشد. این یک قاعده است که نمونههای متعددی برای آن وجود دارد. مثال معروف آن پدیده آشنای «اینترنت» است که در ابتدا با نام «آرپانت» در ساختار DoD شکل گرفت و حتی ادامه حیات آن وابسته به یک نهاد نظامی دیگر، یعنی آژانس امنیت ملی (NSA) در ایالات متحده است. به تعبیر دیگر، موتور محرک تکنولوژی در یک جامعه مدرن حوزههای نظامی و امنیتی است و این یک اصل پذیرفته شده است. پس در این نامه دقیقا نسبت به چه چیزی هشدار داده بودند؟ موضوع نامه مطرحشده، هشدار درمورد عواقب سلاحهای خودمختار است. برای روشنشدن موضوع لازم است در مورد مفهوم «خودمختاری» توضیح اندکی بدهم. در طراحی یک موجودیت هوشمند، زمانی که رفتار آن موجود کاملا از نیت طراح آن تبعیت میکند، اصطلاحا گفته میشود که آن موجود خودمختاری ندارد. اما این امکان وجود دارد که موجود هوشمند از تجربیات خود درس بگیرد و به این ترتیب از دانش درونی که توسط طراح در آن کار گذاشته شده است، فراتر رود؛ در نتیجه به کنشهایی دست بزند که طراح و سازنده آن موجودیت انتظار نداشته است. این وضعیت اصطلاحا «خودمختاری» نامیده میشود که نوعی آزادی عمل است. موضوع نامه بهطور خاص بر این مورد متمرکز است که مسابقه تسلیحاتی در راستای تولید سلاحهای خودمختار میتواند بسیار خطرناکتر از سلاحهای هستهای باشد و باید معاهدات مربوط به ممنوعیت این سلاحها هرچهزودتر شکل بگیرد. چه کسانی این نامه را امضا کردند؟ تاکنون بیش از 18هزار نفر از دانشمندان، پژوهشگران و استادان این نامه را امضا کردهاند که در حدود دوهزارو 800 نفر آنها متخصص حوزه هوش مصنوعی و سایرین از حوزههای دیگر علمی هستند. در میان متخصصان هوش مصنوعی، افراد نامآشنایی چون «استوارت راسل» (استاد هوش مصنوعی دانشگاه کالیفرنیا، برکلی و مؤلف اصلی کتاب «AIMA»،«Artificial Intelligence: A Modern Appraoch» که تقریبا در تمام دانشگاههای دنیا بهعنوان کتاب اصلی درس هوش مصنوعی پایه استفاده میشود)، «پیتر نورویگ» (نویسنده دوم همین کتاب و مدیر پژوهش گوگل)، «نیلز نیلسون» (استاد دانشگاه استنفورد)، «تام میشل»، «ریچارد ساتون» و... به چشم میخورند. از خارج حوزه هوش مصنوعی نیز اسامی افرادی چون «استفن هاوکینگ» (استاد فیزیک دانشگاه کمبریج) و «نوآم چامسکی» (زبانشناس و فیلسوف، استاد دانشگاه MIT) دیده میشود. متأسفانه استادان ایرانی قبل از مطرحشدن این نامه در رسانهها یا از آن اطلاع نداشتند یا به دلایلی آن را نادیده گرفتند. در این نامه روی چه موضوعاتی تأکید شد؟ در این نامه درباره موضوعات مختلفی بحث شده است، اما در مجموع میتوان محورهای مهم و اساسی این نامه را اینگونه خلاصه کرد: سلاحهای خودمختار بهعنوان سومین انقلاب در جنگافزارها مطرح هستند، مضرات این سلاحها بسیار بیشتر از فواید آن است، مخاطرات این سلاحها بسیار بیشتر از سلاحهای هستهای است و بیشتر دانشمندان و پژوهشگران هوش مصنوعی خواستار معاهدات بینالمللی برای منع چنین سلاحهایی هستند و از آن پشتیبانی میکنند. امروزه سلاحهای بسیاری تولید میشود و به آسانی انسانهای بسیاری را به کام مرگ میکشد؛ برای مثال کلاشنیکف بهتنهایی میلیونها انسان را به کام مرگ کشانده است. پهپادها هم انسانهای زیادی را میکشند. چه شده که برخی بر این باورند که استفاده از هوش مصنوعی در ساخت سلاح، کاری ضداخلاقی است و باید جلوی آن را گرفت؟ اتفاقا نکته موردنظر تهیهکنندگان و امضاکنندگان این نامه همین ملاحظات اخلاقی است: اگر یک موجود مختار مثل انسان مرتکب قتل شود، سازوکار مجازات در دیدگاه عمومی وی را مقصر میداند. حال اگر این انسان مجهز به یک دستگاه ساده یا پیچیده شود، توان عمل او بیشتر میشود؛ مثلا میتواند اینجا بنشیند و هدفی را در هزار کیلومتر آن طرفتر مورداصابت قرار دهد اما همچنان تصمیمگیر خود او بوده است. در این وضعیت باز خود انسان بهعنوان یک موجود مختار مسئول بوده و سرزنشها متوجه خود اوست. اما وقتی سلاح خودمختار بهعنوان یک موجود مصنوعی در کار باشد، تصمیمی که میگیرد و اقدامی که میکند، حاصل استنتاج خود اوست و نه طراح آن. طبق تعریف خودمختاری، طراح آن که یک انسان بوده، نیت دیگری داشته ولی سلاح خودمختار در اثر تجربه و یادگیری خودش در طول زمان، به اقدام دیگری دست زده که خارج از تعهد طراح آن بوده است. حال اینجا سازوکار مجازات را باید برای چه کسی در نظر گرفت؟ طراح یا سلاح خودمختار؟ طراح که اساسا چنین نیتی نداشته است، سلاح خودمختار هم که نه قادر به پاسخگویی است و نه مجازات آن اثربخش است؟ آیا مقابلهبهمثل در این حالت منطقی است؟ اینجا مسئله مسئولیت اخلاقی مطرح میشود: قواعد اخلاقی حکم میکند که هر کس مسئولیت اعمال خود را بپذیرد. اگر اقدامی انجام شود که نتیجه آن سلب مسئولیت از طراح انسانی باشد و منجر به تولید موجودی خودمختار شود که وارد نبرد با انسانها میشود، نتیجه مشخص است. پس میبینیم که این حساسیت جهانی بجاست و بسیار فراتر از پدیدههای متعارف یا حتی نامتعارف جنگی است. متأسفانه دانشمندان همیشه برای ساخت سلاح در خدمت حکومتگران بودند اما در زمینه چگونگی استفاده از آن هیچ نقشی نداشتند. آیا به نظر شما این بار دانشمندان میتوانند با اعلام چنین هشدارهایی، از ساخت این ابزارها پیشگیری کنند؟ (چون بسیاری از سازندگان سلاحها، شرکتهای خصوصی هستند و دولت نظارت چندان شدیدی روی تحقیقات یا پروژههای محرمانه آنها ندارد). به نظر بنده نفس این اقدام، ارزشمند است حتی اگر دولتها و حکومتها نخواهند مستقیما به آن توجه کنند. ایجاد حساسیت نسبت به این پدیده از عموم مردم ساخته نیست، بلکه متخصصانی که جزئیات فنی آن را میدانند، میتوانند ابعاد مخاطرهآمیز آن را تبیین و روشن کنند، چهبسا آگاهسازی عمومی از سوی آنها و پرداختن رسانهها به جزئیات موضوع بتواند مطالبه عمومی ایجاد کند و فشار به سازمانهای بینالمللی و دولتها در راستای پذیرش معاهدات مربوطه صورت بگیرد. درمورد سلاحهای هستهای متأسفانه این اتفاق نیفتاد و برعکس دانشمندانی چون «اینشتین»، «بور» و «هایزنبرگ» بدون معرفی خطرات این سلاحها برای افکار عمومی، به رئیسجمهور وقت آمریکا پیشنهاد تولید سلاح اتمی زودتر از نازیهای آلمان دادند و نتیجه آن بمباران هستهای هیروشیمای ژاپن بود که هنوز که هنوز است تبعات فاجعهآمیز آن در نسلهای بعد ادامه دارد. هرچند گفته میشود این واقعه موجب پشیمانی اینشتین شد اما دیگر فایدهای نداشت. آیا این امکان وجود دارد که این سلاح پس از ساختهشدن از اختیار دولتها خارج شود و گروههای تروریستی از آن استفاده گسترده کنند؟ البته، یکی از نگرانیهایی که در خود نامه صراحتا به آن اشاره شده، همین است که معلوم نیست بازار سیاه این سلاحها کجاست و در اختیار خواستههای کدام گروه یا نحله قرار میگیرد. برخی از منتقدان این نامه، بر این باورند که اصلا امکان ساخت سلاحی تا این حد هوشمند، که مستقل از کاربر انسانی تصمیم بگیرد، وجود ندارد و در نتیجه نگرانی در این زمینه بیمورد است. نظر شما چیست؟ اصولا در علم، حرفهای قطعی اینچنینی نمیتوان زد. ضمن اینکه تجربه ما در پیگیری پژوهشهای حوزه هوش مصنوعی و رباتیک نشان میدهد که دستیابی به این تکنولوژیها امکانپذیر است، بهخصوص، پیشرفتهای اخیر در حوزه یادگیری ماشینی که امکان خودمختاری را بیشتر و بیشتر میکند. برخی از موافقان این نامه هم بر این باورند که برخلاف بمبهای هستهای، ساخت و بهکارگیری سلاحهای هوشمند آسان و کمهزینه است و در نتیجه پیامدها و هزینهها و تلفات جنگ را زیاد میکند. نظر شما دراینباره چیست؟ تحلیل هزینه-فایده در سیستمهای نظامی همواره استفاده میشود و یکی از معیارها در بازی جنگ (game war) است. اجمالا اینکه هزینه نیروی انسانی و تبعات خسارتهای وارد به آن بسیار جدی و یکی از عوامل بازدارندگی شروع جنگ است. اگر سلاح خودمختار بتواند جایگزین نیروی انسانی شود، قطعا یکی از فاکتورهای مهم بازدارندگی حذف میشود و در نتیجه آستانه آغاز جنگ را پایین میآورد. ضمن اینکه اضافهکردن جنبههای هوشمندی و خودمختاری به سلاحهای موجود، بیشتر جنبه نرمافزاری دارد و طبیعتا تأسیسات تولید سادهتری را میطلبد. بنابراین به نظر من هم این نگرانی طبیعی است.
برای اطلاع از آخرین اخبار و تحلیلها به کانال شرق در «تلگرام» بپیوندید.