[Mehrbod]

ببینیم چگونه تکنولوژی هایی میتوانند خطر انقراض در پی داشته باشند:

:Artificial General Intelligence-
اسکای نت و امثال آن که قصه های عامه پسند هستند را فراموش کنید. هوش مصنوعی که توان خود بهینه سازی داشته باشد میتواند به سرعت پله های ترقی در هوش و کنترل را طی کند و هر بلای ممکن را سر بشر بیاورد. نیک بوستروم در Superintelligence میگوید که یک هوش مصنوعی پیشرونده بسیار غیر قابل پیشبینی تر و خطرناک تر از حیات هوشمند فرا زمینی خواهد بود زیرا که حیات در کرات دیگر هم (تا جای که دانش اجازه پیشگویی میدهد) طی فرایند فرگشت تولید شده است و انگیزه ها و نیاز های مشابه ما خواهند داشت. در حالی که منطق هوش مصنوعی هر چیزی میتواند باشد. به این سناریو توجه کنید

این سخن شما در همراهی دیگر سخنان آورده‌ شده‌یِ این جُستار‌اند, ولی نکته‌ای که بایستی بپذیرید این است که از توان
آدمی بیرون است که هوشواره‌ای که صد‌ها, چه بسا میلیون‌ها اگر نه میلیارد‌ها بار هوشمندتر از خودش میباشد را پیشبینی کند.

نمونه‌ای که زدید را کسانیکه در زمینه‌یِ ابرهوشواره (superintelligence) میپژوهند به چهره‌هایِ گوناگون همواره میآورند
که این دلگرمی کاذب را ببخشند که آری, میدانند دارند چه کار میکنند. برای نمونه یکی از سرشناسترین چهره‌ها در این زمینه,
Eliezer Yudkowsky ¹ این نمونه را سالها پیش نام برده و به این پرسمانی که شما به
میان آوردید, نام The Value Loading Problem را نیز داده است (= پرسمان آموزاندن ارزش‌ها [ی آدمی]):

For example, an AGI whose terminal value is to increase the number of smiles, as a proxy for human happiness, could work towards that goal by reconfiguring all human faces to produce smiles, or tiling the solar system with smiley faces (Yudkowsky 2008).

--
¹
الیزر بخوبی میداند — از روی هوش بسیار بالایش — که چه اندازه بخت اندکی برای راستادهی به
ابرهوشواره در دست است, ولی با این دستآویز که "اگر ما نکنیم دیگران میکنند و پس چه بهتر که ما
بکنیم که یک خرده شانس را بالاتر برده باشیم" همچنان به قمار با سرنوشت بشریت, همچون بسیاری دیگر, دنباله میدهد.