[Mehrbod]

در آخر باید بگویم که اشتباه شما کجا بوده است مهربد. برخلاف دیگر فناوری های پرزور هوش مصنوعی و نانوتک میتوانند هم در جهت تخریب استفاده شوند و هم در جهت ساخت. این جدای استفاده درست و غلط از فناوری است. بمب اتمی میتواند هم در جنگ (نادرست) استفاده شود هم برای دفاع در برابر سیارک ها (درست). همچنین سلاح شیمیایی میتواند در جنگ استفاده شود (نادرست) و هم به عنوان آنتی بیوتیک! (درست).
اما همه این موارد با تخریب کار میکنند و یک بمب اتمی هیچ گاه نمیتواند اثر بمب دیگری را خنثی کند!

با شما در این که نتیجه اولین اقدام اشتباه/سو استفاده از AI و Nanotech باشد آخرین اشتباه است موافق هستم. اما خطای شما در این است که میپندارید "همواره" اولین اشتباه آخرین اشتباه خواهد بود!
به شرط این که اولین نتیجه اشتباه/سو استفاده نباشد, میتوان هوش مصنوعی ای سازگار با بقا و رفاه حیات را ناظر و حاکم کرد که هرگونه خطایی در زمینه ساخت و به کار گیری فناوری را به سر عت کنترل و سرکوب کند. در مورد نانو تک هم چنین است و میتوان زودتر از هر چیز نانو ماشین های حافظ صلح!!! (Blue Goo) را پخش و فعال کرد که سیستم ایمنی زمین شوند و هر نوع نانوماشین بدخیمی را در نطفه خفه کنند.

به زبان هیونداییک:
شما میگویید: 0=Sn
که در آن S امکان خطا نکردن در خلق و استفاده از فناوری است (Survival) و n تعداد اقدام به خلق و استفاده. روشن است که حتی اگر S بسیار به یک نزدیک باشد مادامی که n محدودیت نداشته باشد حاصل نزدیک به صفر خواهد بود. مثال:
0.000045173=0.99910000
مشکل اینجاست که فرض شده S ثابت است و به تعداد دفعات قبلی بستگی ندارد. احتمال بقای کل در اینجا عملا صفر است.

من میگویم: S≠0
کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند. تفاوت ماجرا این میشود که نتیجه شما, یقینا انقراض بدون توجه به اقدامات پیشگیرانه, تبدیل میشود به قماری که میتوان با تلاش و دقت شانس پیروزی در آن را بالا برد.

سخن شما هوشمندانه, ولی در خود پادستیز دارد. سه چیز:

١- نخست آنکه یا سرانجام 0=Sn است یا S≠0

٢- n را ما نه بیکران, بساکه بزرگ گرفته‌ایم (روشنگری).

٣- در برخی جاها S ایستا (ثابت) است, در برخی جاها نه: ابرهوشواره ایستا است (یکبار بختی بیشتر نیست), نانوتکنولوژی شاید سه بار گندی بالا بتواند بیاید و آدمی جان سالم به در ببرد.

اکنون, نکته‌یِ یکم, در اینجا نمیتوان بدلخواه S را ایستا (static) یا ناایستا انگاشت,
بساکه بایستی به دورنما و زمینه‌یِ تکنولوژی نامبرده نگریست و دید که یک لغزش چه بهایی در بر دارد.

سپس, نکته‌یِ دوم:

کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند.

این نیز یک پیش‌انگاشت نادرست است که اگر خطا انجام نگرفت پس دیگر هرگز خطایی رخ نخواهد داد. در یک نمونه, بگوییم
ابرهوشواره, با بختی نزدیک به ∞, اگر بار یکم خطایی انجام نپذیرد آنگاه برایند کار برای آدمی براستی خواستنی خواهد بود,
ولی نکته روشن اینجا همین است که ما نه همچو بختی نزدیک به بیکران داریم و نه توان انجام دادن و کوشیدن چندباره.

این پیش‌انگاشت در زمینه‌های دیگر دیگر نیز نادرست است. اگر در ساخت نانوتکنولوژی پژوهشگر یا برنامه‌نویس یک روتین را
آنجور که باید درست و دوراندیشانه پیاده نکرد, نیمی از بشریت میرود که نابود بشود ولی همچنان با نبوغ بالا و کمی بخت میتوان
آنرا درست نمود, ولی این درست شدن به این معنی نیست که بار دوم دیگر همه چیز بخوبی و خوشی انجام خواهد پذیرفت.

--
از زمانیکه هواپیماها ساخته شدند و ایده‌یِ "جعبه‌یِ سیاه" مطرح شد, با هر بار سقوط یک هواپیما
شانس اینکه هرگز هواپیمایی دوباره بیافتد کم شده است, زیرا در هر سقوط با بررسی و واکاوی جعبه‌یِ سیاه
لغزش‌ را دریافته و آنرا در ساخت هواپیمای پسین از میان برمیدارند. این روند ولی پیروی قانون آنتروپی است
که راه‌هایی که یک چیز میتواند کار نکند همواره بیشتر — بسیار بیشتر — از راههایی هستند که میتواند کار کند و
ازینرو در اینجا, در این تکنولوژی بسیار ساده‌تر هم آدمی هنوز نتوانسته با چند بار لغزش به فرزامش (perfection) دست یابد, زیرا راه‌هایِ به خطا رفتن بسیار‌اند (از روی قانون‌هایِ آنتروپی + آمایشیکان {combinatorics})


ازهمینرو, جاییکه آدمی پس از دهه‌ها کوشش هنوز نمیتواند هواپیمایی بسازد که ریسک افتادنش 0 باشد, این چندان مایه‌یِ "دلگرمی" نیست که بخواهد بیاید در این میان به یکبار و بی هیچگونه لغزشی ابرهوشواره‌ای میلیارد‌ها بار!
هوشمندتر از خودش را بسازد که بخوبی در کنترل و دامنه‌یِ پیشبینی‌پذیری او باشد و همانی را بکند که او میخواهد.


--
هر آینه و یکبار دیگر, دانشمندان و پژوهشگران بسیاری گرچه بخوبی به این نکته آگاه‌اند — چه این دسته
خود بهره‌یِ هوشی بسیار بالایی دارند — ولی همچنان در این زمینه‌ها می‌پژوهند و پیش میروند با این بهانه و
دستآویز مدرن که «اگر ما نکنیم دیگران میکنند, پس چه بهتر ما کنیم» => قمار هرروزه با سرنوشت هر آدم و آدمیت.