[Mehrbod]

مهربد گرامی، من در مورد خطرات پیش رو با شما مخالفتی ندارم، اما بدبینی شما نسبت به پشیتازان فناوری و نهادهای تصمیم گیرنده را درک نمی کنم. تکینگی، مهم ترین دستاورد بشر، یا شاید مهمترین دستاورد ماده در کائنات باشد، از همین رو بحثهای مربوط به عواقب و ریسکهای آن، از دستکم یک دهه پیش از دستیابی به آن، بالا خواهد گرفت. بنابراین در هنگام دستیابی به چنان پتانسیلی، خطرات آن به طور گسترده شناخته شده است، و گمان نمی کنم آنهایی که برای اولین بار به چنین پدیده ای دستیافته اند، آنقدر کله شق باشند که بدون یافتن راه حل قطعی برای کنترل آن، استارتش را بزنند.

درود ناشناخته‌یِ گرامی,

دشواری مهادین[sup][aname=rpa2bec][[/aname][anchor=pa2bec]1][/anchor][/sup] شما همینجاست که میاندیشید یک "ما"یی آنجا هست. پرسش این است, کدام ما؟ آیا شما تک تکِ ٧
میلیارد و خرده‌ای آدم زنده را میشناسید و میدانید هر کدام هماکنون دارند روی پیشرفت چه چیزی کار میکنند که میگویید ما؟

سپس اینکه میگویید ١٠ سال پیش از رسیدن به تکینگی[sup][aname=rpa0e9c][[/aname][anchor=pa0e9c]2][/anchor][/sup] تکنوفایل‌ها (technophiles) ناگهان به خطرهای آن آگاه[sup][aname=rpaf104][[/aname][anchor=paf104]3][/anchor][/sup] میشوند, چند پرسش اینجا به میان میایند:

١. چگونه خواهیم دانست که ١٠ سال دیگر بهمان تکنولوژی نوآورده[sup][aname=rpad1d6][[/aname][anchor=pad1d6]4][/anchor][/sup] میشود؟ آیا ١٠ سال پیش از ساخت بمبِ اتم, کسی میدانست ١٠ سال دیگر بمب اتم ساخته خواهد شد؟ (یا ١٠ سال پیش از رویداد جنگ جهانی یکم کسی میدانست جنگ جهانی یکم رویمیدهد؟ درباره‌یِ جنگ جهانی دوم چه؟)

٢. چگونه پس از آگاهی از خطرهای یک تکنولوژی, آن را کنترل میکنند؟ بگوییم تکنوفایلها ١٠ سال پیش از تکینگی دریافتند که نمیتوانند تکینگی را کنترل کنند و چیز خوبی نیست, اکنون چه میکنند, چگونه از پیشرفت بیشتر در راستای رسیدن به آن پیش میگیرند؟ (با هم پیمان میبندند که بیایید در این یک زمینه پیشرفت نکنیم!؟)

٣. ما درباره‌یِ تکنولوژیِ پیش پا افتاده‌ای همچون بمب اتم میبینیم که تنها پس از آزمایش چندباره اش بود که توانستند به ژرفای[sup][aname=rpaf986][[/aname][anchor=paf986]5][/anchor][/sup] آسیب‌های پنهان و ناپنهان اش پی ببرند, چگونه درباره‌یِ تکنولوژی همچون تکینگی که آزمودنی هم نیست — یکبار بیشتر نمیتوانید به تکینگی برسید — میخواهند از آسیب‌هایِ شناخته و مهندتر[sup][aname=rpa54d6][[/aname][anchor=pa54d6]6][/anchor][/sup], ناشناخته‌ اش پی ببرند؟

٤. اگر کسانیکه نخست به تکینگی دست یافتند باهوش بوده و کله شق نبودند هم به کاری نمیاید, زیرا اگر این تکنوفایل‌هایِ باهوش بیش از اندازه منتظر بمانند کم کم کله شق‌ها هم به ساخت آن توانا میشوند (همانجور که امروز کره‌یِ شمالی شده و ایرانِ کله شق هم دارد به بمب اتم مجهز میشود): تکنولوژی در دست من یا شما یا شماری برگزیده ابرباهوشِ همه چیزدان نیست, دیر یا زود فراگیر میشود.

اینکه چگونه میتوان هوش برتر را (بطور گارانتی شده) کنترل کرد، بیشتر به یک مسئله ریاضیاتی می ماند، اما به گمان من شدنی است. ریاضیدان نابغه ای را در نظر بگیرید، که در یک سلول با دیوارهای آهنی زندانی شده است. هرچقدر هم که او نابغه باشد، نخواهد توانست فرار کند، چون ابزار ندارد. یا بطور مشابه، فرض کنید یک ابررایانه دارد شما را در شطرنج شکست می دهد، شما به سادگی میتوانید با چکش بزنید ناکارش کنید! کوتاه سخن اینکه، هوش برتر الزاما به معنای توانایی بیشتر نیست. برای کارهای کارگری، ما نیاز به روباتهای خیلی باهوش نداریم، اما برای تئوری پردازی، اختراع ها و پیشبرد تکنولوژی، نیاز به هوش بالاتر هست، که می توان آن را ناتوان ساخت، بدون دست و پا/ابزار.

اینجا همچنان شما از «ما» میگویید. این «ما» بجز در ذهن شما جای دیگری نیست گرامی, "آنها" آن بیرون هستند و کسی
به همه‌یِ آنها نگفته که نباید به هوشواره[sup][aname=rpa3be8][[/aname][anchor=pa3be8]7][/anchor][/sup] دست و پا بدهند و اگر هم کسی به آنها میاندرزید مایه‌یِ اینکه گوش فرا داده و فرمان بردارند نمیشد.

کنترل چیزی به نام تکینگی[sup][aname=rpa4fa0][[/aname][anchor=pa0e9c]2][/anchor][/sup] فندین نیز خودفریبی بیشتر نیست, کسانیکه در زمینه‌یِ تکینگی کار میکنند هتا
نمیتوانند یک tiling agent (یک agent که فرایند پردازش خود را به زیرagent‌هایش وامی‌گذارد) را گارانتی‌ شده برنامه‌ریزند:

Tiling Agents for Self-Modifying AI, and the Löbian Obstacle

چه برسد به تکینگی که از بیخ مهارناپذیر است, زیرا برنامه‌ریزها نه تنها باید ١٠٠% بی هیچ لغزش و ایرنگی[sup][aname=rpa6a96][[/aname][anchor=pa4fa0]8][/anchor][/sup] زیرساختار آن را برنامه‌ریزند, بساکه باید بتوانند
با پیشبینی[sup][aname=rpa7b30][[/aname][anchor=pa6a96]9][/anchor][/sup] اینکه کُد آنها چگونه در روند خود-دگرانیِ هوشواره تاثیر[sup][aname=rpa2063][[/aname][anchor=pa7b30]10][/anchor][/sup] میگذارد را هم در سدها گام پیشبینی کنند.

بمانند این میماند که شما بخواهید توپ بیلیارد را در برخوردهایش پیش‌بینید[sup][aname=rpa5604][[/aname][anchor=pa2063]11][/anchor][/sup], پیشبینی ١ برخورد و جایگاه توپ پس از آنرا یک کودک ٥ ساله هم میتواند, ٢
برخورد کمی دشوار میشود, ٣ برخورد را تنها یک بیلیاردباز کاردرست میتواند, پیشبینی ٤ یا ٥ برخورد نیاز به ابررایانه دارد, ولی برای پیشبینی جایگاه توپ پس از
٥٦ امین برخورد, شما باید آگاه[sup][aname=rpa38e3][[/aname][anchor=paf104]3][/anchor][/sup] به جایگاه تک تکِ ریزگان[sup][aname=rpa7167][[/aname][anchor=pa5604]12][/anchor][/sup] جهان باشید, زیرا دورترین ریزگان در دورترین کرانه‌‌هایِ جهان در اینکه توپ پس از این برخورد کجا خواهد بود تاثیر سرنوشتسازی خواهند داشت:

The Black Swan: The Impact of the Highly Improbable, p. 177

Assuming one has knowledge of the location of every ball and the speed and accuracy of the cue ball, it is relatively easy to predict the expected movement of the ball after the first shot. A person might even expect that second, third and fourth degree movements can be estimated with great accuracy due to the growing computational power of computers. The problem, however, grows increasingly complex with each subsequent movement. This is because after the ninth movement the gravitational pull of a person standing at the next pool table exerts enough of an effect to alter the trajectory of the ball. And after 56 movements even the smallest particle on the outer edge of the universe will effect the trajectory!

فراموش نکنید که ما درباره‌یِ یک توپ بیلیارد که تنها کنش و بازکنش دارد سخن گفتیم, نه درباره‌یِ یک هوشواره‌[sup][aname=rpa99ed][[/aname][anchor=pa3be8]7][/anchor][/sup] با مغزی پویا و هوشی بیشتر از خود امان.

درمورد مهندسی ژنتیک، من متوجه نشدم که چگونه میخواهد فراگیر شود، بدون فراگیر شدن تکینگی. اما آنهم بمانند مورد قبلی، مستلزم حماقت گسترده از سوی تکنولوژیستها خواهد بود.

مهندسی ژنتیک ساده‌تر از تکینگی[sup][aname=rpaddc1][[/aname][anchor=pa0e9c]2][/anchor][/sup] است, تکینگی یک آستانه‌یِ سُترگ[sup][aname=rpa6a1a][[/aname][anchor=pa38e3]13][/anchor][/sup] دارد و شاید بتوان پیچیدگی آنرا زمختانه همتراز با نانوتکنولوژی دید.








----
[aname=pa2bec]1[/aname]. [anchor=rpa2bec]^[/anchor] meh+âd+in::Mehâdin || مهادین: اصلی Ϣiki-En, Ϣiki-En principal; main
[aname=pa0e9c]2[/aname]. ^ [anchor=rpa0e9c]آ[/anchor] [anchor=rpa4fa0]ب[/anchor] [anchor=rpaddc1]پ[/anchor] tak+in+eg+i::Takinegi || تکینگی: نقطه‌یِ تکین Ϣiki-En, Ϣiki-Pâ singularity
[aname=paf104]3[/aname]. ^ [anchor=rpaf104]آ[/anchor] [anchor=rpa38e3]ب[/anchor] âgâh+idan::Âgâhidan || آگاهیدن: آگاه شدن Dehxodâ to be informed
[aname=pad1d6]4[/aname]. [anchor=rpad1d6]^[/anchor] no+âvardan::Noâvardan || نواوردن: نوآوری کردن; ابداع کردن Dehxodâ, Ϣiki-En to innovate
[aname=paf986]5[/aname]. [anchor=rpaf986]^[/anchor] žarf+â::Žarfâ || ژرفا: ژرفیِ یک چیز profundity
[aname=pa54d6]6[/aname]. [anchor=rpa54d6]^[/anchor] meh+and::Mehand || مهند: مهم important; significant
[aname=pa3be8]7[/aname]. ^ [anchor=rpa3be8]آ[/anchor] [anchor=rpa99ed]ب[/anchor] huš+vâr+e::Hušvâre || هوشواره: هوش مصنوعی Ϣiki-En artificial intelligence Künstliche Intelligenz
[aname=pa4fa0]8[/aname]. [anchor=rpa6a96]^[/anchor] Irang || ایرنگ: خطا; لغزش MacKenzie error irrtum
[aname=pa6a96]9[/aname]. [anchor=rpa7b30]^[/anchor] piš+bin+i::Pišbini || پیشبینی: prediction
[aname=pa7b30]10[/aname]. [anchor=rpa2063]^[/anchor] hanây+eš::Hanâyeš || تاثیر: تاثیر Ϣiki-En efficacy
[aname=pa2063]11[/aname]. [anchor=rpa5604]^[/anchor] piš+didan::Pišdidan || پیشدیدن: پیشبینی کردن Ϣiki-En to predict
[aname=pa5604]12[/aname]. [anchor=rpa7167]^[/anchor] rizeg+ân::Rizegân || ریزگان: ذرات Ϣiki-En particles
[aname=pa38e3]13[/aname]. [anchor=rpa6a1a]^[/anchor] Setorg <— Sotarg || سترگ: بزرگ و کلان Ϣiki-En, Ϣiki-En magnificent; great