[Nilftrondheim]

آرمانشهر چیست؟
یکی از پرسشهای پیش پا افتاده‌ای که بسیاری از مشتاقان تکینگی همواره ناخودآگاه نادیده میگیرند همین است
که آرمانشهر یکی, میتواند دوزخ‌شهر دیگری باشد و زمانیکه نیاز به "تعریف" این آرمانشهر میرسد نمیتوانند آنرا فرمولیزه کنند.

برای دریافت سُتُرگی پرسمان خوانده شود: Coherent Extrapolated Volition - Machine Intelligence | intelligence.org


چه بر سر پژوهش‌هایِ همروند میآید؟
در تکینگی فندین همیشه پایه بر این است که با دستیابی به یک ابرهوشواره‌یِ خوب — که روشن خوب
چگونه — دیگر همه چیز بهشت میشود و ابرهوشواره‌یِ خوب نمیگذارد هیچ سازمان و پژوهشگاه دیگری به ابرهوشواره دست‌یابد.

پرسش: چگونه نمیگذارد, با کنترل مغزی؟







طبیعت در جایگاه فرگشتار (evolver) یکسان‌انگار میباشد, ولی ابرسازواره‌یِ تکنولوژیک در راستای
سود خود پیش میرود که بباید, برابر با سود سازوارگان خود (آدمیان) نیست: نبود یکسان‌انگاری (بی‌تفاوتی).

و از دیدگاهی دیگر, آری میمون‌ها خودآگاهی آنچنانی ندارند و نمیدانند چه کاری آنها را نابود میسازد. آدمی در جایگاه گونه‌ای باهوشتر,
هنگامیکه میداند قرار است "تکامل زوری به هوشواره‌ها" پیدا کند و با آنها جایگزین و پس نیست و نابود بشود, آیا نبایستی میمون‌وارانه رفتار نکند؟







چگونه خوب بودنش روشن شده؟
و چگونه روشن شده که برای همیشه خوب میماند؟






و این در حقیقت بخش ناخواستنی و بد آن به شمار میرود. چنانکه میدانند, اگر راستادهی آینده در دستان یک تن دو کس
تنها میبود, آنگاه امیدواری بسیار بسیار بالاتری میرفت که آینده دستکم,‌ دورنمای بهتری داشته باشد, ولی هنگامیکه آینده
به دستان ابرسازواره‌هایی سپرده میشود که اراده‌یِ بزرگتر از چند تن بر آنها استوار است, کارها از کنترل آدمی بیرون میایند.

در یک تیره‌یِ نخستینی برای نمونه, کس توان راستادهی بسیار بالایی بر سرنوشت خود دارد و میتواند در
فرایند‌هایِ تصمیم‌گیری نقشی بسزا داشته باشد, ولی در یک مردم‌سالاری صد میلیون تنه, توان راستادهی کس هتّا
زمانیکه به خواست و رای وی ارجی راستین نهاده شود, به یک در صد میلیونی بسیار ناچیز و چشم‌پوشیدنی کاهش میابد:

=>







و در زمانیکه ابرهوشواره‌یِ نیک دارد آگاهی‌رسانی میکند,
پژوهشگران و دانشمندان دیگر درین زمینه آیا از نوآوری بازایستاده‌اند؟






و ازینرو, ابزاری سراسر ناکارآمد در جلوگیری از پیدایش و نوآوری تکنولوژی‌هایِ ویرانگر و نیست کننده است.





هک شدن رایانه ≠ هک شدن مغز








درست است, و برای پیشگیری از این آینده‌یِ بیمناک, راه روشن است.



نکته‌یِ گیرا: روشن نیست چرا «یک راس قمر» ناخواستنی‌تر از «یک انبوهه قمر» است.







.

1-چشم، میخوانم ببینم یوتوپیا مشکلش چیست. و خیر، با اولین AI خوب دیگر نیازی به دیگری احساس نمیشود و پژوهش های دیگر رها خواهند شد. اگر هم ادامه داده شوند (مثلا بگویند Redundancy لازم داریم، مانند ابرقدرت ها) تحت نظارت AI اولی از کنترل خارج شدن آنها ممکن نخواهد بود و جای نگرانی نیست!


2- منظور از آن، متناظر قرار دادن ساخت AI با ساخت انسان بود، پله ای دیگر در تکامل. چطور آن را به نابودی انسان ارتباط میدهید نمیدانم. میمون های جد انسان نابود نشدند، تکامل یافتند. همین بحثی که در پیش رو داریم را نیز من به زور میتوانم جدی بگیرم، اتفاقی که در دنیا واقعی رخ خواهد داد تکینگی به سبک کورتزویل است، نه ساخت معجزه آمیز AI از سوی انسان هایی که خود دیجیتایز نشده اند!


3- آن را آزمایش کرده اید قبل از رها کردن - ناپایداری مورد ادعای AI بر قابلیت خود ارتقایی آن استوار است، در حالی که گسترش و تغییر در جایی به دلیل محدود بودن ماده، انرژی و اطلاعات باید متوقف شود. در اینجاست که AI سرطانی ما دیگر نمیتواند رشد کند و به حالت پایدار میرسد.

4- اولا ر. ک. به 2، ثانیا تصمیم گیری بر اساس عقل، برنامه ریزی و قانون است نه نظر جمعی. اسپاگتی کسی که نام جمهوری های مبتنی بر قانون اساسی غربی را به "دموکراسی" تغییر داد، تا ابد در کچاپ سرد بسوزاند!


5- منظور یودکوسکی بود! AI ما مگر اکتیویست است که اطلاع رسانی کند؟


6- بله، و همچنین ابزاری سراسر ناکارآمد در جلوگیری از پیدایش و نوآوری تکنولوژی‌هایِ مقابله گر و سازنده است.


7- البته، اما لطفا توضیح دهید آسانی و خطر آنها چه تفاوتی دارند!


8- یک راس ننه قمر ناخواستنی تر از یک انبوهه متخصص، دیسیپلین مند، با تجربه، قابل اعتماد، بدون عقده و ... است. قبلا هم گفته ام، فکر میکنید ساخت و نگهداری تسلیحات اتمی دست چند تا جوان خام، احساساتی و بی نظم اینترنت گرد است؟ :e408:



آیا تا کنون توانسته ام تاثیری بر شما بگذارم، مهربد عزیز؟