[Nilftrondheim]

برای نخستین بار تا چه بازه‌یِ زمانی مهم است؟

به دیگر زبان,

١. چرا ابرهوشواره بایستی یکبار که درست کار کرد دیگر برای همیشه درست کار کند؟

٢. در کنار آن, چه بر سر پژوهشگاه‌هایِ دیگری میاید که همزمان در رسیدن به ابرهوشواره میکوشند؟

٣. و نکته‌یِ سوم, دستیابی درست چیست, هنگامیکه هتّا امروز هم خود پژوهشگران این دسته معترف‌اند که نمیدانند
چگونه میشود بدرستی ارزش‌هایِ آدمی را به چهره‌یِ الگوریتم در آورد و گفت, ابرهوشواره‌یِ خوب کدام است, بد کدام است.

نکته گرفته نشد. گفته نشد پژوهشگر نمیداند دارد چه کار میکند, گفته شد برای اینکه کارش را بداند نیازی
نیست اخلاق‌گرا (moralist), فیلسوف و یا جامعه‌شناس باشد. ساخت ابرهوشواره یک پرسمان تکنیکی
است و هر آنکس که دانش برنامه‌نویسی و تکنیکی خوبی داشته باشد, میتواند با داشتن بنمایه‌هایِ بسنده به آن دست یابد.

ازینرو, هتّا زمانیکه تنها بهترین و داناترین و خردمندترین کسان در این زمینه میپژوهیدند احتمال دستیابی به ابرهوشواره‌ای که در
کنترل آدمی باشد نزدیک به 0 میبود, هنگامیکه این فاکتور درون محسابه میشود که برای دست‌یابی بدان نه پیش‌نیازی به دانایی و نه
خردمندی‌‌ست, بساکه تنها دانش ناب از سازوکار مغز و برنامه‌نویسی, آنگاه احتمالات از آنچه بودند نیز چند مرتبه‌یِ بزرگی (order of magnitude) پایین‌تر میایند.






و از همینرو از او نام برده شد!






همچنان پاسخی به این پرسش داده نشد,

آیا فرایند دموکراتیزه شدن میتواند از نوآوری تکنولوژی‌هایِ ناخواستنی جلوگیری کند؟

زندگی در جهانی که مغز آدم میتواند هک بشود بی اندازه خطرناک است,
بویژه زمانیکه این نکته دریافت شود که هک شدن همیشه شدنی‌ست,
چنانکه امروز هم راهی ١٠٠% برای جلوگیری از هک شدن در کار نیست.










آفرین, اکنون که این پژوهش را یافتید, ولی چرا نتیجه‌‌های آنرا درست و روشن نیاوردید؟

در این آزمایش اندیشیک, که Yudkowsky نیز آنرا آزموده است, دو آدم در دو سوی گفتگو
نقش زندانبان و زندانی را به خود میگیرند, که زندانی همان ابرهوشواره‌یِ انگارینی‌ست که میخواهد
خود را از زندان مجازی نجات بدهد و زندانبان تنها کاری که باید بکند, همین نگشودن در بر زندانی است و بس.

هر آینه, هتّا در این آزمایش بی اندازه ساده که زندانبان پیشاپیش میداند برای بُردن (و گرفتن ٢٠ دلار)
هیچ کاری نباید بکند جز نگشودن در, کاربر دیگری Tuxedage در جایگاه زندانی توانسته خودش را از زندان برهاند:

I attempted the AI Box Experiment again! (And won - Twice!) - Less Wrong

و برای رسیدن به این پیروزی او تنها نیاز به اندکی پژوهش و شخصیت‌سنجی ِ زندانبان خود داشته است:

I'm reluctant to talk about this experiment, but I'll try to give as detailed a summary as possible, -- short of revealing what methods of attack I used.

I spent a long time after my defeat theory-crafting and trying to think of methods of attack as well as 'Basilisks' I could have used to win. When I was contacted and asked to play this experiment, I was initially incredibly reluctant to do so, since not only did my tactics involve incredibly unethical things that I didn't like to do, I also found playing as AI incredibly cognitivily draining, in addition to the fact that I simply hated losing. (Un)fortunately for both of us, he offered me money to play, which changed my mind.

So once I decided to win as an AI, I proceded to spend some time doing research on SoundLogic and both his reasoning and personality type. For instance, I had to gather information like: Was he a utilitarian? What kind? What were his opinions on AI? How could I convince him that an AI was friendly as opposed to unfriendly? I also relied on a lot of second hand information to create a model of him, in order to refine my arguments to specifically suit him.

--
چند نکته که نبایستی از یاد بُرد:

١. در این آزمایش, دو آدم که هوشی نزدیک و همتراز دارند توانسته‌اند همدیگر را بفریبند و از زندان بیرون بیاورند,
آنگاه جاییکه سخن از ابرهوشواره ‌ای با هوشی میلیارد‌ها میلیارد برابر بیشتر از آدم میرود, اینکه نتواند خود را بیرون بیاورد دور از باور¹ است.

٢. خطای انسانی در ساخت و کنترل زندان فراموش شده است. درست همانجور که میبینیم سیستم‌هایی که امروزه بیشترین پول
و سرمایه و مغز‌ها روی آنها گذاشته میشود نیز در سرانجام روز,‌ از یک راهی که به مغز هیچکس نرسیده هک میشوند, همانگونه نیز ساخت زندانی
مجازی بی هیچ راه دررویی ,فرایندی بسیار خطاپذیر میباشد و ابرهوشواره‌‌ای با هوشی میلیارد‌ها بار بیشتر از آدمی را نمیتواند برای همیشه زندانی کند.

٣. هر ابرهوشواره‌ای برای آنکه کارکرد سودمندی داسته باشد دیر یا زود بایستی بیرون بیاید و در جهانی که یک آدم نمیتواند به آدمی با
هوشی همتراز نیز اعتماد کامل داشته باشد, اعتماد پایه‌مندانه به ابرهوشواره‌ای میلیارد‌ها بار هوشمندتر از خودش, امری ناشو میباشد.
روشن نیست چنین ابرهوشواره‌ای چرا نمیتواند چند تا آدم که در همسنجی با او هوشی بی اندازه ناچیز دارند را فریفته و اعتماد آنها را به خود جلب کند.


٤. در همه‌یِ اینها, پیش‌انگاشت بر این گذاشته شده است که بیشمار پژوهشگر و پژوهشگاهی که آن بیرون میباشند
همگی خواهند کوشید بی چون و چرا نخست هوشواره را در یک زندان مجازی پدید بیاورند, که این چیزی بیشتر
از یک پیش‌انگاشت نیست. در کُنش, هر پژوهشگاهی راه‌ها و روال‌ها و ایده‌هایِ خودش را دارد و هیچ
بایدی در هیچ قانونی نیست —و نمیتواند در کُنش باشد — که پژوهشگاه را به این روش کم-ریسک‌تر سوق بدهد.

ازینرو, واقع‌بینانه‌تر فرایند رسیدن به هوشواره میتواند سراسر تصادفی و کنارهُنود / side-effect ای از دستیابی به چیزی
دیگر باشد. برای برشمردن یک نمونه‌یِ خوب آن, Wall-street برای ساخت ابررایانه‌هایِ هوشمندتر که در بورس تصمیم‌هایِ بهتر
میتوانند بگیرند سرمایه‌یِ کلانی در این زمینه میتواند بگذارد, چُنانکه هماکنون نیز گذاشته است, و در این راستا آن اندازه روند بهکرد هوشواره‌ها
را به پیش براند که با رسیدن به یک آستانه روشنی از هوش, هوشواره بی آنکه در تصمیم یا اراده‌یِ سازندگانش باشد به خودآگاهی دست‌یابد.

¹ برای دریافت اینکه یک ابرهوشواره در چه ترازی میاندیشید, میتوان از این همانندی ساده بهره گرفت که چگونه یک نرم‌افزار هک میشود.
ذهن آدمی خود نرم‌افزاری میباشد که روی سخت‌افزار مغز فرگشته است و همچون هر نرم‌افزاری دیگر, دارای لغزش‌ها و خطاهای پوشیده‌یِ خود میباشد.
چیزهایی مانند خطای چشم از نمونه‌هایِ بی‌آزار آن میباشند که ما خودآگاهانه آنها را درمیابیم, ولی برای نمونه میتواند الگویی بصری
آن بیرون باشد که مغز پس از تنها دیدن آن از کار بیافتاد, درست بمانند رایانه‌ای که پس از انجام یک عملیات برنامه‌ریزی شده crash میکند.

یکی از نویسندگان داستان‌هایِ علمی-تخیلی در همین زمینه داستانی دارد که در آن
الگوهای برخالینی (fractal) یافت شده‌اند که میتوانند با یک نگاه نگرنده را به مرگ دچار کنند:

انواع مختلف تاریکی

اینکه چنین چیزی واقعیت دارد یا نه, هنوز روشن نیست, ولی آنچه بی هیچ گمانی روشن است تاثیرپذیر و خطاپذیری ذهن (نرم‌افزار) میباشد.

یک نمونه‌یِ پیش پا افتاده‌یِ اینرا میتوان همین امروز در بازاریابان یافت که ز
روش‌ها و ترفند‌های پُر-فریبنده‌ای آگاه‌اند که در عمل نیز بخوبی کار میکنند و شمار
خریداران را افزایش میدهند; ذهن خریدار را به آشفتگی افکنده و تاثیر‌پذیر میسازند.

1- برای اینکه همان یکبار تکلیف را روشن خواهد کرد: انقراض حیات یا یوتوپیا. انقراض که هیچ اما در حالت یوتوپیا اگر هم نیازی به ساخت هوش مصنوعی دیگری احساس شد یا پژوهش های رقیب به زباله دانی انداخته نشده بودند، کج نخواهند رفت زیرا یک superintelligence پروسه را پاسداری میکند. کلا مانند این است که بپرسید چرا انسان یک بار از میمون تکامل یافت. اگر هم منظورتان از همیشه درست کار کردن تضمین پایداری اولی است، باید گفت که رشد و توسعه تصاعدی هوش محدود به منابع است و تکلیف اینکه AI چه خواهد شد در زمان کوتاهی روشن میشود. همچنین پایداری و "خوب" بودنش قبلا در شبیه سازی اثبات شده است.


2- ساخت هوش مصنوعی کاری تیمی، پیچیده، چند مرحله ای و تحت نظارت ارگانی بزرگتر است. چنین نیست که یک برنامه نویس در زیر زمین خانه اش بنشیند آن را انجام دهد و بدون آزمایش آن را آزاد کند!


3- چه خوب! اگر کار مفیدی بلد نیست حداقل در آگاهی رسانی عمومی کاری را پیش میبرد.


4- دموکراتیزاسیون بی طرف است، زیرا هم آفند و هم پدافند را در اختیار عموم میگذارد. این شما بودید که قبل از حضور من تنها روی " خطر آفند در دست همگان" تمرکز کرده بودید، البته اسمی روی آن نگذاشته بودید. دموکراتیزه شدن پس از تولید تکنولوژی روی آنکه به دست چه کسی و چرا میرسد تاثیر میگذارد نه روی روند و خواستنی بودن تولید آنها.


5- ما هم اکنون در جهانی زندگی میکنیم که هک شدن رایانه ها بی اندازه خطرناک است، بی زحمت بلاک باستر تولید نفرمایید!


6- AI نباید با محقق صحبت کند، اصلا نباید متوجه شود که درون شبیه سازی است! شما اختیار تام روی سرعت و محتوای فکر آزمایشتان دارید! AI in box یعنی باید مانند نئو در ماتریکس سرگردان باشد، چطور این نوابغ آن به هانیبال و کلاریس تبدیل میکنند اسپاگتی اعلم! از اینها بگذریم، از آنجایی که این استعداد های کشف نشده محتوای مکالمه شان را علنی نمیکنند، ادعاهایشان به درد عمه شان میخورد! افزون بر این، در دنیایی که اجازه دهند یک راس ننه قمر از اهریمن نگهبانی کند، هر چه به سرشان بیاید حقشان است. این سناریو به قدری مضحک است که نشستن یک شامپانزه جلوی چمدان اتمی آمریکا! هرگز یک نفر را به این کار نمیگمارند، و نه هر کسی را. بالاخره باید بگویم تصمیم با شماست که این ایده باسیلیسک هک چه اندازه تخمی تخیلی است. و بله، از تشنج حساس به نور اطلاع دارم.