Nilftrondheim نوشته: 1- بی ربط است. به جای آن هزاران نیروگاه دیگر مشکلی نیافریدند. برای دهمین بار میگویم، اولی مهم است. معادل اتمی آن میشود: شیکاگو پایل نترکید.
برای نخستین بار تا
چه بازه‌یِ زمانی مهم است؟
به دیگر زبان,
١. چرا ابرهوشواره بایستی یکبار که درست کار کرد دیگر برای همیشه درست کار کند؟
٢. در کنار آن, چه بر سر پژوهشگاه‌هایِ دیگری میاید که همزمان در رسیدن به ابرهوشواره میکوشند؟
٣. و نکته‌یِ سوم, دستیابی درست چیست, هنگامیکه هتّا امروز هم خود پژوهشگران این دسته معترف‌اند که نمیدانند
چگونه میشود بدرستی ارزش‌هایِ آدمی را به چهره‌یِ الگوریتم در آورد و گفت, ابرهوشواره‌یِ خوب کدام است, بد کدام است.
Nilftrondheim نوشته: لازم نیست همه آنان بدانند چه میکنند، اکثریت کافی است. و کسی که نداند چه میکند ذاتا نخواهد توانست کاری انجام دهد!
نکته گرفته نشد. گفته نشد پژوهشگر نمیداند دارد چه کار میکند, گفته شد برای اینکه کارش را بداند نیازی
نیست اخلاق‌گرا (moralist), فیلسوف و یا جامعه‌شناس باشد. ساخت ابرهوشواره یک
پرسمان تکنیکی
است و هر آنکس که دانش برنامه‌نویسی و تکنیکی خوبی داشته باشد, میتواند با داشتن بنمایه‌هایِ بسنده به آن دست یابد.
ازینرو, هتّا زمانیکه تنها بهترین و داناترین و خردمندترین کسان در این زمینه میپژوهیدند احتمال دستیابی به ابرهوشوارهای که در
کنترل آدمی باشد نزدیک به 0 میبود,
هنگامیکه این فاکتور درون محسابه میشود که برای دستیابی بدان نه پیش‌نیازی به دانایی و نه
خردمندی‌‌ست, بساکه تنها دانش ناب از سازوکار مغز و برنامه‌نویسی, آنگاه احتمالات از آنچه بودند نیز چند مرتبه‌یِ بزرگی (order of magnitude) پایین‌تر میایند.
Nilftrondheim نوشته: 2- یودکوکسی کسی است که خود و دیگران را برای کرایو و حفظ نکردن مغر برادر مرده اش سرزنش میکند!!! کسی که از مخرب بودن کرایونیکس حاضر بی اطلاع است در مورد بحث پیچیده ای چون AI چه دارد بگوید؟ با این حال نگاهی میکنم ببینم چه میگوید.
و از همینرو از او نام برده شد!
Nilftrondheim نوشته: 3- دموکراتیزه شدن هر دو روی سکه است، فناوری قابل سو استفاده را در اختیار ننه قمر قرار میدهد و در طرف دیگر امکان و اثر سو استفاده را با در اختیار قرار دادن پدافند کم میکند.
همچنان پاسخی به این پرسش داده نشد,
آیا فرایند دموکراتیزه شدن میتواند از نوآوری تکنولوژی‌هایِ ناخواستنی جلوگیری کند؟
Nilftrondheim نوشته: 4- هر وقت چیپ نصب کردید آنتی ویروس بریزید رویش تا کنترل نشوید! 
محض اطلاع امکان ساخت گردنبند شوک دهنده برای حداقل صد و بیست سال وجود داشته است و هنوز هم گله زامبی های کنترل از راه دور دیده نمیشود.
زندگی در جهانی که مغز آدم میتواند هک بشود بی اندازه خطرناک است,
بویژه زمانیکه این نکته دریافت شود که هک شدن همیشه شدنی‌ست,
چنانکه امروز هم راهی ١٠٠% برای جلوگیری از هک شدن در کار نیست.
Nilftrondheim نوشته: Yudkowsky - The AI-Box Experiment
Nilftrondheim نوشته: یودکوسکی اینجا به همان AI زندانی که اشاره کردم پرداخته است، با دو نفر ننه قمر شرط بسته سر اینکه نقش AI را بازی کند و آنها آزادش خواهند کرد. در این آزمایش بین AI و نگهبانش هرچه رد و بدل شده است را مخفی نگه داشته اند،
آفرین, اکنون که این پژوهش را یافتید, ولی چرا نتیجه‌‌های آنرا درست و روشن نیاوردید؟
در این آزمایش اندیشیک, که Yudkowsky نیز آنرا آزموده است, دو آدم در دو سوی گفتگو
نقش زندانبان و زندانی را به خود میگیرند, که زندانی همان ابرهوشواره‌یِ انگارینی‌ست که میخواهد
خود را از زندان مجازی نجات بدهد و زندانبان
تنها کاری که باید بکند, همین نگشودن در بر زندانی است و بس.
هر آینه, هتّا در این آزمایش بی اندازه ساده که زندانبان پیشاپیش میداند برای بُردن (و گرفتن ٢٠ دلار)
هیچ کاری نباید بکند جز نگشودن در, کاربر دیگری Tuxedage در جایگاه زندانی توانسته خودش را از زندان برهاند:
و برای رسیدن به این پیروزی او تنها نیاز به اندکی پژوهش و شخصیت‌سنجی ِ زندانبان خود داشته است:
I'm reluctant to talk about this experiment, but I'll try to give as detailed a summary as possible, -- short of revealing what methods of attack I used.
I spent a long time after my defeat theory-crafting and trying to think of methods of attack as well as 'Basilisks' I could have used to win. When I was contacted and asked to play this experiment, I was initially incredibly reluctant to do so, since not only did my tactics involve incredibly unethical things that I didn't like to do, I also found playing as AI incredibly cognitivily draining, in addition to the fact that I simply hated losing. (Un)fortunately for both of us, he offered me money to play, which changed my mind.
So once I decided to win as an AI, I proceded to spend some time doing research on SoundLogic and both his reasoning and personality type. For instance, I had to gather information like: Was he a utilitarian? What kind? What were his opinions on AI? How could I convince him that an AI was friendly as opposed to unfriendly? I also relied on a lot of second hand information to create a model of him, in order to refine my arguments to specifically suit him.
--
چند نکته که نبایستی از یاد بُرد:
١. در این آزمایش, دو آدم که هوشی نزدیک و همتراز دارند توانسته‌اند همدیگر را بفریبند و از زندان بیرون بیاورند,
آنگاه جاییکه سخن از ابرهوشواره ای با هوشی میلیارد‌ها میلیارد برابر بیشتر از آدم میرود, اینکه نتواند خود را بیرون بیاورد دور از باور¹ است.
٢. خطای انسانی در ساخت و کنترل زندان فراموش شده است. درست همانجور که میبینیم سیستم‌هایی که امروزه بیشترین پول
و سرمایه و مغز‌ها روی آنها گذاشته میشود نیز در سرانجام روز, از یک راهی که به مغز هیچکس نرسیده هک میشوند, همانگونه نیز ساخت زندانی
مجازی بی هیچ راه دررویی ,فرایندی بسیار خطاپذیر میباشد و ابرهوشوارهای با هوشی میلیارد‌ها بار بیشتر از آدمی را نمیتواند برای همیشه زندانی کند.
٣. هر ابرهوشوارهای برای آنکه کارکرد سودمندی داسته باشد دیر یا زود بایستی بیرون بیاید و در جهانی که یک آدم نمیتواند به آدمی با
هوشی همتراز نیز اعتماد کامل داشته باشد, اعتماد پایه‌مندانه به ابرهوشوارهای میلیارد‌ها بار هوشمندتر از خودش, امری ناشو میباشد.
روشن نیست چنین ابرهوشوارهای چرا نمیتواند چند تا آدم که در همسنجی با او هوشی بی اندازه ناچیز دارند را فریفته و اعتماد آنها را به خود جلب کند.
٤. در همه‌یِ اینها, پیش‌انگاشت بر این گذاشته شده است که بیشمار پژوهشگر و پژوهشگاهی که آن بیرون میباشند
همگی خواهند کوشید بی چون و چرا نخست هوشواره را در یک زندان مجازی پدید بیاورند, که این چیزی بیشتر
از یک پیش‌انگاشت نیست. در کُنش, هر پژوهشگاهی راه‌ها و روال‌ها و ایده‌هایِ خودش را دارد و هیچ
بایدی در هیچ قانونی نیست —و نمیتواند در کُنش باشد — که پژوهشگاه را به این روش کم-ریسک‌تر سوق بدهد.
ازینرو, واقع‌بینانه‌تر فرایند رسیدن به هوشواره میتواند سراسر تصادفی و کنارهُنود / side-effect ای از دستیابی به چیزی
دیگر باشد. برای برشمردن یک نمونه‌یِ خوب آن, Wall-street برای ساخت ابررایانه‌هایِ هوشمندتر که در بورس تصمیم‌هایِ بهتر
میتوانند بگیرند سرمایه‌یِ کلانی در این زمینه میتواند بگذارد, چُنانکه هماکنون نیز گذاشته است, و در این راستا آن اندازه روند بهکرد هوشواره‌ها
را به پیش براند که با رسیدن به یک آستانه روشنی از هوش, هوشواره بی آنکه در تصمیم یا اراده‌یِ سازندگانش باشد به خودآگاهی دست‌یابد.
¹ برای دریافت اینکه یک ابرهوشواره در چه ترازی میاندیشید, میتوان از این همانندی ساده بهره گرفت که چگونه یک نرم‌افزار هک میشود.
ذهن آدمی خود نرم‌افزاری میباشد که روی سخت‌افزار مغز فرگشته است و همچون هر نرم‌افزاری دیگر, دارای لغزش‌ها و خطاهای پوشیده‌یِ خود میباشد.
چیزهایی مانند خطای چشم از نمونه‌هایِ بی‌آزار آن میباشند که ما خودآگاهانه آنها را درمیابیم, ولی برای نمونه میتواند الگویی بصری
آن بیرون باشد که مغز پس از تنها دیدن آن از کار بیافتاد, درست بمانند رایانه‌ای که پس از انجام یک عملیات برنامه‌ریزی شده crash میکند.
یکی از نویسندگان داستان‌هایِ علمی-تخیلی در همین زمینه داستانی دارد که در آن
الگوهای برخالینی (fractal) یافت شده‌اند که میتوانند با یک نگاه نگرنده را به مرگ دچار کنند:
اینکه چنین چیزی واقعیت دارد یا نه, هنوز روشن نیست, ولی آنچه بی هیچ گمانی روشن است تاثیرپذیر و خطاپذیری ذهن (نرم‌افزار) میباشد.
یک نمونه‌یِ پیش پا افتاده‌یِ اینرا میتوان همین امروز در بازاریابان یافت که ز
روش‌ها و ترفند‌های پُر-فریبنده‌ای آگاه‌اند که در عمل نیز بخوبی کار میکنند و شمار
خریداران را افزایش میدهند; ذهن خریدار را به آشفتگی افکنده و تاثیرپذیر میسازند.
![[-]](https://daftarche.com/images/bootbb/collapse.png)
وقتی همه بتوانند فکرت را بخوانند و آن را دستکاری کنند، چه کار خطایی میتواند ازت سر بزند؟
