پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - نسخه قابل چاپ
+- دفترچه (https://daftarche.com)
+-- انجمن: تالارهای همگانی (https://daftarche.com/%D8%A7%D9%86%D8%AC%D9%85%D9%86-%D8%AA%D8%A7%D9%84%D8%A7%D8%B1%D9%87%D8%A7%DB%8C-%D9%87%D9%85%DA%AF%D8%A7%D9%86%DB%8C)
+--- انجمن: هماندیشی (https://daftarche.com/%D8%A7%D9%86%D8%AC%D9%85%D9%86-%D9%87%D9%85%D8%A7%D9%86%D8%AF%DB%8C%D8%B4%DB%8C)
+--- موضوع: پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ (/%D8%AC%D8%B3%D8%AA%D8%A7%D8%B1-%D9%BE%DB%8C%D8%B4%D8%B1%D9%81%D8%AA-%D8%B1%D9%88%D8%B2%D8%A7%D9%81%D8%B2%D9%88%D9%86-%D9%81%D9%86%D8%AF%D8%A2%D9%88%D8%B1%DB%8C-%D8%A8%D9%87-%DA%A9%D8%AC%D8%A7-%D9%85%DB%8C%E2%80%8C%D8%B1%D9%88%DB%8C%D9%85%D8%9F)
+- دفترچه (https://daftarche.com)
+-- انجمن: تالارهای همگانی (https://daftarche.com/%D8%A7%D9%86%D8%AC%D9%85%D9%86-%D8%AA%D8%A7%D9%84%D8%A7%D8%B1%D9%87%D8%A7%DB%8C-%D9%87%D9%85%DA%AF%D8%A7%D9%86%DB%8C)
+--- انجمن: هماندیشی (https://daftarche.com/%D8%A7%D9%86%D8%AC%D9%85%D9%86-%D9%87%D9%85%D8%A7%D9%86%D8%AF%DB%8C%D8%B4%DB%8C)
+--- موضوع: پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ (/%D8%AC%D8%B3%D8%AA%D8%A7%D8%B1-%D9%BE%DB%8C%D8%B4%D8%B1%D9%81%D8%AA-%D8%B1%D9%88%D8%B2%D8%A7%D9%81%D8%B2%D9%88%D9%86-%D9%81%D9%86%D8%AF%D8%A2%D9%88%D8%B1%DB%8C-%D8%A8%D9%87-%DA%A9%D8%AC%D8%A7-%D9%85%DB%8C%E2%80%8C%D8%B1%D9%88%DB%8C%D9%85%D8%9F)
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Nilftrondheim - 02-20-2016
Mehrbod نوشته: برای نخستین بار تا چه بازه‌یِ زمانی مهم است؟
به دیگر زبان,
١. چرا ابرهوشواره بایستی یکبار که درست کار کرد دیگر برای همیشه درست کار کند؟
٢. در کنار آن, چه بر سر پژوهشگاه‌هایِ دیگری میاید که همزمان در رسیدن به ابرهوشواره میکوشند؟
٣. و نکته‌یِ سوم, دستیابی درست چیست, هنگامیکه هتّا امروز هم خود پژوهشگران این دسته معترف‌اند که نمیدانند
چگونه میشود بدرستی ارزش‌هایِ آدمی را به چهره‌یِ الگوریتم در آورد و گفت, ابرهوشواره‌یِ خوب کدام است, بد کدام است.
نکته گرفته نشد. گفته نشد پژوهشگر نمیداند دارد چه کار میکند, گفته شد برای اینکه کارش را بداند نیازی
نیست اخلاق‌گرا (moralist), فیلسوف و یا جامعه‌شناس باشد. ساخت ابرهوشواره یک پرسمان تکنیکی
است و هر آنکس که دانش برنامه‌نویسی و تکنیکی خوبی داشته باشد, میتواند با داشتن بنمایه‌هایِ بسنده به آن دست یابد.
ازینرو, هتّا زمانیکه تنها بهترین و داناترین و خردمندترین کسان در این زمینه میپژوهیدند احتمال دستیابی به ابرهوشوارهای که در
کنترل آدمی باشد نزدیک به 0 میبود, هنگامیکه این فاکتور درون محسابه میشود که برای دستیابی بدان نه پیش‌نیازی به دانایی و نه
خردمندی‌‌ست, بساکه تنها دانش ناب از سازوکار مغز و برنامه‌نویسی, آنگاه احتمالات از آنچه بودند نیز چند مرتبه‌یِ بزرگی (order of magnitude) پایین‌تر میایند.
و از همینرو از او نام برده شد!
همچنان پاسخی به این پرسش داده نشد,
آیا فرایند دموکراتیزه شدن میتواند از نوآوری تکنولوژی‌هایِ ناخواستنی جلوگیری کند؟
زندگی در جهانی که مغز آدم میتواند هک بشود بی اندازه خطرناک است,
بویژه زمانیکه این نکته دریافت شود که هک شدن همیشه شدنی‌ست,
چنانکه امروز هم راهی ١٠٠% برای جلوگیری از هک شدن در کار نیست.
آفرین, اکنون که این پژوهش را یافتید, ولی چرا نتیجه‌‌های آنرا درست و روشن نیاوردید؟
در این آزمایش اندیشیک, که Yudkowsky نیز آنرا آزموده است, دو آدم در دو سوی گفتگو
نقش زندانبان و زندانی را به خود میگیرند, که زندانی همان ابرهوشواره‌یِ انگارینی‌ست که میخواهد
خود را از زندان مجازی نجات بدهد و زندانبان تنها کاری که باید بکند, همین نگشودن در بر زندانی است و بس.
هر آینه, هتّا در این آزمایش بی اندازه ساده که زندانبان پیشاپیش میداند برای بُردن (و گرفتن ٢٠ دلار)
هیچ کاری نباید بکند جز نگشودن در, کاربر دیگری Tuxedage در جایگاه زندانی توانسته خودش را از زندان برهاند:
و برای رسیدن به این پیروزی او تنها نیاز به اندکی پژوهش و شخصیت‌سنجی ِ زندانبان خود داشته است:
I'm reluctant to talk about this experiment, but I'll try to give as detailed a summary as possible, -- short of revealing what methods of attack I used.
I spent a long time after my defeat theory-crafting and trying to think of methods of attack as well as 'Basilisks' I could have used to win. When I was contacted and asked to play this experiment, I was initially incredibly reluctant to do so, since not only did my tactics involve incredibly unethical things that I didn't like to do, I also found playing as AI incredibly cognitivily draining, in addition to the fact that I simply hated losing. (Un)fortunately for both of us, he offered me money to play, which changed my mind.
So once I decided to win as an AI, I proceded to spend some time doing research on SoundLogic and both his reasoning and personality type. For instance, I had to gather information like: Was he a utilitarian? What kind? What were his opinions on AI? How could I convince him that an AI was friendly as opposed to unfriendly? I also relied on a lot of second hand information to create a model of him, in order to refine my arguments to specifically suit him.
--
چند نکته که نبایستی از یاد بُرد:
١. در این آزمایش, دو آدم که هوشی نزدیک و همتراز دارند توانسته‌اند همدیگر را بفریبند و از زندان بیرون بیاورند,
آنگاه جاییکه سخن از ابرهوشواره ای با هوشی میلیاردها میلیارد برابر بیشتر از آدم میرود, اینکه نتواند خود را بیرون بیاورد دور از باور¹ است.
٢. خطای انسانی در ساخت و کنترل زندان فراموش شده است. درست همانجور که میبینیم سیستم‌هایی که امروزه بیشترین پول
و سرمایه و مغز‌ها روی آنها گذاشته میشود نیز در سرانجام روز, از یک راهی که به مغز هیچکس نرسیده هک میشوند, همانگونه نیز ساخت زندانی
مجازی بی هیچ راه دررویی ,فرایندی بسیار خطاپذیر میباشد و ابرهوشوارهای با هوشی میلیاردها بار بیشتر از آدمی را نمیتواند برای همیشه زندانی کند.
٣. هر ابرهوشوارهای برای آنکه کارکرد سودمندی داسته باشد دیر یا زود بایستی بیرون بیاید و در جهانی که یک آدم نمیتواند به آدمی با
هوشی همتراز نیز اعتماد کامل داشته باشد, اعتماد پایه‌مندانه به ابرهوشوارهای میلیاردها بار هوشمندتر از خودش, امری ناشو میباشد.
روشن نیست چنین ابرهوشوارهای چرا نمیتواند چند تا آدم که در همسنجی با او هوشی بی اندازه ناچیز دارند را فریفته و اعتماد آنها را به خود جلب کند.
٤. در همه‌یِ اینها, پیش‌انگاشت بر این گذاشته شده است که بیشمار پژوهشگر و پژوهشگاهی که آن بیرون میباشند
همگی خواهند کوشید بی چون و چرا نخست هوشواره را در یک زندان مجازی پدید بیاورند, که این چیزی بیشتر
از یک پیش‌انگاشت نیست. در کُنش, هر پژوهشگاهی راه‌ها و روال‌ها و ایده‌هایِ خودش را دارد و هیچ
بایدی در هیچ قانونی نیست —و نمیتواند در کُنش باشد — که پژوهشگاه را به این روش کم-ریسک‌تر سوق بدهد.
ازینرو, واقع‌بینانه‌تر فرایند رسیدن به هوشواره میتواند سراسر تصادفی و کنارهُنود / side-effect ای از دستیابی به چیزی
دیگر باشد. برای برشمردن یک نمونه‌یِ خوب آن, Wall-street برای ساخت ابررایانه‌هایِ هوشمندتر که در بورس تصمیم‌هایِ بهتر
میتوانند بگیرند سرمایه‌یِ کلانی در این زمینه میتواند بگذارد, چُنانکه هماکنون نیز گذاشته است, و در این راستا آن اندازه روند بهکرد هوشواره‌ها
را به پیش براند که با رسیدن به یک آستانه روشنی از هوش, هوشواره بی آنکه در تصمیم یا اراده‌یِ سازندگانش باشد به خودآگاهی دست‌یابد.
¹ برای دریافت اینکه یک ابرهوشواره در چه ترازی میاندیشید, میتوان از این همانندی ساده بهره گرفت که چگونه یک نرم‌افزار هک میشود.
ذهن آدمی خود نرم‌افزاری میباشد که روی سخت‌افزار مغز فرگشته است و همچون هر نرم‌افزاری دیگر, دارای لغزش‌ها و خطاهای پوشیده‌یِ خود میباشد.
چیزهایی مانند خطای چشم از نمونه‌هایِ بی‌آزار آن میباشند که ما خودآگاهانه آنها را درمیابیم, ولی برای نمونه میتواند الگویی بصری
آن بیرون باشد که مغز پس از تنها دیدن آن از کار بیافتاد, درست بمانند رایانه‌ای که پس از انجام یک عملیات برنامه‌ریزی شده crash میکند.
یکی از نویسندگان داستان‌هایِ علمی-تخیلی در همین زمینه داستانی دارد که در آن
الگوهای برخالینی (fractal) یافت شده‌اند که میتوانند با یک نگاه نگرنده را به مرگ دچار کنند:
اینکه چنین چیزی واقعیت دارد یا نه, هنوز روشن نیست, ولی آنچه بی هیچ گمانی روشن است تاثیرپذیر و خطاپذیری ذهن (نرم‌افزار) میباشد.
یک نمونه‌یِ پیش پا افتاده‌یِ اینرا میتوان همین امروز در بازاریابان یافت که ز
روش‌ها و ترفند‌های پُر-فریبنده‌ای آگاه‌اند که در عمل نیز بخوبی کار میکنند و شمار
خریداران را افزایش میدهند; ذهن خریدار را به آشفتگی افکنده و تاثیرپذیر میسازند.
1- برای اینکه همان یکبار تکلیف را روشن خواهد کرد: انقراض حیات یا یوتوپیا. انقراض که هیچ اما در حالت یوتوپیا اگر هم نیازی به ساخت هوش مصنوعی دیگری احساس شد یا پژوهش های رقیب به زباله دانی انداخته نشده بودند، کج نخواهند رفت زیرا یک superintelligence پروسه را پاسداری میکند. کلا مانند این است که بپرسید چرا انسان یک بار از میمون تکامل یافت. اگر هم منظورتان از همیشه درست کار کردن تضمین پایداری اولی است، باید گفت که رشد و توسعه تصاعدی هوش محدود به منابع است و تکلیف اینکه AI چه خواهد شد در زمان کوتاهی روشن میشود. همچنین پایداری و "خوب" بودنش قبلا در شبیه سازی اثبات شده است.
2- ساخت هوش مصنوعی کاری تیمی، پیچیده، چند مرحله ای و تحت نظارت ارگانی بزرگتر است. چنین نیست که یک برنامه نویس در زیر زمین خانه اش بنشیند آن را انجام دهد و بدون آزمایش آن را آزاد کند!
3- چه خوب! اگر کار مفیدی بلد نیست حداقل در آگاهی رسانی عمومی کاری را پیش میبرد.
4- دموکراتیزاسیون بی طرف است، زیرا هم آفند و هم پدافند را در اختیار عموم میگذارد. این شما بودید که قبل از حضور من تنها روی " خطر آفند در دست همگان" تمرکز کرده بودید، البته اسمی روی آن نگذاشته بودید. دموکراتیزه شدن پس از تولید تکنولوژی روی آنکه به دست چه کسی و چرا میرسد تاثیر میگذارد نه روی روند و خواستنی بودن تولید آنها.
5- ما هم اکنون در جهانی زندگی میکنیم که هک شدن رایانه ها بی اندازه خطرناک است، بی زحمت بلاک باستر تولید نفرمایید!
6- AI نباید با محقق صحبت کند، اصلا نباید متوجه شود که درون شبیه سازی است!
شما اختیار تام روی سرعت و محتوای فکر آزمایشتان دارید! AI in box یعنی باید مانند نئو در ماتریکس سرگردان باشد، چطور این نوابغ آن به هانیبال و کلاریس تبدیل میکنند اسپاگتی اعلم! از اینها بگذریم، از آنجایی که این استعداد های کشف نشده محتوای مکالمه شان را علنی نمیکنند، ادعاهایشان به درد عمه شان میخورد! افزون بر این، در دنیایی که اجازه دهند یک راس ننه قمر از اهریمن نگهبانی کند، هر چه به سرشان بیاید حقشان است. این سناریو به قدری مضحک است که نشستن یک شامپانزه جلوی چمدان اتمی آمریکا! هرگز یک نفر را به این کار نمیگمارند، و نه هر کسی را. بالاخره باید بگویم تصمیم با شماست که این ایده باسیلیسک هک چه اندازه تخمی تخیلی است. و بله، از تشنج حساس به نور اطلاع دارم.
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Mehrbod - 02-21-2016
Nilftrondheim نوشته: 1- برای اینکه همان یکبار تکلیف را روشن خواهد کرد: انقراض حیات یا یوتوپیا. انقراض که هیچ اما در حالت یوتوپیا اگر هم نیازی به ساخت هوش مصنوعی دیگری احساس شد یا پژوهش های رقیب به زباله دانی انداخته نشده بودند، کج نخواهند رفت زیرا یک superintelligence پروسه را پاسداری میکند.
آرمانشهر چیست؟
یکی از پرسشهای پیش پا افتاده‌ای که بسیاری از مشتاقان تکینگی همواره ناخودآگاه نادیده میگیرند همین است
که آرمانشهر یکی, میتواند دوزخ‌شهر دیگری باشد و زمانیکه نیاز به "تعریف" این آرمانشهر میرسد نمیتوانند آنرا فرمولیزه کنند.
برای دریافت سُتُرگی پرسمان خوانده شود: Coherent Extrapolated Volition - Machine Intelligence | intelligence.org
چه بر سر پژوهش‌هایِ همروند میآید؟
در تکینگی فندین همیشه پایه بر این است که با دستیابی به یک ابرهوشواره‌یِ خوب — که روشن خوب
چگونه — دیگر همه چیز بهشت میشود و ابرهوشواره‌یِ خوب نمیگذارد هیچ سازمان و پژوهشگاه دیگری به ابرهوشواره دست‌یابد.
پرسش: چگونه نمیگذارد, با کنترل مغزی؟
Nilftrondheim نوشته: کلا مانند این است که بپرسید چرا انسان یک بار از میمون تکامل یافت.
طبیعت در جایگاه فرگشتار (evolver) یکسان‌انگار میباشد, ولی ابرسازواره‌یِ تکنولوژیک در راستای
سود خود پیش میرود که بباید, برابر با سود سازوارگان خود (آدمیان) نیست: نبود یکسان‌انگاری (بی‌تفاوتی).
و از دیدگاهی دیگر, آری میمون‌ها خودآگاهی آنچنانی ندارند و نمیدانند چه کاری آنها را نابود میسازد. آدمی در جایگاه گونه‌ای باهوشتر,
هنگامیکه میداند قرار است "تکامل زوری به هوشواره‌ها" پیدا کند و با آنها جایگزین و پس نیست و نابود بشود, آیا نبایستی میمون‌وارانه رفتار نکند؟
Nilftrondheim نوشته: همچنین پایداری و "خوب" بودنش قبلا در شبیه سازی اثبات شده است.
چگونه خوب بودنش روشن شده؟
و چگونه روشن شده که برای همیشه خوب میماند؟
Nilftrondheim نوشته: 2- ساخت هوش مصنوعی کاری تیمی، پیچیده، چند مرحله ای و تحت نظارت ارگانی بزرگتر است. چنین نیست که یک برنامه نویس در زیر زمین خانه اش بنشیند آن را انجام دهد و بدون آزمایش آن را آزاد کند!
و این در حقیقت بخش ناخواستنی و بد آن به شمار میرود. چنانکه میدانند, اگر راستادهی آینده در دستان یک تن دو کس
تنها میبود, آنگاه امیدواری بسیار بسیار بالاتری میرفت که آینده دستکم, دورنمای بهتری داشته باشد, ولی هنگامیکه آینده
به دستان ابرسازواره‌هایی سپرده میشود که اراده‌یِ بزرگتر از چند تن بر آنها استوار است, کارها از کنترل آدمی بیرون میایند.
در یک تیره‌یِ نخستینی برای نمونه, کس توان راستادهی بسیار بالایی بر سرنوشت خود دارد و میتواند در
فرایند‌هایِ تصمیم‌گیری نقشی بسزا داشته باشد, ولی در یک مردم‌سالاری صد میلیون تنه, توان راستادهی کس هتّا
زمانیکه به خواست و رای وی ارجی راستین نهاده شود, به یک در صد میلیونی بسیار ناچیز و چشم‌پوشیدنی کاهش میابد:
=>
Mehrbo نوشته:Anarchy نوشته: من که سال هاست رای نمیدم . واقعا رای دادن ما چه فایده ای داره ؟ نظام به نظر من هماهنگ تر از هر زمان دیگه ای داره عمل میکنه و همه جناح ها به خوبی با هم در تعامل هستن ... بقیه مسائل نمایش و بازی هست !!
گیریم که رای شما را هم میشمردند. ١:٧٠٠٠٠٠٠٠ اهمیّتی دارد؟
Nilftrondheim نوشته: 3- چه خوب! اگر کار مفیدی بلد نیست حداقل در آگاهی رسانی عمومی کاری را پیش میبرد.
و در زمانیکه ابرهوشواره‌یِ نیک دارد آگاهی‌رسانی میکند,
پژوهشگران و دانشمندان دیگر درین زمینه آیا از نوآوری بازایستاده‌اند؟
Nilftrondheim نوشته: 4- دموکراتیزاسیون بی طرف است، زیرا هم آفند و هم پدافند را در اختیار عموم میگذارد. این شما بودید که قبل از حضور من تنها روی " خطر آفند در دست همگان" تمرکز کرده بودید، البته اسمی روی آن نگذاشته بودید. دموکراتیزه شدن پس از تولید تکنولوژی روی آنکه به دست چه کسی و چرا میرسد تاثیر میگذارد نه روی روند و خواستنی بودن تولید آنها.
و ازینرو, ابزاری سراسر ناکارآمد در جلوگیری از پیدایش و نوآوری تکنولوژی‌هایِ ویرانگر و نیست کننده است.
Nilftrondheim نوشته: 5- ما هم اکنون در جهانی زندگی میکنیم که هک شدن رایانه ها بی اندازه خطرناک است، بی زحمت بلاک باستر تولید نفرمایید!
هک شدن رایانه ≠ هک شدن مغز
Nilftrondheim نوشته: 6- AI نباید با محقق صحبت کند، اصلا نباید متوجه شود که درون شبیه سازی است!
درست است, و برای پیشگیری از این آینده‌یِ بیمناک, راه روشن است.
نکته‌یِ گیرا: روشن نیست چرا «یک راس قمر» ناخواستنی‌تر از «یک انبوهه قمر» است.
.
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Russell - 02-21-2016
Mehrbod نوشته: درست است, و برای پیشگیری از این آینده‌یِ بیمناک, راه روشن است.
نکته‌یِ گیرا: روشن نیست چرا «یک راس قمر» ناخواستنی‌تر از «یک انبوهه قمر» است.
درود مهربد جان
آیا با The Managerial Revolution آشنایی داری؟ اگر آری نظرت چیست؟
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Nilftrondheim - 02-21-2016
Mehrbod نوشته: آرمانشهر چیست؟
یکی از پرسشهای پیش پا افتاده‌ای که بسیاری از مشتاقان تکینگی همواره ناخودآگاه نادیده میگیرند همین است
که آرمانشهر یکی, میتواند دوزخ‌شهر دیگری باشد و زمانیکه نیاز به "تعریف" این آرمانشهر میرسد نمیتوانند آنرا فرمولیزه کنند.
برای دریافت سُتُرگی پرسمان خوانده شود: Coherent Extrapolated Volition - Machine Intelligence | intelligence.org
چه بر سر پژوهش‌هایِ همروند میآید؟
در تکینگی فندین همیشه پایه بر این است که با دستیابی به یک ابرهوشواره‌یِ خوب — که روشن خوب
چگونه — دیگر همه چیز بهشت میشود و ابرهوشواره‌یِ خوب نمیگذارد هیچ سازمان و پژوهشگاه دیگری به ابرهوشواره دست‌یابد.
پرسش: چگونه نمیگذارد, با کنترل مغزی؟
طبیعت در جایگاه فرگشتار (evolver) یکسان‌انگار میباشد, ولی ابرسازواره‌یِ تکنولوژیک در راستای
سود خود پیش میرود که بباید, برابر با سود سازوارگان خود (آدمیان) نیست: نبود یکسان‌انگاری (بی‌تفاوتی).
و از دیدگاهی دیگر, آری میمون‌ها خودآگاهی آنچنانی ندارند و نمیدانند چه کاری آنها را نابود میسازد. آدمی در جایگاه گونه‌ای باهوشتر,
هنگامیکه میداند قرار است "تکامل زوری به هوشواره‌ها" پیدا کند و با آنها جایگزین و پس نیست و نابود بشود, آیا نبایستی میمون‌وارانه رفتار نکند؟
چگونه خوب بودنش روشن شده؟
و چگونه روشن شده که برای همیشه خوب میماند؟
و این در حقیقت بخش ناخواستنی و بد آن به شمار میرود. چنانکه میدانند, اگر راستادهی آینده در دستان یک تن دو کس
تنها میبود, آنگاه امیدواری بسیار بسیار بالاتری میرفت که آینده دستکم, دورنمای بهتری داشته باشد, ولی هنگامیکه آینده
به دستان ابرسازواره‌هایی سپرده میشود که اراده‌یِ بزرگتر از چند تن بر آنها استوار است, کارها از کنترل آدمی بیرون میایند.
در یک تیره‌یِ نخستینی برای نمونه, کس توان راستادهی بسیار بالایی بر سرنوشت خود دارد و میتواند در
فرایند‌هایِ تصمیم‌گیری نقشی بسزا داشته باشد, ولی در یک مردم‌سالاری صد میلیون تنه, توان راستادهی کس هتّا
زمانیکه به خواست و رای وی ارجی راستین نهاده شود, به یک در صد میلیونی بسیار ناچیز و چشم‌پوشیدنی کاهش میابد:
=>
و در زمانیکه ابرهوشواره‌یِ نیک دارد آگاهی‌رسانی میکند,
پژوهشگران و دانشمندان دیگر درین زمینه آیا از نوآوری بازایستاده‌اند؟
و ازینرو, ابزاری سراسر ناکارآمد در جلوگیری از پیدایش و نوآوری تکنولوژی‌هایِ ویرانگر و نیست کننده است.
هک شدن رایانه ≠ هک شدن مغز
درست است, و برای پیشگیری از این آینده‌یِ بیمناک, راه روشن است.
نکته‌یِ گیرا: روشن نیست چرا «یک راس قمر» ناخواستنی‌تر از «یک انبوهه قمر» است.
.
1-چشم، میخوانم ببینم یوتوپیا مشکلش چیست. و خیر، با اولین AI خوب دیگر نیازی به دیگری احساس نمیشود و پژوهش های دیگر رها خواهند شد. اگر هم ادامه داده شوند (مثلا بگویند Redundancy لازم داریم، مانند ابرقدرت ها) تحت نظارت AI اولی از کنترل خارج شدن آنها ممکن نخواهد بود و جای نگرانی نیست!
2- منظور از آن، متناظر قرار دادن ساخت AI با ساخت انسان بود، پله ای دیگر در تکامل. چطور آن را به نابودی انسان ارتباط میدهید نمیدانم. میمون های جد انسان نابود نشدند، تکامل یافتند. همین بحثی که در پیش رو داریم را نیز من به زور میتوانم جدی بگیرم، اتفاقی که در دنیا واقعی رخ خواهد داد تکینگی به سبک کورتزویل است، نه ساخت معجزه آمیز AI از سوی انسان هایی که خود دیجیتایز نشده اند!
3- آن را آزمایش کرده اید قبل از رها کردن - ناپایداری مورد ادعای AI بر قابلیت خود ارتقایی آن استوار است، در حالی که گسترش و تغییر در جایی به دلیل محدود بودن ماده، انرژی و اطلاعات باید متوقف شود. در اینجاست که AI سرطانی ما دیگر نمیتواند رشد کند و به حالت پایدار میرسد.
4- اولا ر. ک. به 2، ثانیا تصمیم گیری بر اساس عقل، برنامه ریزی و قانون است نه نظر جمعی. اسپاگتی کسی که نام جمهوری های مبتنی بر قانون اساسی غربی را به "دموکراسی" تغییر داد، تا ابد در کچاپ سرد بسوزاند!
5- منظور یودکوسکی بود! AI ما مگر اکتیویست است که اطلاع رسانی کند؟
6- بله، و همچنین ابزاری سراسر ناکارآمد در جلوگیری از پیدایش و نوآوری تکنولوژی‌هایِ مقابله گر و سازنده است.
7- البته، اما لطفا توضیح دهید آسانی و خطر آنها چه تفاوتی دارند!
8- یک راس ننه قمر ناخواستنی تر از یک انبوهه متخصص، دیسیپلین مند، با تجربه، قابل اعتماد، بدون عقده و ... است. قبلا هم گفته ام، فکر میکنید ساخت و نگهداری تسلیحات اتمی دست چند تا جوان خام، احساساتی و بی نظم اینترنت گرد است؟ :e408:
آیا تا کنون توانسته ام تاثیری بر شما بگذارم، مهربد عزیز؟
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Mehrbod - 02-21-2016
Russell نوشته: درود مهربد جان
آیا با The Managerial Revolution آشنایی داری؟ اگر آری نظرت چیست؟
درود و شادمان از دیدن دوباره ات.
نه, من ایده‌یِ چندانی نداشتم ولی نایکراست درباره‌یِ آن آگاه شده بودم. امروز کمی هم درباره‌یِ آن خواندم. چه نکته‌ای درباره‌یِ آن چشمت را گرفته؟
--
در گفتمان تکنولوژی به این پیشتر پرداخته شده که تنها چند فاکتور ابژه در راستادهی کلی و راهی که جهان میرود
اثرگذار میباشند و مهمترین آنها, همین میباشد که کدامیک به شکوفایی اقتصادی و بازدهی بالاتر و آسودگی بیشتر میانجامد.
آماج سیستم تکنولوژیک, که کلان-ابرسازواره و سیستمی باشد که همه‌یِ خُرد-ابرسازواره‌هایِ دیگر همچون دولت‌ها, ابرشرکت‌ها و
دیگرها را در خود درگنجانده باشد, پیشرفت تکنیکی و گسترش تکنولوژی میباشد. در این راستا, سیستم خود از وند‌ها‌یِ گوناگونی ساخته شده است
و برای نمونه مغز و موتور سیستم را میتوان همان سرمایه‌داری ِ لیبرالیستیک انگاشت که تا به امروز کارآمدترین و بهینه‌ترین مولفه (component) در
جایگاه موتور پیش‌ران بوده است, ازینرو که بسادگی, کشورهایی که به سرمایه‌داری از گونه‌یِ لیبرال روی نیاورده‌اند در رقابت از دیگر کشورها پس
افتاده‌اند و سرنوشت در پیش روی آنها از دو حالت بیرون نیست, یا تن به پذیرش داده و یا با پافشاری خود را به نیستی خواهند افکند.
نمونه‌وار میتوان برانگاشت که ایران ِ امروز با باز کردن درهای سیاسی به آمریکا دارد
کم کم تن به همان پذیرش میدهد, چه که اگر ندهد سرنوشتی جز نیستی در پی نخواهد داشت.
آنچه در انقلاب «مدیریتی» شایان برنگرش بود پرداختن به این نکته بود که کارها را کم کم نه کسانی که بیشترین سرمایه, بساکه
کسانیکه بیشترین کاردانی را داشته باشند خواهند گرداند, و این خود امروز تا به اندازه‌یِ بسیار بالایی درست است. امروزه گرچه
سرمایه‌داران همچنان نقش بسزایی در گرداندن کارها دارند, ولی در کنار آنان دیوانسالاران (بوروکراتها), فندسالاران (تکنوکرات‌ها) و بیشمار
کسان دیگری هم هستند که در گردانش کارها نقشی بسزا و ناگسستنی ایفا میکنند و همه‌یِ اینها ازینرو بوده که سیستم تکنولوژیک,
«شایسته‌سالاری (مریتوکراسی)» را امری بسیار سودمند یافته است و هیچ چیز بمانند شایسته‌سالاری سفت و سخت (مانند چیزیکه
در ژاپن یا آلمان مشاهده میشود) نتوانسته است چرخ‌هایِ کشور را بگرداند و به شکوفایی اقتصادی و برتری ِ تکنولوژیک بیانجامد.
پس از این نگاه, همین امروز هم در کشورهای پیشتاز کمتر کس ناشایسته‌ای در صدر کارها یافت میشود, ولی نکته‌یِ بسیار مهمی
که باید همواره در یاد داشت این است که بباید, این گرایش‌ها نمای نزدیک‌شان هیچکدام بد یا ناگوار نخواهد بود, چه که «احساس
خوشنودی»از زندگی یکی از پارامتر‌هایِ کمابی مهم دیگر است که در شکوفایی و پیشرفت نقش دارد و در همین راستا, پیدایش این
همه گروهک‌هایِ فعّال اجتماعی, یکی برای نام بُردن همین ستیز با مردستیزی — که خود ما نیز در آن اینجا اندک نقشی
داشته‌ایم — همگی بر این راستا پیش میروند که تنش‌هایِ اجتماعی را کاسته و به احساس رضایت و خوشنودی از زندگی, بیافزایند.
پس برای کسیکه که میخواهد آینده نزدیک را پیشبینی کند, آینده پیش رو را سیستم اقتصادی/مدنی‌ای دربر میگیرد که
بیشترین بهینگی (در شایسته‌سالاری, مردم‌سالاری و ...) و کمترین تنش (احساس ناخوشنودی از زندگی, افسردگی و ..) را
بتواند همزمان با هم فراهم بیاورد و انقلاب مدیریتی میتواند یکی از گزینه‌ها باشد, ولی گزینه‌یِ چشمگیری
نیست, چرا که دیوانسالاری یکی از فاکتورهای مهم تنش‌زا و مهمتر از, بازدارنده‌یِ شکوفایی به شمار میرود.
روشن است اینها تنها تئوری و خراشیدن در چهره‌یِ کلی میباشد, اگر سیستمی بتواند پدید بیاید که گرچه تنش‌زا و افسرده کننده, ولی
همچنان شکوفا باشد, بروشنی در این رقابت چیره خواهد شد. فرنمونه‌یِ خوب آن اینجا سیستم کشورداری ژاپن است که گرچه بی
اندازه تنش‌زا و افسردگی‌ساز, ولی همزمان بسیار کارا (efficient) میباشد و هنوز الگوی بسیاری از کشورها, من‌جمله خود ایران به شمار میرود.
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Mehrbod - 02-21-2016
سارا نوشته: مطلبی در مورد نیروگاه هسته ای ژاپن دیدم و... و خب چون در مورد آن اطالاعاتی داشتم خواستم بیایم بگویم که چندان نوشته های شما در مورد این موضوع صحیح نیست و تمام مشکلِ آن چیزی نبوده که شما اشاره داشتید.
آنچه در فوکوشیما رخ داده یک رُخکرد (= fact) به شمار میرود و چیز نادرستی در این باره گفته نشده. پیشبینی دانشمندان فوکوشیما:
The Japanese Nuclear Commission had the following goals set in 2003: " The mean value of acute fatality risk by radiation exposure resultant from an accident of a nuclear installation to individuals of the public, who live in the vicinity of the site boundary of the nuclear installation, should not exceed the probability of about 1x10^6 per year (that is , at least 1 per million years)".
هنگامیکه فاجعه‌یِ فوکوشیما بجای ١ میلیون سال آنسوتر, تنها ٩ سال دیرتر (2011) رُخ داد.
--
آنچه از این نمونه برداشت شده بود:
جاییکه دانشمندان نمیتوانند پروژه‌های بسیار ساده‌تری همچون ساخت و محافظت از یک نیروگاه
اتمی را زیر کنترل ١٠٠% خود داشته باشند, کنترل و نیکی‌آزمایی ابرهوشوارهای (superintelligent) که
میلیاردها بار هوشمندتر از هوش همه‌یِ آدمهای زنده بر روی هم باشد, چیزی بجز خودفریبی نیست.
اتمی را زیر کنترل ١٠٠% خود داشته باشند, کنترل و نیکی‌آزمایی ابرهوشوارهای (superintelligent) که
میلیاردها بار هوشمندتر از هوش همه‌یِ آدمهای زنده بر روی هم باشد, چیزی بجز خودفریبی نیست.
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - سارا - 02-21-2016
Mehrbod نوشته: آنچه در فوکوشیما رخ داده یک رُخکرد (= fact) به شمار میرود و چیز نادرستی در این باره گفته نشده. پیشبینی دانشمندان فوکوشیما:قربان آنچه که در فوکوشبما رخ داد یک زلزله ای بزرگتر از حد معمول و یک سونامی بود که خب همه ی تاسیسات را از جمله هسته ای را تحت تاثیر خویش قرار داد. اتفاقا این نیروگاه هسته ای یکی از بهترین نیروگاههای هسته ای بود و جالب اینجاست که یکماه قبل از این اتفاق قرار بود در فوکوشیما یک کنفرانس جهانی ای در مورد nuclear plants safety برگزار شود و در حقیقت عملکر این نیروگاه و مزایای آن مورد بررسی قرار بگیرد و بگونه ای به عنوان الگو معرفی گردد.
The Japanese Nuclear Commission had the following goals set in 2003: " The mean value of acute fatality risk by radiation exposure resultant from an accident of a nuclear installation to individuals of the public, who live in the vicinity of the site boundary of the nuclear installation, should not exceed the probability of about 1x10^6 per year (that is , at least 1 per million years)".
هنگامیکه فاجعه‌یِ فوکوشیما بجای ١ میلیون سال آنسوتر, تنها ٩ سال دیرتر (2011) رُخ داد.
--
آنچه از این نمونه برداشت شده بود:جاییکه دانشمندان نمیتوانند پروژه‌های بسیار ساده‌تری همچون ساخت و محافظت از یک نیروگاه
اتمی را زیر کنترل ١٠٠% خود داشته باشند, کنترل و نیک-آزمایی ابرهوشوارهای (superintelligent) که
میلیاردها بار هوشمندتر از هوش همه‌یِ آدمهای زنده بر روی هم باشد, چیزی بجز خودفریبی نیست.
پ.ن.
ببخشایید که در جستارتان آمدم چون به هر حال مسلمانی گناه کمی نیست!
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Mehrbod - 02-21-2016
سارا نوشته: قربان آنچه که در فوکوشبما رخ داد یک زلزله ای بزرگتر از حد معمول و یک سونامی بود که خب همه ی تاسیسات را از جمله هسته ای را تحت تاثیر خویش قرار داد.
و؟
مگر زمین‌لرزه را نمیشود پیشبینی کرد؟ سرانجام در این "برآورد" لغزش شده بوده است یا نه؟
آماج اینجا نیز بدرستی پرداختن به همین نکته بوده که فرایند پیشبینی کردن بی اندازه دشوار میباشد و
فاکتورهایی همواره هستند که هتّا از چشم تیزترین و هوشمندترین آدمها نیز دور میمانند, ازینرو, کنترل و نیکی‌آزمایی
ابرهوشوارهای (artificial intelligence) که خود باز در همسنجی با یک نیروگاه هسته‌ای بی اندازه پیچیده‌تر و پیش‌بینی‌ناپذیر میباشد, از پایه ناشدنی است.
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - سارا - 02-21-2016
Mehrbod نوشته: و؟
مگر زمین‌لرزه را نمیشود پیشبینی کرد؟ سرانجام در این "برآورد" لغزش شده بوده است یا نه؟
آماج اینجا نیز بدرستی پرداختن به همین نکته بوده که فرایند پیشبینی کردن بی اندازه دشوار میباشد و
فاکتورهایی همواره هستند که هتّا از چشم تیزترین و هوشمندترین آدمها نیز دور میمانند, ازینرو, کنترل و نیکی‌آزمایی
ابرهوشوارهای (artificial intelligence) که خود باز در همسنجی با یک نیروگاه هسته‌ای بی اندازه پیچیده‌تر و پیش‌بینی‌ناپذیر میباشد, از پایه ناشدنی است.
خب راستش را بخواهید این فاجعه بسیار عظیم تر از آن بود که بشود پیش بینی اش کرد. این درست است که ژاپن یک کشور زلزله خیزی هست و هر روز در آنجا زلزله رخ می دهد زلزله ی 8ریشتری هم برای ژاپنی ها چیزی نیست و می دانم که اکثر تاسیسات آنجا قادر به تحمل زلزله های بالا تر از 10 ریشتر هم هستند!!!! اما این سونامی بود که این وسط مشکل ایجاد کرد! حتی از آنجا که در ژاپن سیل هم زیاد می آید برای تاسیسات مهم نظیر نیروگاهها چه هسته ای چه فسیلی می آیند و از سدهای دریایی استفاده می کنند اما خب یک سیل مگر چقدر ارتفاع خواهد داشت بیشتر از 5 متر که نخواهد بود ! اما بدبختی و بدشانسی از آنجایی آغاز شد که سونامی و زلزله هر دو باهم رخ داد و از اینرو ارتفاع سونامی بسیار بیشتر از 5 متر شد و آب توانست وارد محوطه ی نیروگاه شود و می دانید که از واکنش هیدروژن و........... و شد آنچه که نباید می شد.
خب این واقعا یک مورد خاص و عجیب بود! اما حتی اگر در ژاپن هیچ تاسیساتی هم نبود و اصلا ژاپن یک کشور پیشرفته ای نبود و خبری از تکنولوژی آنجا نبود می دانستید با بروز چنین حادثه ای هیچکسی جان سالم بدر نمی برد؟!
پیشرفت روزافزون فندآوری: به کجا می‌رویم؟ - Nilftrondheim - 02-21-2016
Mehrbod نوشته: آنچه در فوکوشیما رخ داده یک رُخکرد (= fact) به شمار میرود و چیز نادرستی در این باره گفته نشده. پیشبینی دانشمندان فوکوشیما:
The Japanese Nuclear Commission had the following goals set in 2003: " The mean value of acute fatality risk by radiation exposure resultant from an accident of a nuclear installation to individuals of the public, who live in the vicinity of the site boundary of the nuclear installation, should not exceed the probability of about 1x10^6 per year (that is , at least 1 per million years)".
هنگامیکه فاجعه‌یِ فوکوشیما بجای ١ میلیون سال آنسوتر, تنها ٩ سال دیرتر (2011) رُخ داد.
--
آنچه از این نمونه برداشت شده بود:
جاییکه دانشمندان نمیتوانند پروژه‌های بسیار ساده‌تری همچون ساخت و محافظت از یک نیروگاه
اتمی را زیر کنترل ١٠٠% خود داشته باشند, کنترل و نیکی‌آزمایی ابرهوشوارهای (superintelligent) که
میلیاردها بار هوشمندتر از هوش همه‌یِ آدمهای زنده بر روی هم باشد, چیزی بجز خودفریبی نیست.
مهربد جان بعضی استدلال های شما را میبینم وسوسه میشوم راه پشت بام نزدیکترین آسمانخراش را در پیش بگیرم.
احتمال =/= زمان
حتی اگر احتمال هایپرنووا شدن ستاره ای نزدیک زمین یک بار در تریلیون سال باشد به این معنی نیست که همین فردا نمیتواند رخ دهد!
در ضمن AI صرفا مانند مواد رادیو اکتیو مخرب نیست و میتواند سازنده هم باشد. نزدیکترین پدیده به آن در حال حاضر ابرقدرت ها هستند. (G6, G20, etc)