[Mehrbod]

تا ١٠٠ سال دیگه

تکنولوژی هم گرایند[sup][aname=rpaede8][[/aname][anchor=paede8]1][/anchor][/sup] خوبی داره دیگه آدمی نگذاشته باشه

یا هتا زودتر, با تکینگی[sup][aname=rpa79d4][[/aname][anchor=pa79d4]2][/anchor][/sup]

mehrbod jan

baz tavahom zadi

ya roman elmi takhayoli khundi :D

به اسپاگتی گناه من نیست کسی اندازه‌یِ من باهوش نیست

baba joon

ma che kari az dastemoon bar miad

bezar nabood she

man ke age dastam miomad

khodam kolan hayat ro az rooye koreye zamin mahv mikardam

خب از دیدگاه تو برای مرگ هم کاری از دستت بر نمیاد

ولی نمیبینم سرگرم کشتن خودت باشی!

دانش ≠ راهکار

khob?

manam nagoftam raahkare

میگی تخیلی حرف میزنی!

migam yani kasi nemidoone chi mishe

من هم گفتم, دانشِ و دریافت من بخوبی میگه که تخیلی نیست, بیراهه‌یِ راهکار چیه این میان؟

یعنی تو نمیدونی ١٠٠ سال دیگه میمیری!؟

chera

ama nemidunam hame mikhan bemiran ya na

پس چجور این یکیو کسی نمیدونه, ولی اون یکی کسی میدونه؟

چجوری میتونی بگی که دریافت اینکه تکنولوژی ما رو نابود میکنه, از همان جنسی که میدانیم پیری[sup][aname=rpab2e8][[/aname][anchor=pab2e8]3][/anchor][/sup] ما را نابود میکنه نیست؟

man 100 sal ro goftam

همه روشنه نمیخوان بمیرن, نمونه اش خود من

من هم گفتم در ١٠٠ سال بگرایند[sup][aname=rpadf87][[/aname][anchor=padf87]4][/anchor][/sup] بسیار بالا هیچ آدمی نمیمونه

koli factore nashenakhte shayad varede bazi beshe

ki midoone?

دستکم یکی از دورنماها که تکینگی یا singularity باشد تو چشم اندازه

گرایند که فاکتور نیست, روشنه ١٠٠% تو هم نمیدونی خواهی مرد یا یا نه

اصلا نمیدونی فردا خورشید هم در میاد یا نه

gerayand factor nis... taghire masire technology factor has

تکنولوژی که اراده نداره

مردم هم ١٠٠% هرگز یکجور رفتار نخواهند کرد

پس؟

technology dar daste hame ke nist

دانشِ تکنولوژی در دستِ همه هست

هتا در دستِ اندک شماری هم باشه, باز اون اندک شمار رو نمیشه پیشبینی[sup][aname=rpaabfe][[/aname][anchor=paabfe]5][/anchor][/sup] کرد

در حقیقت از آنجاییکه ما نمیتوانیم پیشبینی کنیم, پس میتوانیم پیشبینی کنیم که در نبود پیشبینی‌پذیری همه‌یِ امکانها خواهند بود

و بیشتر امکانها, بمانند بیشتر جهش‌هایِ[sup][aname=rpa48b8][[/aname][anchor=pa48b8]6][/anchor][/sup] ژنتیکی, مرگ آورند

na dige...bakhshe akharo delkhah natije gerefti

بیشتر امکانها میگی مرگ‌آور نیستند؟

نمونه میزنم, تو که از نانوتکنولوژی سر در میاری, بگیم فردا میتونی با نانوتکنولوژی کار کنی و یاخته‌هایِ[sup][aname=rpa0192][[/aname][anchor=pa0192]7][/anchor][/sup] پیکرتو بدلخواه بدگرانی[sup][aname=rpaf21d][[/aname][anchor=paf21d]8][/anchor][/sup]

بیشتر کارهایی که میتونی باهاش بکنی زیانمنده یا سودمند؟

be spaghetti nemidunam...farda shayad kahta bishtar bashe ama har chi jelotar beram ehtemale inke soodmand bashe bishtar mishe

نه دیگه, تو داری خودتو پیشبینی میکنی!

:)))

نانوتکنولوژی رو بده دست هزار تن

سپس پیش ببین که چی میشه!

دوباره بیشتر کن, بده دست یک میلیون تن

khob to rahkari ham dari baraye in?

you're almost definitely going to be destroyed

دانش ≠ راهکار

یه راهکار اون مزداهیک‌دانه داده بود که کار میکنه

اونهم اینه که همه‌یِ تکنولوژی‌هایِ گسترده رو نابود کنیم و برگریم به میانسدگان

که شوربختانه برای من تنها یک ارزش شاید از مرگ خواستنی‌تر باشه

*ارزن

pas hichi nemimune ?

hmm

شاید باشه, هیچکس اینجا سر قطعیت سخن نمیگه

ما روی ٩٩.٩٩٩٩% یا همچو چیزی هستیم

یه ریخت‌هایِ ویژه ولی بسیار کمگرایندی هستند

برای نمونه, همین تکینگی[sup][aname=rpae87d][[/aname][anchor=pa79d4]2][/anchor][/sup]

Singularity Summit

همه نوشتارهای اینجارو من خوندم این چند گاهه

hala ba in dide jadidet zendegi ro chetori mibini mehrbod?

اینها روی Friendly AI کار میکنن

زندگی رو خواستنی‌تر از همیشه

chetor?

ولی هتا سخن بنیادگذار همین سایت رو هم بخونی تنت میلرزه

khob omido angizat kam nashode?

امید و انگیزه‌یِ تو از اینکه میدونی میمیری کمه؟

gaahi ar

نه, برای من هر دم رو باارزش‌تر میکنه

خیام‌وار باید بنگری

بنیادگذار همین انجمن تکینگی خودش اونجا میگه که تنها کسیه که شاید در جهان

براستی روی Friendly AI کار میکنه

و اینکه دیگران چگونه یک مشت آدم بی مسئولیت هستند, بی کوچکترین توان دریافتی از اینکه با چی دارن بازی میکنن

اینجا یک race خوب داریم, اگه این دوستمون بتونه برای نمونه پیروز بشه, شاید نژاد بشر بجا بمونه (با اینکه نگره[sup][aname=rpa72c6][[/aname][anchor=pae87d]9][/anchor][/sup] هاشون بسختی روی مرزِ نابودی یا فرازیست[sup][aname=rpafe31][[/aname][anchor=pa72c6]10][/anchor][/sup] آدمی‌اند)

ولی تنها این دوستمون نیست, هزاران و در سالهای آینده شاید سدها هزار کمپانی گوناگون همزمان بیان توی کار

و بیشترشون کودنن

بنیادگذار این یکی در اندازه‌یِ یک نابغه است, ولی دیگران, نه

ki has hala?

eliezer yudkowsky

Singularity Summit

این نوشتارشو باید بخونی تا بگیری داستان از بیخ چیه:

http://intelligence.org/files/CEV.pdf

Coherent Extrapolated Volition

bayad vaght bezaramo bekhunam

ama felan zendegi ramaghi baram nazashte

تاکنون که جز این برای تو یادمه نبوده (:

khob dige che mishe kard

age varede in reshteye lanaatie ma mishod

mifahmidi chi migam

kole zendegito sarf mikoni saresh

va man alan fahmidam

mikham kami moghavemat konam

برای چی حالا این رشته رو خوندی؟

baraye chi?

baraye inke nafahmidam

=))

hmm

chun entekhabe man nabood

elghaaye mohit bood

Volition میدونی یعنی چی؟

na

من بهت پیشنهاد میکنم پس این نوشتار بالارو بخونی

volition ترزبانی[sup][aname=rpa30c5][[/aname][anchor=pafe31]11][/anchor][/sup] که من شاید بکنم میشه "دلخواست[sup][aname=rpa8d5a][[/aname][anchor=pa30c5]12][/anchor][/sup]" یا "دلخواه"

بخش نخست نوشتار فلسفیه بیشتر

برای همین رشته ات که گفتی

پیشبینیِ دلخواستِ تو یک فرایند بسیار دشوارتر از اونیه که میاندیشی, هتا برای خودت

بهش اینجوری بنگر, تو زمانی هستی که میخواهی رشته‌یِ دانشگاهیگتو بگزینی در زندگی

اینجا تو در حقیقت داری "دلخواست" آینده‌یِ خودتو پیشمیبینی

یعنی میگی, "اگر من این رشته رو بخومی, چند سال دیگر از گزینش ام شاد خواهد بود, پس دلخواست برونیافته[sup][aname=rpae3d5][[/aname][anchor=pa8d5a]13][/anchor][/sup] (extrapolated) من در آینده‌یِ نه چندان دور با خواندن این رشته می‌همخواند[sup][aname=rpa61ec][[/aname][anchor=pae3d5]14][/anchor][/sup]"

به سخن کوتاهتر, زمانیکه رشتتو گزیدی

دلخواست خودتو برون‌یابانده‌ای

و این در حقیقت بزرگترین مشکل Friendly AI هم هست

زیرا همانجور که تو امروز شاید ببینی چیزیکه برونیافته بودی و میاندیشیدی شادت ات کنه در زندگی اونی که میخواستی نبوده

هیچ راهی برای برنامه‌ریز FIA نیست که همینو برای بشریت بکنه

Coherent یا "چسبیده" در اینجا به دلخواست برونیافته‌یِ همه‌یِ مردمان زنده‌ای[sup][aname=rpa1069][[/aname][anchor=pa61ec]15][/anchor][/sup] میگه که در یک پهنه‌ای[sup][aname=rpa5de6][[/aname][anchor=pa1069]16][/anchor][/sup] بیشتر از همه چسبیده باشند.

پس چیزیکو تو نمیتونی هتا برای خودت ببرونیابی, برونیابیش برای بشریت نزدیک به ناممکنه

؟

Coherent Extrapolated Volition = دلخواست برونیافته‌یِ چسبیده

Friendly AI در تکینگی[sup][aname=rpaf1ef][[/aname][anchor=pa79d4]2][/anchor][/sup] (singularity) بسادگی ساخت ماشینیه که میتواند یک ماشین اندکی بهتر از خود اش را خود اش بسازد

زمانیکه به این نقطه رسیدیم, در کمتر از آنی[sup][aname=rpa0785][[/aname][anchor=pa5de6]17][/anchor][/sup] که بتوانی بیاندیشی ماشین نه چندان هوشمند ما با بازسازیِ خودش به باهوشترین باشنده‌یِ[sup][aname=rpadd99][[/aname][anchor=paf1ef]18][/anchor][/sup] جهان میدگرد[sup][aname=rpa19c2][[/aname][anchor=pa0785]19][/anchor][/sup]

Friendly AI اینجا میخواد ترتیب این فرایندو جوری بوده که این بگیم هوشواره[sup][aname=rpa98d6][[/aname][anchor=padd99]20][/anchor][/sup], برای آدمی سودمند باشه

* جوری بده

از پیچیدگی تکنیکال داستان که بگذریم

نکته اینه که چجوری اصلا بگیم چی برای بشریت خوبه چی نه؟

اینجا ما یک دشواری "برونیابی دلخواست[sup][aname=rpaf364][[/aname][anchor=pa30c5]12][/anchor][/sup]" رو داریم

مانند هم گزینش رشته خودت, تو نمیدونی آیا براستی خواندن این رشته امروز ١٠ سال آینده مایه‌یِ خوشنودیت میشه

چجوری میخوای همینکارو برای بشریت! بکنی؟

کی میگه چی خوبه؟ کی ارزش‌ها رو تعریف میکنه؟

Eliezer اینجا دوتا کار کرده

که دیگر حسش نیست خودت باید بخونی

ولی رویهم بگفت خودش, روش کار باید جوری باشه که اگه القاعده هم این هوشواره رو ساخت, باز هم به فرجام[sup][aname=rpa0040][[/aname][anchor=pa19c2]21][/anchor][/sup] دلخواستنی همه‌یِ ما برسه.

which once again, nobody knows what it is

eof





----
[aname=paede8]1[/aname]. [anchor=rpaede8]^[/anchor] ger+ây+and::Gerâyand || گرایند: احتمال, اگرآیند probable
[aname=pa79d4]2[/aname]. ^ [anchor=rpa79d4]آ[/anchor] [anchor=rpae87d]ب[/anchor] [anchor=rpaf1ef]پ[/anchor] tak+in+eg+i::Takinegi || تکینگی: نقطه‌یِ تکین Ϣiki-En, Ϣiki-Pâ singularity
[aname=pab2e8]3[/aname]. [anchor=rpab2e8]^[/anchor] Piridan || پیریدن: پیر شدن; سالخوردن Ϣiki-En to age
[aname=padf87]4[/aname]. [anchor=rpadf87]^[/anchor] be+gerâyand::Begerâyand || بگرایند: احتمالا Ϣiki-En, Ϣiki-En likely; probably
[aname=paabfe]5[/aname]. [anchor=rpaabfe]^[/anchor] piš+bin+i::Pišbini || پیشبینی: prediction
[aname=pa48b8]6[/aname]. [anchor=rpa48b8]^[/anchor] jah+eš+idan::Jahešidan || جهشیدن: جهش یافتن Ϣiki-En to mutate
[aname=pa0192]7[/aname]. [anchor=rpa0192]^[/anchor] Yâxte || یاخته: سلول Ϣiki-En cell
[aname=paf21d]8[/aname]. [anchor=rpaf21d]^[/anchor] Degarânidan <— Degarândan || دگرانیدن: تغییر دادن to change
[aname=pae87d]9[/aname]. [anchor=rpa72c6]^[/anchor] negar+e::Negare || نگره: فرضیه Ϣiki-En theory
[aname=pa72c6]10[/aname]. [anchor=rpafe31]^[/anchor] farâ+zist::Farâzist || فرازیست: بقاء; بجا ماندگی; Ϣiki-En survival
[aname=pafe31]11[/aname]. [anchor=rpa30c5]^[/anchor] tar+zabânidan::Tarzabânidan <— Tarzabândan || ترزبانیدن: ترجمه کردن to translate
[aname=pa30c5]12[/aname]. ^ [anchor=rpa8d5a]آ[/anchor] [anchor=rpaf364]ب[/anchor] del+xwâst::Delxwâst || دلخواست: محبوب Ϣiki-En favorite
[aname=pa8d5a]13[/aname]. [anchor=rpae3d5]^[/anchor] borun+yâftan::Borunyâftan || برونیافتن: برآوردنِ بلنجِ یک برآیه بیرون از گستره‌یِ بلنج‌هایِ شناخته شده ⚕Heydari, Ϣiki-En to extrapolate
[aname=pae3d5]14[/aname]. [anchor=rpa61ec]^[/anchor] ham+xwânidan::Hamxwânidan <— Hamxwândan || همخوانیدن: همخوانی کردن Ϣiki-En to match
[aname=pa61ec]15[/aname]. [anchor=rpa1069]^[/anchor] Zandidan || زندیدن: توضیح دادن MacKenzie, Ϣiki-En to explain
[aname=pa1069]16[/aname]. [anchor=rpa5de6]^[/anchor] pahn+e::Pahne || پهنه: مساحت Ϣiki-En area
[aname=pa5de6]17[/aname]. [anchor=rpa0785]^[/anchor] Ânidan || آنیدن: آوردن; رهبری کردن MacKenzie, Ϣiki-En, Ϣiki-En, Dehxodâ to bring; to lead
[aname=paf1ef]18[/aname]. [anchor=rpadd99]^[/anchor] baš+ande::Bâšande || باشنده: موجود being
[aname=pa0785]19[/aname]. [anchor=rpa19c2]^[/anchor] Digarestan <— Degarestan || دیگرستن: تغییر کردن Ϣiki-En to change
[aname=padd99]20[/aname]. [anchor=rpa98d6]^[/anchor] huš+vâr+e::Hušvâre || هوشواره: هوش مصنوعی Ϣiki-En artificial intelligence Künstliche Intelligenz
[aname=pa19c2]21[/aname]. [anchor=rpa0040]^[/anchor] Farjâm || فرجام: پایان; خاتمه Ϣiki-En, www.loghatnaameh.org conclusion; ending