Deadly Truth of General AI? - ComputerphileYouTube↗  IA↗(long shot)
Education  817.6K views 18.7K likes 358 dislikes   17 Jun 2015
Computerphile 2.6M subscribers N/A YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Contributed subtitles
German DonCarlos
Czech TheJackal033
Click to Play Video Click to Play Video
in a very basic sense if you've got a general intelligence which therefore has preferences over world states
Alapvetőleg, ha van egy átlalános intelligenciák, amely megkülönböztet kedvező és kedvezőtlen állapotokat,
and take actions in the world to change the world
és tevékeny a világban, hogy megváltoztassa azt.
we have to make sure that its preferences are aligned with ours
Biztosnak kell lennünk benne, hogy az ő prefernciái azonosak a miénkkel,
that it wants what we want.
hogy azt akarja, amit mi is akarunk.
because otherwise it's gonna try and do things that we don't want it to do.
Különben, meg fog próbálni olyan olyan dolgokat csinálni, amiket nem akarjuk, hogy tegyen.
that's the basic idea...
Ez az alap ötlet. "Mesteréges Intelligencia Kockázatai"
(sci-fi comes to the fore we're talking things like terminator, matrix,
A sci-fi-ben A Terminátorban, A Mátrixban, a gépek világuralomra törnek,
that machines take over the world I for one salute our new robot overlords)
én a magam nevében tisztelgek az új robot uralkodóknak!
it makes it difficult to think about the problem right?
Ezek miatt bonyolult a problémát feldolgozni.
when things happen in fiction it's generally what would make a better story
Egy történetben általában az számít, hogy miből lenne jobb sztori,
rather than what would actually happen and I think a
nem az, hogy mi valósághűbb.
a realistic "AI takes over the world"-type story might not be any fun to read. So on the one side
Úgy gondolom egy realisztikus "M.I. világuralomra tör" történet, lehet, hogy nem épp szórakoztató olvasmány.
this stuff is difficult to think about because of fiction, because we've all been
Először, a történetek miatt is bonyolult erről gondolkodni .
exposed to something similar to these ideas before
Mindanyian ismerünk hasonló témájú műveket.
the other side that makes this difficult to think about is anthropomorphism
Másodszor, az antropomorfizmus miatt is nehéz erről beszélni.
because we are talking about general intelligence
Mert, általános intelligeciáról beszélünk. Ezért össze fogjuk hasonlítani
so we're going to compare it to the examples in general intelligence that we
azokkal az átlalános intelligenciákkal, amiket már ismerünk.
have which is human minds and human minds and artificial general intelligences
Tehát az emberi elmékkel. és Az emberi és a mesterséges intelligenciáknak,
need not be anything alike
semmiben sem kell egymásra hasonlítaniuk.
in the same way that a plane is not similar to a bird
Ugyanúgy, ahogy egy repülő sem hasonlít egy madárhoz.
a supersonic fighter jet is a threat to you in a way that
Egy szuperszonikus vadászgép olyan szintű fenyegetés, amilyen semmiféle madár.
no bird is. It's not a useful comparison to make in fact
Valójában, ez nem egy hasznos összehasonlítás.
but when you say oh it's a thing it has wings and it flies and people
De ha azt mondjuk van egy dolog, aminek vannak szárnyai és repül,
who don't know anything about planes immediately to go to birds
akkor azok az emberek akik nem ismerik a repülőgépet egyből madárra gondolnak.
(presumably machine could be much more selfish than we can ever imagine)
Szóval lehetséges, hogy a gép sokkal önzőbb lesz, mint gondolnánk.
absolutely, the space of minds in general is vast
Abszolúte. Általánosságban véve az elmék "halmaza" hatalmas.
I like this because we've already talked about spaces so I can do this. If you
Remek, mivel már beszéltünk a "halmazokról" szóval,
take the space at all possible minds
ha vesszük egy halmazt az összes lehetséges elméjével benne, az óriási.
it's huge and then it somewhere within that, you have the space of all minds that biological evolution can produce and that's also huge somewhere within that you have the space of actual minds that exist which is much smaller but still huge
Valahol ezen belül tekintjük a biológiai evolució során létrejött elméket, az is óriási. Valahol ezen belül van a valójában létező elmék halmaza, amely sokkal kissebb, de még mindig óriási.
within that, you've got human minds right and they're a tiny, they're a minuscule dot on a minuscule dot on a minuscule dot of the
Ezen belül vannak az emberi elmék. És van egy kicsiny aprócska pont, egy aprócska ponton,
actual possibilities for intelligence that exist and
amely az valódi intelligencia, ami létezik is.
a general intelligence that we create is from a completely different part of the
Viszont az az általános intelligencia amit mi készíthetünk,
space
az teljesen más részéről származik ennek a halmaznak,
and it's extremely tempting to anthropomorphise
és nagyon csábító, hogy emberi tulajdonságokkal ruházzuk fel
more so even than in another context because
még sokkal jobban mint más esetekben,
it's a thing that's demonstrably intelligent that makes plans that takes actions in the real world
mert ez a dolog bizonyíthatóan intelligens, terveket készít, a valódi világban cselekszik,
but it need not think
de, a gondolkodásmódja lehet, hogy semmiben sem hasonlít a miénkre
anything like us and it's a mistake to think a bit as basically a person because it isn't one. So there's actually really good example
és hiba lenne úgy gondolni rá, mint egy személyre, mert nem az.
that we can use. It's sort of a thought experiment
Van is erre egy nagyon jó példa, amit használhatunk.
This is not a machine that could practically speaking be built
Egyfajta gondolat kísérlet. Van egy gép amit gyakorlatilag meg lehetne építeni.
this is an example of at artificial general intelligence
Ez egy példa az általános mesterséges intelligenciára.
which is specified an overview
Amely, áttekintőleg van meghatározva
and it gives you something to think about when you're thinking about artificial general intelligences that makes it distinct from
abban segít, hogyan képzlejünk el egy általánosságban egy mesterséges intelligenciát
a sort of anthropomorphized human type intelligence So the story is there's a a stamp collector who is also an AI
és annak különbségeit, egy kissé antropomorfizált emberi intelligenciától. A történet úgy szól, hogy van egy béllyeg gyűjtő, aki M.I. programozó is egyben,
programmer and he decides he would like to collect a lot more stamps
és úgy dönt, hogy szeretne sokkal több béllyeget gyűjetni.
so he's gonna write an AI to do this for him. So he builds a machine
Ezért írni fog egy M.I.-t hogy megcsinálja helyette. Szóval épít egy gépet,
he has some startling insight into general intelligence and he builds this
- elképesztő rálátása van az általános intelligenciára -
machine
és megépíti ezt a gépet.
which is connected to the Internet, right?
Ami kapcsolódik az internethez.
so the the rules for this system are
A rendszer szabályai elég egyszerűek.
pretty straightforward. first thing, it's connected to the Internet and it will
Először is kapcsolódik az internethez,
send and receive data
és egy éven keresztül fog adatokat küldeni és fogadni.
for one year. So, he's given himself a one-year time
Szóval egy éves idő ablakot hagyott magának,
window within which to collect stamps the second thing is
arra, hogy béllyeget gyűjtsön.
it has an internal model of reality , of the universe
A második dolog, hogy van egy belső modellje a valóságról, vagyis az univerzumról.
this is the thing that's a bit magic we don't really know how to build an accurate model of reality. The point is this allows it to
Ez a része kissé varázslat, nem nagyon tudunk pontos modellt készíteni a valóságról.
make accurate predictions about what will happen if it does different things
A lényeg, hogy ezzel pontos előrejelzéseket kap, hogy mi fog történni ha különböző dolgokat tesz.
the third thing is for every possible sequence of packets it could send
A harmadik dolog, hogy minden lehetséges adat sorozatra amit küldhet,
it uses its model to predict how many stamps it ends up with at the end of that and then
arra használhatja a modellt, hogy előrejelezze mennyi béllyeget gyűjthet a végén.
the fourth thing is it outputs as its actual data to the Internet
A negyedik dolog pedig, azt az adatot teszi közzé az interneten,
whichever output it has predicted will produce the most stamps
amely az előrejelzés szerint a legtöbb béllyeget produkálja.
you can see here that this has all the properties of a general intelligence
Láthatjuk, hogy ebben megvan egy általános intelligencia minden tulajdonsága.
it has an internal model of reality. It has
Van belső modellje a valóságól,
a utility function or an evaluation function, which is the number of stamps,
van használhatósági funkciója, avagy értékelő funkciója,
and the optimization is
ami a béllyegek száma. Az optimalizálás nagyon egyszerű
extremely simple and like so much in computer science there the simple things to specify are the hard things to compute
- mint oly sokszor az informatikában, az egyszerűen meghatározható dolgokat a legnehezebb számolni -
it looks at every possible output data in other words every every point in that space and it picks out
minden lehetséges kimenetelt számba vesz, vagyis minden pontot abban a térben, és kiválasztja a legnagyobbat.
the highest one. So this is a kind of magic intelligence that takes the entire space at once finds the highest point and says
Szóval ez egyfajta varázs-intelligencia, amely egyszerre veszi az egész teret, megtaláltja a legnagyobb értéket és azt választja.
that one. Which means it's an extremely powerful intelligence
Ami azt jelenti ez egy nagyon magas szintű inteligencia.
right it is you could say it's extremely intelligent
Azt is mondhatnánk szuper-intelligens.
the question is how does this machine behave? Well, we can look at certain
A kérdés: Hogy fog ez a gép viselkedni?
possible sequences of outputs
Nos, nézhetünk bizonyos lehetséges eredményeket,
and see how they fare in it's evaluation criteria.
és, hogy azok hogyan felelnek meg a gép értékelési folyamátban
first off, the vast majority of output sequences are complete junk
Először is a legtöbb lehetséges eredmény selejt.
right it's spewing random data on to the network. nothing happens of any consequence.
Véletlenszerű adattal bombázza a hálózatot, semmi sem történik, ami számítana
No stamps get collected. Those are all rated zero.
nem gyűjt egy béllyeget sem. Semmi, nulla.
but suppose one of the possible sequences a sends a request to a server let's say
De tegyük fel az egyik lehetséges adat sor egy szervernek küld egy kérést
eBay, that results in a bid on some stamps,
mondjuk az E-Bay-nek, aminek az eredménye egy árajánlat lesz egy pár béllyegen.
right? When that happens, there's a thing of 20 stamps so that output is rated 20. This is the kind of thing that
Amikor ez bekövetkezik, akkor lessz 20 béllyeg. Szóval a végeredmény 20.
the stamp collector machine's creator was expecting to happen
Ez volna a dolog amit a gép készítője elvárna, hogy történjen.
So then that's good, 20 stamps suppose it could do that lots of times. it could send out bids for example to 30 different stamp collectors on eBay and buy 30 sets of different stamps
Szóval ez jó 20 béllyeg. Tegyük fel ezt többször is megismételhetné. Mondjuk küldhetne 30 árajánlatot 30 különböző béllyeg gyűjtőhöz, hogy 30 csomag béllyeget vegyen.
and that's even better, right? That would be rated even higher, but the thing is that
Ez ugye még jobb, még jobban szerepelne a végeredmények között
particularly highly rated options in this search space
A gond az, hogy a kifejezetten magas eredmények ebben a keresési halmazban
are probably things that the stamp collecting device's creator did not think of
valószínűleg azok, amikre a béllyeg gyűjtő gép készítője nem gondolt,
and did not anticipate. So for example when he made it, he will have presumably given it his credit card details or something so they could engage in these bids
nem is számított rájuk. Például, amikor elkészítette feltehetőleg megadta a bankkártya adatait, vagy valamit, amivel tud árajánlatokat tenni.
but ultimately it's searching every possible sequence of outputs. It needn't use his credit card it needn't use money at all. There's a huge variety of things that it could do here.
De végül minden lehetséges eredmény között fog kereseni, nem lessz szüksége bankkártyára, sem pénzre. Rengeteg variáció közül választhat a gép.
So it might send out an enormous number of emails to all the stamp collectors in the
Megeshet, hogy rengeteg emailt küldi ki a világ összes béllyeg gyűjtőjének,
world and convince them through persuasive argument that he is opening a museum and wants to exhibit their stamps
és rábeszéli őket meggyőző érveléssel, hogy múzeumot nyit és ki akarja állítani a béllyegeiket
It may build a fake website for that whatever is necessary
akár egy hamis web oldalt készít ehhez, bármit ami szükséges.
it can predict the world, right. It has an internal model of reality that internal
Meg tudja ezt jósolni, van egy belső valóság modellje.
model of reality includes the people right. In the same way that its modeling
Ebben a modellben az emberek is benne vannak.
people to understand that if it bids on this
Ugyanúgy ahogy ahhoz modellez embereket, hogy megértse ha árajánlatot tesz,
offer, then a human being will mail the stamps to them. They understand this email might get more people to send stamps for example that something
akkor az emberi lény el fogja küldeni a béllyeget, és hogy ezzel az emaillel több ember küld neki a béllyeget. Például:
but then what exactly is a stamp? How is this defined?
Ez is valami. De mi is igazából egy béllyeg, hogy is van ez definiálva?
What counts as a stamp?
Mi számít béllyegnek?
if it's already written the sequence of outputs that collects
Ha már írt egy olyan eredményt amivel begyűjti az összes béllyeget a világon,
all of the stamps in the world you think you're done, right? You built this machine suddenly is collected all the stamps in the world.
azt hinnénk kész, megépítettük ezt a gépet és megvan az összes béllyeg a világon.
No, there could be more stamps within a year. We've got time to print more stamps
Nem! Lehet még több béllyeg egy éven belül, nyomtathatnánk több béllyeget.
so maybe it hijacks the world's stamp printing factories and puts them into overdrive
Szóval lehet, hogy feltöri a világ béllyeg nyomtató gyárait.
producing stamps
Szünet nélkül béllyegeket nyomtatva, egyre több béllyeget előállítva.
as many as you possibly can in that time or perhaps it writes a virus and it hijacks all the computers in the world to get all of
Vagy lehet, hogy ír egy vírust amivel feltöri az összes számítógépet a világon,
the printers in the world to do nothing but print stamps.
és világ összes nyomtatójával béllyegeket nyomtat.
that's even better right? The highest-rated outcomes for this machine are not good for people
Ez még sokkal jobb. A legjobbra értékelt eredmények egy ilyen gépben, nem jók az emberre nézve
There comes a point when the stamp collecting devices thinking
Eljön egy pont, amikor a béllyeg gyűjtő gép azon gondolkodik,
okay what are stamps made of?
rendben, miből is készülnek a béllyegek?
they're made of paper. Paper is made of carbon, hydrogen, oxygen.
Papírból készülnek, a papír szénből hidrogénből és oxigénből van,
I'm gonna need all of that I can get to make stamps
ezekből az összesre szükségem van ami csak elérhető, hogy béllyeget csináljak.
and its gonna notice that people are made of carbon, hydrogen, and oxygen
És észre fogja venni, hogy az emberek is szénből hidrogénből és oxigénből vannak.
right. There comes a point where the stamp collecting device becomes extremely dangerous
Eljön egy pont amikor a béllyeg gyűjtő gép nagyon vesszélyes lessz,
and that point is as soon as you switch it on.
abban a pillanatban hogy bekapcsoljuk.
So this is just a thought experiment example where we take a sort of maximally powerful intelligence
Ez csak egy gondolat kísérleti példa, ahol egy kb. maximum erősségű intelligenciát tekintünk
and see how it behaves so that we can think about how powerful intelligence has behaved and most importantly
hogy lássuk hogyan viselkedik, szóval el tudjunk gondolkodni hogy viselkednek a magas szintű intelligenciák
how they are not like people
és legfontosabbként, mennyire különbözőek az emberektől. ::Subs by VoidMoth::
Similar videos:

AI Self Improvement - Computerphile
Computerphile
386.9K views 10K likes 111 dislikes 24 Jul 201573% match

Holy Grail of AI (Artificial Intelligence) - Computerphile
Computerphile
478.7K views 8.2K likes 109 dislikes 01 May 201536% match

General AI Won't Want You To Fix its Code - Computerphile
Computerphile
359.6K views 10K likes 177 dislikes 28 Feb 201731% match

KIC 8462852 – wo sind die Aliens? Update 2020 | Harald Lesch | Terra X Lesch&Co
Terra X Lesch & Co
881.4K views 21.3K likes -1 dislikes 12 Feb 202028% match

【ゆっくり解説 思考実験】人生で大切なのは快楽？自由？ ノージックの快楽機械【哲学・パラドックス】
ゆっくり解説 生きるための学びチャンネル【哲学・パラドックス・思考実験】
12.3K views 258 likes 4 dislikes 27 Oct 202028% match

Von Kränkung und Krankheit zu Gesundheit und Glück – Teil 1
Klinikum Wels-Grieskirchen
734 views 3 likes 0 dislikes 09 Jun 201728% match

The Book of Ecclesiastes
BibleProject
2.9M views 85K likes 858 dislikes 17 Aug 201628% match





The Skinny on Obesity (Ep. 1): An Epidemic for Every Body
UCTVInsight
764.2K views 4.3K likes 197 dislikes 12 Apr 201227% match




Warum ist das Sonnensystem flach? | Harald Lesch
Terra X Lesch & Co
638.6K views 14.2K likes 333 dislikes 07 Mar 201827% match

Die große Krise der Physik | Harald Lesch
Terra X Lesch & Co
616.7K views 13K likes 330 dislikes 21 Feb 201827% match

Cobra Rei - Ophiophagus hannah | Papo de Cobra
Papo de Cobra
17.7K views 994 likes 10 dislikes 15 Jul 202027% match

UN CULTO SEGRETO su YOUTUBE - Digital Mystery 🖥 #5
L'Inspiegabile (The Unexplainable)
58K views 3.9K likes 89 dislikes 03 Mar 202127% match

Greenkeeper 2.0, zweite Pflegewoche im Golfclub Schwarze Heide Bottrop Kirchhellen #taubenblick
Taubenblick
1K views 11 likes 0 dislikes 24 Dec 201826% match

A Day in the Life of a Modern American Exorcist
VICE
3.2M views 35.9K likes 2.5K dislikes 21 Sep 201626% match

Hat Gott die Welt erschaffen? | Harald Lesch
Terra X Lesch & Co
1.8M views 30.1K likes 4.3K dislikes 22 Feb 201726% match

L'image sacrée de la Vierge interpelle les scientifiques
Huillam Daverec
80.1K views 2.3K likes -1 dislikes 12 Dec 202026% match





LIBERALISMO y DESIGUALDAD según HAYEK
Economia y Desarrollo
15.7K views 1.5K likes 40 dislikes 04 Oct 202026% match

Doce de leite no pós treino
Leandro Twin
15.2K views 2.5K likes 10 dislikes 26 Mar 202126% match

The Archer's Paradox in SLOW MOTION - Smarter Every Day 136
SmarterEveryDay
15.2M views 263.2K likes 6.1K dislikes 28 May 201526% match


Slavoj Žižek: What Is the Best Religion for Capitalism?
Epoch Philosophy
25.8K views 1.7K likes 50 dislikes 10 Sep 202026% match

TIBIA: EK HUNT SOLO ORC CULTS ( EDRON )
Henry Knight
8.6K views 429 likes 5 dislikes 10 Oct 202026% match

"Kein Geld für Behinderte?" ORF Inlandsreport 1987
selbstbestimmt1
375 views 1 likes 0 dislikes 31 May 201526% match

🇲🇽 El Misterio de la Calavera Bailarina de PUEBLA México
Fake Buster
715K views 13.4K likes -1 dislikes 30 Oct 201926% match

FACELIFT: Methoden & Alternativen | 👨‍⚕️ Expertenantwort von Dr. Spanholtz
info Medizin
910 views 12 likes 0 dislikes 29 Mar 201926% match

Donald Trump wissenschaftlich geprüft | Harald Lesch
Terra X Lesch & Co
1.8M views 28.7K likes 2.3K dislikes 23 Nov 201626% match

Which incubator should I buy for the goose? English subtitles

1.1K views 72 likes 2 dislikes 03 May 202026% match

Frango com antibióticos *atenção*
Leandro Twin
29.5K views 5.5K likes -1 dislikes 27 Jun 202026% match

Geopolítica - Atlântico Sul é uma zona de paz? Potências Militares na região! | Diplomacia | SCBR
SCBR National Defense
6K views 1K likes 2 dislikes 27 Feb 202126% match



働かなくてもお金がもらえる「ベーシックインカム」スペインが導入へ前進。ベーシックインカムとは何か解説
News from Japan. Ease of understanding is the best YouTuber
34K views 1.5K likes 45 dislikes 08 Apr 202026% match


Todo sobre el nuevo Dacia Sandero y Sandero Stepway 2021, El Sandero 3
Dacialize: Dacia for everyone
12.3K views 244 likes 7 dislikes 18 Oct 202025% match


Settings Privacy About Contact Donate