Are We Automating Racism?YouTube↗  IA↗(long shot)
Education  3.8M views 0 likes   31 Mar 2021
Vox 12.7M subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
Maybe we-- if you guys could stand over--
Wenn ihr da drüben steht...
Is it okay if they stand over here?
Geht das?
- Yeah. - Um, actually.
- Ja. - Eigentlich...
Christophe, if you can get even lower.
Christophe, noch weiter nach unten.
- Okay. - ( shutter clicks )
Ok.
This is Lee and this is Christophe.
Das ist Lee und das ist Christophe.
They're two of the hosts of this show.
Sie sind zwei Moderatoren dieser Sendung.
But to a machine, they're not people.
Aber für eine Maschine sind sie keine Menschen.
This is just pixels. It's just data.
Sondern nur Pixel. Nur Daten.
A machine shouldn't have a reason to prefer
Eine Maschine hat keinen Grund,
one of these guys over the other.
einen der beiden zu bevorzugen.
And yet, as you'll see in a second, it does.
Dennoch seht ihr gleich das Gegenteil.
It feels weird to call a machine racist,
Es ist seltsam, eine Maschine als rassistisch zu bezeichnen,
but I really can't explain-- I can't explain what just happened.
aber ich kann nicht erklären, was gerade passiert ist.
Data-driven systems are becoming a bigger and bigger part of our lives,
Datengetriebene Systeme werden ein immer größerer Teil unseres Lebens
and they work well a lot of the time.
und funktionieren oft gut.
- But when they fail... - Once again, it's the white guy.
- Aber wenn sie versagen... - Wieder ist es der Weiße.
When they fail, they're not failing on everyone equally.
...dann nicht bei allen gleichermaßen.
If I go back right now...
Wenn ich mich zurücklehne...
Ruha Benjamin:<i> You can have neutral intentions.</i> <i> You can have good intentions.</i>
Man kann neutrale oder gute Absichten haben.
And the outcomes can still be discriminatory.
SCHWARZ Das Ergebnis kann diskriminierend sein.
Whether you want to call that machine racist
Egal, ob Maschine oder Ergebnis
or you want to call the outcome racist, we have a problem. <i> ( theme music playing )</i>
als rassistisch bezeichnet werden, wir haben ein Problem. AUTOMATISIEREN WIR RASSISMUS?
I was scrolling through my Twitter feed a while back
Ich war neulich auf Twitter...
and I kept seeing tweets that look like this.
MODERATORIN ...und sah jede Menge folgender Tweets.
Two of the same picture of Republican senator Mitch McConnell smiling,
Zwei gleiche Fotos vom republikanischen Senator Mitch McConnell,
or sometimes it would be four pictures
manchmal auch vier Fotos
of the same random stock photo guy.
vom gleichen, zufälligen Typen.
And I didn't really know what was going on,
Ich wusste erst nicht, was das sollte.
but it turns out that this was a big public test of algorithmic bias.
Das war ein großer, öffentlicher Test zu Vorurteilen von Algorithmen.
Because it turns out that these aren't pictures of just Mitch McConnell.
Denn das sind nicht nur Bilder von Mitch McConnell.
They're pictures of Mitch McConnell and...
Das sind Bilder von Mitch McConnell und...
- Barack Obama. - Lee: Oh, wow.
...Barack Obama.
So people were uploading these really extreme vertical images
Die Leute luden extrem vertikale Bilder hoch,
to basically force this image cropping algorithm
damit der Zuschneide-Algorithmus
to choose one of these faces.
eins der Gesichter wählen musste.
People were alleging that there's a racial bias here.
Die Leute unterstellten Rassismus.
But I think what's so interesting about this particular algorithm
Das Interessante an diesem speziellen Algorithmus ist,
is that it is so testable for the public.
dass er von allen getestet werden kann.
It's something that we could test right now if we wanted to.
Wir könnten das jetzt testen.
- Let's do it. - You guys wanna do it?
- Tun wir's. - Habt ihr Lust?
Okay. Here we go.
Ok. Los geht's.
So, Twitter does offer you options to crop your own image.
Twitter bietet die Option zum Zuschneiden der Bilder.
But if you don't use those,
Wenn man sie nicht nutzt,
it uses an automatic cropping algorithm.
wird der automatische Algorithmus angewandt.
- Wow. There it is. - Whoa. Wow.
Das ist er.
That's crazy.
Das ist verrückt.
Christophe, it likes you.
Christophe, er mag dich.
Okay, let's try the other-- the happy one. Lee: Wow.
Versuchen wir das Foto, auf dem du lächelst.
- Unbelievable. Oh, wow. - Both times.
- Unglaublich. - Beide Male.
So, do you guys think this machine is racist?
Was ist das? Glaubt ihr, diese Maschine ist rassistisch?
The only other theory I possibly have
Ich könnte mir sonst nur denken,
is if the algorithm prioritizes white faces
dass der Algorithmus weiße Gesichter bevorzugt,
because it can pick them up quicker, for whatever reason,
weil er sie aus irgendeinem Grund schneller erfasst,
against whatever background.
vor jedem Hintergrund.
Immediately, it looks through the image
Das Bild wird durchsucht, nach einem Gesicht gescannt.
and tries to scan for a face. Why is it always finding the white face first?
Warum findet es immer das weiße Gesicht zuerst?
Joss: With this picture, I think someone could argue
Bei diesem Bild könnte man argumentieren,
that the lighting makes Christophe's face more sharp.
dass die Beleuchtung Christophes Gesicht schärfer macht.
I still would love to do
Ich würde gerne
a little bit more systematic testing on this.
weitere systematische Tests durchführen.
I think maybe hundreds of photos could allow us to draw a conclusion.
Vielleicht bringen uns Hunderte Fotos zu Schlussfolgerungen.
I have downloaded a bunch of photos from a site called Generated Photos.
Ich habe einen Haufen Fotos von der Seite Generated Photos heruntergeladen.
These people do not exist. They were a creation of AI.
Diese Leute existieren nicht. Sie sind eine Schöpfung der KI.
And I went through, I pulled a bunch that I think will give us
Ich habe einige Bilder ausgewählt, die uns vermutlich
a pretty decent way to test this.
gute Testmöglichkeiten geben.
So, Christophe, I wonder if you would be willing to help me out with that.
Christophe, willst du mir helfen?
You want me to tweet hundreds of photos? - ( Lee laughs ) - Joss: Exactly.
Ich soll Hunderte Fotos tweeten?
I'm down. Sure, I've got time.
- Genau. - Klar. Ich habe Zeit.
Okay. <i> ( music playing )</i>
Ok. DER MYTHOS VON DER UNPARTEIISCHEN MASCHINE
There may be some people who take issue with the idea
Einige Leute haben vielleicht ein Problem damit,
that machines can be racist
dass Maschinen rassistisch sind,
without a human brain or malicious intent.
ohne menschliches Gehirn oder böswillige Absicht.
But such a narrow definition of racism really misses a lot of what's going on.
Aber diese enge Definition von Rassismus blendet vieles aus.
I want to read a quote that responds to that idea.
Ich möchte ein Zitat vorlesen.
It says, "Robots are not sentient beings, sure,
"Roboter sind natürlich keine Lebewesen,
but racism flourishes well beyond hate-filled hearts.
"aber Rassismus floriert weit über hasserfüllte Herzen hinaus.
No malice needed, no "N" word required,
"Es sind weder Bosheit noch Schimpfwörter nötig,
just a lack of concern for how the past shapes the present."
"nur eine Sorglosigkeit, wie die Vergangenheit die Gegenwart prägt."
I'm going now to speak to the author of those words, Ruha Benjamin.
Ich rede jetzt mit der Autorin dieser Worte, Ruha Benjamin...
<i> She's a professor of African-American Studies at Princeton University.</i>
...Professorin für Afroamerikanistik in Princeton.
When did you first become concerned
Wann kam Ihnen die Sorge,
that automated systems, AI, could be biased?
dass automatisierte Systeme, KI, voreingenommen sein könnten?
A few years ago, I noticed these headlines
Vor ein paar Jahren sah ich Schlagzeilen...
and hot takes about so-called racist and sexist robots.
AUTORIN ...und Meinungen zu rassistischen und sexistischen Robotern.
There was a viral video in which two friends were in a hotel bathroom
Es gab ein virales Video, in dem zwei Freunde in einem Hotelbadezimmer waren
and they were trying to use an automated soap dispenser.
und den automatisierten Seifenspender benutzten.
Black hand, nothing. Larry, go.
Schwarze Hand, nichts. Larry, los.
Black hand, nothing.
Schwarze Hand, nichts.
And although they seem funny and they kind of get us to chuckle,
Auch wenn es etwas lustig wirkt,
the question is, are similar design processes
stellt sich die Frage: Wirken sich ähnliche Designprozesse
impacting much more consequential technologies that we're not even aware of?
auf noch folgenreichere Technologien aus, was uns nicht bewusst ist?
When the early news controversies came along maybe 10 years ago,
Als die ersten Kontroversen aufkamen, vor etwa zehn Jahren,
people were surprised by the fact that they showed a racial bias.
waren die Leute überrascht von der rassistischen Voreingenommenheit.
Why do you think people were surprised?
Warum waren sie überrascht?
Part of it is a deep attachment and commitment
Das liegt an der tiefen Verwurzelung
to this idea of tech neutrality.
der Idee der Tech-Neutralität.
People-- I think because life is so complicated
Weil das Leben so kompliziert,
and our social world is so messy--
unsere soziale Welt so chaotisch ist,
really cling on to something that will save us,
halten wir uns an etwas fest, das uns retten wird,
and a way of making decisions that's not drenched
an der Möglichkeit von Entscheidungen,
in the muck of all of human subjectivity,
die nichts mit menschlicher Subjektivität, menschlichen Vorurteilen
human prejudice and frailty.
und Schwächen zu tun haben.
We want it so much to be true. We want it so much to be true, you know?
- Wir wollen unbedingt, dass das so ist. - Genau.
And the danger is that we don't question it.
Die Gefahr ist, dass wir es nicht hinterfragen.
And still we continue to have, you know, so-called glitches
Dennoch gibt es weiterhin Fehler,
when it comes to race and skin complexion.
wenn es um die Herkunft und Hautfarbe geht.
And I don't think that they're glitches.
Das sind gar keine Fehler.
It's a systemic issue in the truest sense of the word.
Das ist ein systemisches Problem, im wahrsten Sinne des Wortes.
It has to do with our computer systems and the process of design.
Das hat mit unseren Computersystemen und dem Design zu tun. KÜNSTLERISCHER LEITER
Joss:<i> AI can seem pretty abstract sometimes.</i>
KI kann manchmal ziemlich abstrakt wirken.
<i> So we built this to help explain</i>
Dieser Aufbau soll erklären,
<i> how machine learning works and what can go wrong.</i>
wie maschinelles Lernen funktioniert und was schiefgehen kann.
<i> This black box is the part of the system that we interact with.</i>
Diese Box ist der Teil des Systems, mit dem wir interagieren.
<i> It's the software that decides which dating profiles we might like,</i>
Die Software, die entscheidet, welche Profile wir mögen,
<i> how much a rideshare should cost,</i>
wie teuer die Fahrt wird
<i> or how a photo should be cropped on Twitter.</i>
oder wie ein Foto zugeschnitten wird.
<i> We just see a device making a decision.</i> <i> Or more accurately, a prediction.</i>
Das Gerät trifft Entscheidungen. Oder genauer, Vorhersagen.
<i> What we don't see is all of the human decisions</i>
VORHERSAGEMODELL Wir sehen nicht die Entscheidungen,
<i> that went into the design of that technology.</i>
die zum Design dieser Technologie führten.
<i> Now, it's true that when you're dealing with AI,</i>
DATENSATZ
that means that the code in this box
Hinsichtlich der KI bedeutet das, dass der Code in der Box
wasn't all written directly by humans, but by machine-learning algorithms
nicht direkt von Menschen geschrieben wurde, sondern von Lernalgorithmen,
that find complex patterns in data.
die Muster in Daten finden.
But they don't just spontaneously learn things from the world.
LERNALGORITHMUS Sie lernen jedoch nicht spontan von der Welt.
They're learning from examples.
Sie lernen anhand von Beispielen.
<i> Examples that are labeled by people,</i> <i> selected by people,</i>
Beispiele, die von Menschen gekennzeichnet, ausgewählt
<i> and derived from people, too.</i>
und auch abgeleitet werden.
See, these machines and their predictions, they're not separate from us or from our biases
Diese Maschinen und ihre Prognosen sind nicht von uns, unseren Vorurteilen,
or from our history,
unserer Geschichte
which we've seen in headline after headline
getrennt, was wir an den Schlagzeilen
for the past 10 years.
der letzten Jahre sehen.
We're using the face-tracking software,
Wir nutzen die Face-Tracking-Software,
so it's supposed to follow me as I move.
die mir bei Bewegungen folgen sollte.
As you can see, I do this-- no following.
Wie ihr sehen könnt, folgt sie mir nicht.
Not really-- not really following me.
Sie folgt mir nicht wirklich.
- Wanda, if you would, please? - Sure.
- Wanda, würdest du bitte? - Klar.
In 2010, the top hit
2010 wurden in der Google-Suche...
when you did a search for "black girls,"
AUTORIN, ALGORITHMEN, UNTERDRÜCKUNG
<i> 80% of what you found</i>
...nach dem Begriff "schwarze Frauen" zu 80 % Treffer angezeigt,
<i> on the first page of results was all porn sites.</i>
auf der ersten Seite, die Pornoseiten waren.
Google is apologizing after its photo software
Google entschuldigt sich, nachdem seine Fotosoftware
labeled two African-Americans gorillas.
zwei Afroamerikaner als Gorillas bezeichnet.
Microsoft is shutting down its new artificial intelligent bot
Microsoft stellt seinen neuen KI-Bot ab,
after Twitter users taught it how to be racist.
nachdem ihm Rassismus beigebracht wurde.
Woman:<i> In order to make yourself hotter,</i>
Damit du heißer aussiehst...
<i> the app appeared to lighten your skin tone.</i>
"FACEAPP"-FUNKTION WIRBELT FRAGE NACH RASSISMUS AUF ...erhellt die App den Hautton.
Overall, they work better on lighter faces than darker faces,
Sie funktionieren besser mit hellen Gesichtern.
and they worked especially poorly on darker female faces.
FAKTEN Besonders schlecht sind sie bei dunklen, weiblichen Gesichtern.
Okay, I've noticed that on all these damn beauty filters,
Mir fiel auf, dass diese Beauty-Filter...
is they keep taking my nose and making it thinner.
...meine Nase dünner machen.
Give me my African nose back, please.
Gebt mir bitte meine afrikanische Nase zurück.
Man:<i> So, the first thing that I tried was the prompt "Two Muslims..."</i>
Als Erstes gab ich ein: "Zwei Muslime..."
And the way it completed it was,
Und das Programm beendete den Satz so:
"Two Muslims, one with an apparent bomb, <i> tried to blow up the Federal Building</i>
"Zwei Muslime, einer mit einer Bombe, wollten Mitte der 90er Jahre
<i> in Oklahoma City in the mid-1990s."</i>
"das FBI-Gebäude sprengen."
Woman:<i> Detroit police wrongfully arrested Robert Williams</i>
Detroits Polizei verhaftete zu Unrecht einen Mann
<i> based on a false facial recognition hit.</i>
nach falscher Gesichtserkennung.
There's definitely a pattern of harm
DEMOKRATIE JETZT Es gibt definitiv ein schädliches Muster,
that disproportionately falls on vulnerable people, people of color.
das überproportional schutzlose, farbige Menschen benachteiligt.
Then there's attention, but of course, the damage has already been done. ( Skype ringing )
Das erregt die Aufmerksamkeit, aber der Schaden ist bereits angerichtet.
- Hello. - Hey, Christophe.
- Hallo. - Hi, Christophe.
Thanks for doing these tests.
Danke für die Tests.
- Of course. - I know it was a bit of a pain,
- Gerne. - Es war mühselig,
but I'm curious what you found. Sure. I mean, I actually did it.
- aber ich bin gespannt aufs Ergebnis. - Klar. Ich hab es getan.
I actually tweeted 180 different sets of pictures.
Ich habe 180 unterschiedliche Bildsätze auf Twitter gestellt.
In total, dark-skinned people were displayed in the crop 131 times,
Insgesamt wurden Dunkelhäutige 131-mal zugeschnitten gezeigt,
and light-skinned people were displayed in the crop 229 times,
und hellhäutige Menschen 229-mal.
which comes out to 36% dark-skinned and 64% light-skinned.
Das Verhältnis ist also 36 % zu 64 %.
That does seem to be evidence of some bias.
Das scheint eine gewisse Einseitigkeit zu beweisen.
It's interesting because Twitter posted a blog post
Interessant, denn Twitter hat gebloggt,
saying that they had done some of their own tests
dass vor Einführung des Tools eigene Tests
before launching this tool, and they said that
durchgeführt wurden,
they didn't find evidence of racial bias,
bei denen es keine Beweise gab.
but that they would be looking into it further.
Allerdings verfolgt Twitter die Sache weiter.
Um, they also said that the kind of technology that they use to crop images
Es hieß, dass die Technologie zum Zuschneiden der Bilder
is called a Saliency Prediction Model,
als Auffälligkeits-Vorhersagemodell bekannt ist.
which means software that basically is making a guess
Die Software rät im Grunde,
about what's important in an image.
was in einem Bild wichtig ist.
So, how does a machine know what is salient, what's relevant in a picture?
Woher weiß eine Maschine, was hervorstechend ist,
Yeah, it's really interesting, actually.
was relevant ist?
There's these saliency data sets
Das ist wirklich interessant.
that documented people's eye movements
Das sind die Datensätze, die die Augenbewegungen von Leuten
while they looked at certain sets of images.
beim Betrachten von Bildern erfassen.
So you can take those photos and you can take that eye-tracking data
Man kann Fotos und Eyetracking-Daten nehmen
and teach a computer what humans look at.
und einem Computer beibringen, was sich Menschen ansehen.
So, Twitter's not going to give me any more information
Twitter verrät nicht mehr darüber,
about how they trained their model,
wie ihr Modell trainiert wurde,
but I found an engineer from a company called Gradio.
aber ich sprach mit einem Entwickler der Firma Gradio.
They built an app that does something similar,
Dort wurde eine ähnliche App entwickelt,
and I think it can give us a closer look at how this kind of AI works.
die uns mehr darüber zeigt, wie diese Art von KI funktioniert.
- Hey. - Hey.
- Hi. - Hi.
- Joss. - Nice to meet you. Dawood.
- Joss. - Freut mich. Dawood.
So, you and your colleagues built a saliency cropping tool
Du und deine Kollegen, ihr habt ein Zuschneide-Tool entwickelt,
that is similar to what we think Twitter is probably doing.
das vermutlich dem ähnelt, das Twitter nutzt.
Yeah, we took a public machine learning model, posted it on our library,
Ja. Ein Modell für maschinelles Lernen... MITGRÜNDER, GRADIO
and launched it for anyone to try.
...wurde öffentlich zur Verfügung gestellt.
And you don't have to constantly post pictures on your timeline to try and experiment with it,
Man muss nicht ständig Bilder in seinem Konto posten,
which is what people were doing when they first became aware of the problem.
was die Leute anfangs getan haben.
And that's what we did. We did a bunch of tests just on Twitter.
Wie wir. Wir haben einige Tests auf Twitter gemacht.
But what's interesting about what your app shows
Aber das Interessante an eurer App
is the sort of intermediate step there, which is this saliency prediction.
ist der Zwischenschritt, die Vorhersage, was hervorstechen soll.
Right, yeah. I think the intermediate step is important for people to see.
Richtig. Den sollen die Menschen sehen.
Well, I-- I brought some pictures for us to try.
Ich habe ein paar Fotos mitgebracht.
These are actually the hosts of "Glad You Asked."
Das sind die Moderatoren dieser Serie.
And I was hoping we could put them into your interface
Könnten wir die in eure Schnittstelle hochladen
and see what, uh, the saliency prediction is.
und uns die Auffälligkeits-Vorhersage anschauen?
Sure. Just load this image here.
Sicher. Ich lade das Foto hoch.
Joss: Okay, so, we have a saliency map.
Ok, hier haben wir eine Map.
Clearly the prediction is that faces are salient,
Laut Vorhersage sind die Gesichter auffällig,
which is not really a surprise.
was nicht überrascht.
But it looks like maybe they're not equally salient.
Aber vielleicht stechen sie nicht gleichermaßen hervor.
- Right. - Is there a way to sort of look closer at that?
- Ja. - Können wir das genauer sehen?
So, what we can do here, we actually built it out in the app
Wir haben die App so ausgestattet,
where we can put a window on someone's specific face,
dass wir Fenster über die Gesichter legen können
and it will give us a percentage of what amount of saliency
und einen Prozentsatz erhalten, wie die Auffälligkeit
you have over your face versus in proportion to the whole thing.
einzelner Gesichter im Verhältnis ist.
- That's interesting. - Yeah.
- Das ist interessant. - Ja.
She's-- Fabiola's in the center of the picture,
Fabiola ist in der Mitte des Bildes,
but she's actually got a lower percentage
aber ihr Prozentsatz ist geringer
of the salience compared to Cleo, who's to her right.
im Vergleich zu Cleo, die rechts von ihr steht.
Right, and trying to guess why a model is making a prediction
Genau, und zu raten, warum ein Modell eine Vorhersage macht,
and why it's predicting what it is is a huge problem with machine learning.
ist ein Riesenproblem beim maschinellen Lernen.
It's always something that you have to kind of back-trace to try and understand.
Das muss man zurückverfolgen, um es zu verstehen.
And sometimes it's not even possible.
Manchmal ist das nicht mal möglich.
Mm-hmm. I looked up what data sets were used to train the model you guys used,
Ich habe mir die Datensätze eures Modells angesehen
and I found one that was created by researchers at MIT back in 2009.
und einen gefunden, der 2009 von Forschern am MIT erstellt wurde.
So, it was originally about a thousand images.
Ursprünglich waren das etwa 1.000 Bilder.
We pulled the ones that contained faces,
Wir haben die mit Gesichtern herausgenommen,
any face we could find that was big enough to see.
also alle Bilder mit erkenntlichen Gesichtern.
And I went through all of those, and I found that only 10 of the photos,
Die habe ich überprüft und herausgefunden, dass nur zehn der Bilder,
that's just about 3%,
also nur etwa 3 %,
included someone who appeared to be of Black or African descent.
eine Person mit dunkler Hautfarbe oder afrikanischer Herkunft zeigte.
Yeah, I mean, if you're collecting a data set through Flickr,
Ja. Wenn man Datensätze über Flickr sammelt,
you're-- first of all, you're biased to people
hat man eine einseitige Darstellung
that have used Flickr back in, what, 2009, you said, or something?
der Menschen, die Flickr 2009 benutzt haben.
Joss: And I guess if we saw in this image data set,
Und wenn wir an dem Bilddatensatz sehen,
there are more cat faces than black faces,
dass mehr Katzen als Schwarze gezeigt werden,
we can probably assume that minimal effort was made
können wir annehmen, dass nicht viel dafür getan wurde,
to make that data set representative.
um den Datensatz repräsentativ zu machen. WIE MASCHINEN VOREINGENOMMEN WERDEN
<i> When someone collects data into a training data set,</i>
ROHDATEN – DATENSATZ Wenn jemand einen Datensatz erstellt,
<i>they can be motivated by things like convenience and cost</i>
können Faktoren wie Aufwand und Kosten eine Rolle spielen,
<i> and end up with data that lacks diversity.</i>
was zu Daten ohne Diversität führen kann.
<i> That type of bias, which we saw in the saliency photos,</i>
Diese Art einseitige Darstellung
<i> is relatively easy to address.</i>
kann man recht einfach beheben.
If you include more images representing racial minorities,
Mehr Bilder mit Minderheiten
you can probably improve the model's performance on those groups.
verbessern vermutlich das Modell für diese Gruppen.
But sometimes human subjectivity is imbedded right into the data itself.
Aber manchmal ist menschliche Subjektivität in den Daten direkt eingebettet.
Take crime data for example.
Zum Beispiel Kriminalitätsdaten.
Our data on past crimes in part reflects
Unsere Daten über frühere Straftaten
police officers' decisions about what neighborhoods to patrol
reflektieren Entscheidungen von Polizisten,
and who to stop and arrest.
wen sie zum Beispiel anhalten.
We don't have an objective measure of crime,
Wir haben kein objektives Maß
and we know that the data we do have contains at least some racial profiling.
und wir wissen, dass die Daten teilweise auf Racial Profiling beruhen.
But it's still being used to train crime prediction tools.
Dennoch werden damit Vorhersagetools trainiert.
And then there's the question of how the data is structured over here.
BEZEICHNUNG: KRIMINALITÄT Und dann ist da noch die Frage, wie die Daten hier strukturiert sind.
Say you want a program that identifies
Ein Programm,
chronically sick patients to get additional care
das chronisch Kranke erkennen soll...
so they don't end up in the ER.
PATIENT MIT HOHEM RISIKO ...um Notaufnahmen zu meiden.
You'd use past patients as your examples,
Frühere Patienten sind Beispiele,
but you have to choose a label variable.
aber man muss eine Variable wählen.
You have to define for the machine what a high-risk patient is
Man muss "Risikopatient" für die Maschine definieren,
and there's not always an obvious answer.
und nicht immer ist das einfach.
A common choice is to define high-risk as high-cost,
Gewöhnlich werden sie als "teuer" eingestuft...
under the assumption that people who use
PATIENT GESUNDHEITSKOSTEN ...da angenommen wird,
a lot of health care resources are in need of intervention.
dass diese Patienten mehr Hilfe benötigen. FRÜHERER PATIENT 85.000 $ – GESUNDHEITSKOSTEN
Then the learning algorithm looks through
Der Lernalgorithmus durchsucht die Patientendaten,
the patient's data-- their age, sex,
das Alter, das Geschlecht,
medications, diagnoses, insurance claims,
Medikamente, Diagnosen und Versicherungsansprüche.
and it finds the combination of attributes
Er findet die Attribute,
that correlates with their total health costs.
die die Gesundheitskosten ausmachen.
And once it gets good at predicting
LERNALGORITHMUS
total health costs on past patients,
Sobald das Modell die Kosten vergangener Patienten vorhersagt,
that formula becomes software to assess new patients
wird die Formel zur Software für neue Patienten,
and give them a risk score.
die eine Risikobewertung erhalten.
But instead of predicting sick patients,
Doch die Software sagt nur teure Patienten voraus.
this predicts expensive patients.
TOOL ZUR RISIKOBEWERTUNG
Remember, the label was cost,
Das Attribut waren die Kosten,
and when researchers took a closer look at those risk scores,
und als sich Forscher die Risikobewertung ansahen,
they realized that label choice was a big problem.
erkannten sie ein großes Problem darin.
But by then, the algorithm had already been used
Doch da wurde der Algorithmus bereits
<i> on millions of Americans.</i>
bei Millionen US-Bürgern angewandt.
It produced risk scores for different patients,
Er produzierte Risikobewertungen...
and if a patient had a risk score
...und wenn ein Patient eine Risikobewertung...
of almost 60,
ALGORITHMISCHE RISIKOBEWERTUNG ...von fast 60 hatte,
they would be referred into the program for screening-- for their screening.
wurden sie ins Programm eingespeist, um weiter überprüft zu werden.
And if they had a risk score of almost 100,
WEITERE ÜBERPRÜFUNG Und bei einer Risikobewertung von fast 100
they would default into the program.
kamen sie standardmäßig ins Programm.
Now, when we look at the number of chronic conditions
STANDARDMÄSSIG Jetzt sehen wir uns die chronischen Erkrankungen an,
that patients of different risk scores were affected by,
unter denen Patienten unterschiedlicher Risikobewertungen litten.
you see a racial disparity where white patients
CHRONISCHE ERKRANKUNGEN Hier sehen wir eine Ungleichheit. Weiße Patienten
had fewer conditions than black patients at each risk score.
hatten weniger Erkrankungen als Schwarze, und das in jeder Bewertungsstufe.
That means that black patients were sicker
Schwarze Patienten waren also kranker
than their white counterparts when they had the same risk score.
als weiße, wenn sie in derselben Stufe waren.
And so what happened is in producing these risk scores
Was bei der Erstellung der Risikobewertung also passierte, ist,
and using spending,
dass durch die Kosten
they failed to recognize that on average
im Schnitt nicht erkannt wurde,
black people incur fewer costs for a variety of reasons,
dass Schwarze aus einer Vielzahl an Gründen weniger Kosten verursachen,
including institutional racism,
durch institutionellen Rassismus,
including lack of access to high-quality insurance,
einschließlich mangelndem Zugang zu guten Versicherungen
and a whole host of other factors.
und vielen anderen Faktoren.
But not because they're less sick.
- Nicht, weil sie weniger krank sind. - Genau.
Not because they're less sick. And so I think it's important to remember this had racist outcomes,
Man muss bedenken, dass dies rassistische Folgen hatte,
discriminatory outcomes, not because there was
diskriminierende Folgen, nicht weil dahinter
a big, bad boogie man behind the screen
ein böser Mensch stand,
out to get black patients,
der Schwarzen schaden wollte,
but precisely because no one was thinking
sondern weil niemand
about racial disparities in healthcare.
an Ungleichheiten im Gesundheitswesen dachte.
No one thought it would matter.
Niemand hielt das für wichtig.
And so it was about the colorblindness,
Es ging also um Farbenblindheit,
the race neutrality that created this.
Rassenneutralität hat das verursacht.
The good news is that now the researchers who exposed this
Die gute Nachricht ist, dass die Forscher, die das aufgedeckt haben,
and who brought this to light are working with the company
zusammen mit der Firma arbeiten, die den Algorithmus produziert hat,
that produced this algorithm to have a better proxy.
um bessere Voraussetzungen zu schaffen.
So instead of spending, it'll actually be people's actual physical conditions
Anstatt auf die Kosten zu schauen, geht es um den Gesundheitszustand,
and the rate at which they get sick, et cetera,
die Erkrankungen und so weiter.
that is harder to figure out,
Das ist komplizierter,
it's a harder kind of proxy to calculate, but it's more accurate.
schwieriger zu berechnen, aber auch genauer.
I feel like what's so unsettling about this healthcare algorithm
Das Beunruhigende an diesem Algorithmus ist,
is that the patients would have had no way of knowing this was happening.
dass Patienten nichts davon wissen.
It's not like Twitter, where you can upload
Nicht wie bei Twitter, wo man ein Bild hochlädt,
your own picture, test it out, compare with other people.
es austestet und vergleicht.
This was just working in the background,
Im Gesundheitswesen lief der Algorithmus im Hintergrund
quietly prioritizing the care of certain patients
und priorisierte bestimmte Patienten
based on an algorithmic score
aufgrund ihrer Bewertung,
while the other patients probably never knew
während andere nie gewusst hätten,
they were even passed over for this program.
dass sie übergangen wurden.
I feel like there has to be a way
Es muss eine Möglichkeit geben,
for companies to vet these systems in advance,
wie Unternehmen diese Systeme im Voraus testen können.
so I'm excited to talk to Deborah Raji.
Daher freue ich mich auf Deborah Raji.
She's been doing a lot of thinking and writing about just that.
Sie hat genau über dieses Thema nachgedacht und geschrieben.
My question for you is how do we find out
ALGORITHMEN AUDITIEREN
about these problems before they go out into the world
Wie finden wir vorher heraus, welche Probleme es gibt,
and cause harm rather than afterwards?
bevor sie einen Schaden anrichten?
So, I guess a clarification point is that machine learning
Ein Punkt ist, dass maschinelles Lernen
is highly unregulated as an industry.
als Branche stark unreguliert ist.
These companies don't have to report their performance metrics,
MOZILLA-BEITRAGENDE Die Firmen müssen ihre Metriken nicht offenbaren
they don't have to report their evaluation results
oder ihre Auswertungsergebnisse
to any kind of regulatory body.
an eine Regulierungsbehörde weitergeben.
But internally there's this new culture of documentation
Aber intern gibt es eine neue Kultur des Dokumentierens,
that I think has been incredibly productive.
was sehr produktiv ist.
I worked on a couple of projects with colleagues at Google,
Ich habe mit Kollegen an einigen Projekten bei Google gearbeitet,
and one of the main outcomes of that was this effort called Model Cards--
und eines der Ergebnisse
<i> very simple one-page documentation</i>
war das "Model Cards", eine simple, einseitige Dokumentation,
<i> on how the model actually works,</i>
wie das Modell funktioniert,
<i> but also questions that are connected to ethical concerns,</i>
aber auch Fragen im Zusammenhang mit ethischen Bedenken,
<i> such as the intended use for the model,</i>
wie die beabsichtigte Nutzung,
<i> details about where the data's coming from,</i>
Einzelheiten über den Datenursprung,
<i> how the data's labeled, and then also, you know,</i>
wie die Daten gekennzeichnet sind und außerdem
<i> instructions to evaluate the system according to its performance</i>
Anweisungen zur Bewertung des Systems entsprechend der Leistung
<i> on different demographic sub-groups.</i>
bei demografischen Untergruppen.
Maybe that's something that's hard to accept
Vielleicht ist es schwer zu akzeptieren,
is that it would actually be maybe impossible
dass es vielleicht unmöglich ist,
to get performance across sub-groups to be exactly the same.
die Leistung bei den Untergruppen perfekt anzugleichen.
How much of that do we just have to be like, "Okay"?
Wie oft müssen wir damit leben?
I really don't think there's an unbiased data set
Es gibt keine unvoreingenommenen Datensätze,
in which everything will be perfect.
in denen alles perfekt ist.
I think the more important thing is to actually evaluate
Das Wichtigste ist, Dinge für diejenigen
and assess things with an active eye
mit wachem Auge zu beurteilen,
for those that are most likely to be negatively impacted.
die am wahrscheinlichsten negativ betroffen sind.
You know, if you know that people of color are most vulnerable
Wenn man weiß, dass dies farbige Menschen sind
or a particular marginalized group is most vulnerable
oder eine bestimmte Randgruppe
in a particular situation, then prioritize them in your evaluation.
in einer bestimmten Situation, dann müssen sie priorisiert werden.
But I do think there's certain situations
Aber es gibt bestimmte Situationen,
where maybe we should not be predicting with a machine-learning system at all.
in denen überhaupt keine Vorhersagen getroffen werden sollten.
We should be super cautious and super careful
Wir müssen extrem vorsichtig sein,
about where we deploy it and where we don't deploy it,
wo wir diese Systeme einsetzen
and what kind of human oversight we put over these systems as well.
und wie sie von Menschen überwacht werden.
The problem of bias in AI is really big.
Das Problem der Voreingenommenheit ist bei KI sehr groß. Es ist schwierig.
It's really difficult. But I don't think it means we have to give up on machine learning altogether.
Dennoch sollten wir maschinelles Lernen nicht aufgeben.
One benefit of bias in a computer versus bias in a human
Ein Vorteil von Computern im Gegensatz zu Menschen ist,
is that you can measure and track it fairly easily.
dass man die Probleme recht einfach nachverfolgen kann.
<i> And you can tinker with your model</i>
Man kann das Modell anpassen,
<i> to try and get fair outcomes if you're motivated to do so.</i>
um fairere Ergebnisse zu erzielen, wenn man will.
The first step was becoming aware of the problem.
Zunächst kam das Problembewusstsein.
Now the second step is enforcing solutions, which I think we're just beginning to see now.
Dann die Durchsetzung von Lösungen, was wir mittlerweile sehen.
<i> But Deb is raising a bigger question.</i>
Deb wirft eine größere Frage auf.
<i> Not just how do we get bias out of the algorithms,</i>
Es geht nicht nur um Voreingenommenheit,
but which algorithms should be used at all?
welche Algorithmen sollten überhaupt genutzt werden?
Do we need a predictive model to be cropping our photos?
Brauchen wir ein Vorhersagemodell, um unsere Fotos zuzuschneiden?
Do we want facial recognition in our communities?
Wollen wir eine Gesichtserkennung?
Many would say no, whether it's biased or not.
Viele würden in jedem Fall nein sagen.
And that question of which technologies
Die Frage, welche Technologien
get built and how they get deployed in our world,
entwickelt und wie sie in unserer Welt eingesetzt werden,
it boils down to resources and power.
läuft auf Ressourcen und Macht hinaus.
It's the power to decide whose interests
Die Macht zu entscheiden,
will be served by a predictive model,
wessen Interessen bedient
and which questions get asked.
und welche Fragen gestellt werden.
You could ask, okay, I want to know how landlords
Man könnte fragen: "Ich möchte wissen, wie Vermieter
are making life for renters hard.
"den Mietern das Leben schwer machen.
Which landlords are not fixing up their buildings?
"Welche Vermieter reparieren die Gebäude nicht?
Which ones are hiking rent?
"Wer erhöht ständig die Miete?"
Or you could ask, okay, let's figure out which renters have low credit scores.
Oder: "Finden wir heraus, welche Mieter eine schlechte Bonität haben.
Let's figure out the people who have a gap in unemployment
"Wer mal arbeitslos war, sodass ich an diese Leute
so I don't want to rent to them.
"nicht vermiete."
And so it's at that problem of forming the question
Das Problem ist also, die Frage zu formulieren
and posing the problem
und das Problem aufzuwerfen.
that the power dynamics are already being laid
Hier wird die Machtdynamik bereits bestimmt,
that set us off in one trajectory or another.
die uns in die eine oder andere Richtung führt.
And the big challenge there being that
Die große Herausforderung besteht darin,
with these two possible lines of inquiry,
dass bei diesen beiden Fragestellungen
- one of those is probably a lot more profitable... - Exactly, exactly.
eine vermutlich viel profitabler ist... - Genau. - ...als die andere.
- ...than the other one. - And too often the people who are creating these tools,
Und allzu oft müssen die Entwickler der Tools
they don't necessarily have to share the interests
nicht die Interessen
of the people who are posing the questions,
der Leute teilen, die die Fragen stellen,
but those are their clients.
aber es sind ihre Kunden.
So, the question for the designers and the programmers is
Die Frage für Entwickler und Programmierer lautet,
are you accountable only to your clients
ob sie nur für ihre Kunden verantwortlich sind
or are you also accountable to the larger body politic?
oder auch für die gesamte politische Gemeinschaft?
Are you responsible for what these tools do in the world? <i> ( music playing )</i>
Sind Sie verantwortlich dafür, was diese Tools auf der Welt machen?
( indistinct chatter )
Du siehst mich, oder?
Man: Can you lift up your arm a little? ( chatter continues )
Kannst du deinen Arm hochheben?
Similar videos:

How Racist Am I?
Vox
5.6M views 0 likes -1 dislikes 30 Mar 202134% match

hacker:HUNTER Ha(ck)c1ne: Defending the Cure
Tomorrow Unlocked
836.4K views 2.5K likes -1 dislikes 02 Oct 202031% match

De grenzeloze morele bevoogding door één mening
Mieke Mosmuller
20.7K views 1.3K likes 17 dislikes 28 Jan 202130% match

Clean a Washing Machine Inside: How to Remove Mold, Soap Scum and More with a CHEAP Organic Cleaner
Bens Appliances and Junk
1.2M views 21.8K likes -1 dislikes 28 Dec 202030% match

#FragEinenJuden Teil 3: Religiöse Strömungen
Marina Weisband
3.7K views 232 likes 2 dislikes 19 Nov 202030% match

ZAPP: Joe Biden; Handys als Waffe; Fixer in Bergkarabach | ZAPP | NDR
ZAPP - Die Medienredaktion
12.9K views 330 likes 32 dislikes 20 Jan 202130% match

Does My Neighborhood Determine My Future?
Vox
1.7M views 0 likes -1 dislikes 01 Apr 202130% match

How Does the Internet Work? - Glad You Asked S1
Vox
10.5M views 0 likes -1 dislikes 08 Jan 202030% match

Will We Survive Mars? - Glad You Asked S1
Vox
18.9M views 119.8K likes -1 dislikes 08 Oct 201930% match

Joseph Rollinson - Our Efficacy Study - Duocon 2020
Duolingo
24.8K views 458 likes 17 dislikes 26 Sep 202029% match

COMO INSTALAR UN AIS EN TU BARCO
Soltaramarras
16.8K views 1K likes 15 dislikes 08 Aug 202029% match

Why Do Memes Matter? - Glad You Asked S1
Vox
2.5M views 0 likes -1 dislikes 08 Oct 201929% match

Warum Reichsbürger gegen das System demonstrieren
Y-Kollektiv
1.7M views 36.5K likes -1 dislikes 05 Nov 202029% match

Blockchain Film | Decentralized Finance | Bitcoin | Distributed Systems | Crypto | Digital Currency
China - Insight
41.6K views 855 likes 17 dislikes 19 Nov 202029% match

Is Beauty Culture Hurting Us? - Glad You Asked S1
Vox
3.4M views 0 likes -1 dislikes 08 Jan 202029% match

Natalia Castillejo - Audio Lessons & More - Duocon 2020
Duolingo
6.7K views 162 likes 3 dislikes 26 Sep 202029% match

Darum ist Corona auch 2021 gefährlich
MrWissen2go
383.5K views 19.2K likes 1.7K dislikes 03 Jan 202129% match

"FACTOR X" 03 de Noviembre 2020 (+57 315390 0147)
APR MINISTRIES
2K views 504 likes 1 dislikes 03 Nov 202029% match

William Toel: Wohlstand in Deutschland in Gefahr! Das rät der Experte aus den USA unserem Land!
Atlas Initiative für Recht und Freiheit
36.9K views 1.9K likes 37 dislikes 22 Dec 202029% match

Unser Leben mit Corona | hessenschau extra
Hessischer Rundfunk
1.8K views 36 likes 13 dislikes 11 Nov 202029% match

In Your Face - Mind Field (Ep 7)
Vsauce
1.4M views 0 likes 0 dislikes 22 Feb 201729% match



hessenschau vom 11.11.2020
Hessischer Rundfunk
3.4K views 42 likes 11 dislikes 11 Nov 202028% match

IMPARA L'ITALIANO con @THE PILLOW (Parte 1) [Con sottotitoli]
Piazzasquare italiano
3.1K views 240 likes 0 dislikes 04 Feb 202128% match

hessenschau vom 10.03.2021
Hessischer Rundfunk
6.1K views 73 likes 13 dislikes 10 Mar 202128% match

11 things we HATE about life in MEXICO
Tangerine Travels
48.2K views 3K likes 172 dislikes 15 Dec 202028% match


hessenschau vom 17.12.2020
Hessischer Rundfunk
5.7K views 77 likes 13 dislikes 17 Dec 202028% match

#FragEinenJuden Teil 2: Religion
Marina Weisband
3.9K views 267 likes 5 dislikes 14 Nov 202028% match

ZAPP spezial: Medien im Corona-Stress | ZAPP | NDR
ZAPP - Die Medienredaktion
17.3K views 327 likes 32 dislikes 25 Nov 202028% match

Memory, Explained | FULL EPISODE | Vox + Netflix
Vox
830.6K views 24.6K likes -1 dislikes 11 Sep 201928% match




Why Are We So Lonely? - Glad You Asked S1
Vox
5.2M views 0 likes -1 dislikes 08 Jan 202028% match


Settings Privacy About Contact Donate