Don't A/B Test Yourself Off a CliffYouTube↗  IA↗(long shot)
Science & Technology  4K views 108 likes 1 dislikes   03 Jul 2020
NNgroup 252K subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
- A-B Testing is a big part of how modern products
- A-B Testing ist ein wichtiger Bestandteil moderner Produkte
are developed and optimized.
entwickelt und optimiert werden.
And there's a good reason for it.
Und es gibt einen guten Grund dafür.
When it's done well
Wenn es gut gemacht ist
you compare one or more possible changes
Sie vergleichen eine oder mehrere mögliche Änderungen
in the design that you're considering
in dem Design, das Sie erwägen,
against the existing version.
gegen die bestehende Fassung.
And you see which one performs better.
Und Sie sehen, wer besser abschneidet.
It gives you really good large sample-size data
Es liefert Ihnen wirklich gute große Probengrößendaten
about how people behave.
wie sich Menschen verhalten.
But it's not the whole story
Aber es ist nicht die ganze Geschichte
because you're blind as to why something worked better
weil du blind bist, warum etwas besser funktioniert hat
and how people felt about it.
und wie die Leute sich dabei gefühlt haben.
If A-B testing is the only technique that you use
Wenn A-B-Tests die einzige Technik sind, die Sie verwenden
to test a design
zur Prüfung eines Entwurfs
you can end up with an experience
Sie können mit einer Erfahrung enden
that's worse than some of its parts.
Das ist schlimmer als einige seiner Teile.
Have you been into a clothing store lately,
Warst du in letzter Zeit in einem Bekleidungsgeschäft,
like an actual physical clothing store?
Wie ein echtes Bekleidungsgeschäft?
What happens first?
Was passiert als Erstes?
Someone pops up and goes.
Jemand taucht auf und geht.
- Hey, how's it going?
- Hey, wie läuft es?
Can I help you find anything?
Kann ich Ihnen helfen?
- Ahh.
- Ahh.
You try and dodge them
Du versuchst ihnen aus dem Weg zu gehen
because you've already been to two other stores today
weil du heute schon in zwei anderen Läden warst
and you don't want to have to have
und du willst nicht
the same conversation again
wieder das gleiche Gespräch
where you go, "Oh, I'm fine, just browsing."
Wo du hingehst, oh, mir geht's gut, ich sehe nur nach.
Then you walk forward a few feet
Dann gehst du ein paar Meter vor
and it looks like the coast is clear
und es sieht so aus, als wäre die Luft rein
so you start and get some of the clothes
Also fang an und hol ein paar Klamotten
on one of the racks.
auf einem der Regale.
And then suddenly someone else is there.
Und plötzlich ist jemand anders da.
- Hey, can I help you find anything?
- Hey, kann ich Ihnen helfen, etwas zu finden?
- Ah, so you do a little fake out
- Ah, so tun Sie ein wenig unecht
and you try and get past them
und du versuchst an ihnen vorbeizukommen
to an area where they'll just leave you alone
in ein Gebiet, wo sie dich in Ruhe lassen
and let you shop for clothes
und dich einkaufen lassen
but another person is waiting to tackle you
aber eine andere Person wartet darauf, Sie anzugreifen
from behind a display.
hinter einem Display.
So you turn and you dodge them
Also wendest du dich und weichst ihnen aus
and then they end up chasing you around the store
und dann jagen sie dich durch den Laden
and so you run away never to return.
Und du rennst weg, um nie zurückzukehren.
This is a terrible experience.
Das ist eine schreckliche Erfahrung.
But it's pretty universal nowadays.
Aber es ist heutzutage ziemlich universell.
How did this happen?
Wie konnte das passieren?
Well, it wasn't someone purposefully designing a terrible,
Nun, es war nicht jemand, der absichtlich ein schreckliches,
stressful end to end experience.
stressige Ende-zu-Ende-Erfahrung.
This came from a bunch of little experiments.
Das kam von ein paar kleinen Experimenten.
So having a person greet you when you walked in
Eine Person grüßt dich, wenn du reinkommst
resulted in more sales
zu mehr Verkäufen geführt
so that became the new standard.
Das wurde der neue Standard.
Next they tried doing the same thing
Als Nächstes versuchten sie dasselbe
but divvying up the store into several zones
sondern das Geschäft in mehrere Zonen aufteilen
with an employee in each one
mit einem Angestellten in jedem einzelnen
and that bumped up the numbers
und das erhöhte die Zahlen
more than having just one person do it.
Mehr als nur eine Person.
So that became the new standard.
Das wurde zum neuen Standard.
And then there were experiments
Und dann gab es Experimente
about what they should say
darüber, was sie sagen sollten
and how much time they should wait
und wie lange sie warten sollten
before engaging you and so on.
bevor Sie sich engagieren und so weiter.
So we ended up with retail stores
Also landeten wir im Einzelhandel
filled with employees on headsets chasing customers around
mit Mitarbeitern auf Headsets, die Kunden umhauen
in order to lift a sales metric slightly.
um eine Verkaufszahl leicht zu heben.
But overall the whole experience
Aber insgesamt die ganze Erfahrung
became kind of stressful and unpleasant.
wurde irgendwie stressig und unangenehm.
And kinda dehumanizing for everyone involved.
Und irgendwie entmenschlichend für alle Beteiligten.
Each little change lifted a metric
Jede kleine Änderung hob eine Metrik
but it made the experience a little less pleasant.
aber es machte das Erlebnis etwas weniger angenehm.
Each one on its own wasn't a deal breaker
Jeder für sich allein war kein Vertragsbrecher
but combining them
aber sie zu kombinieren
led to a cumulatively terrible experience.
führte zu einer insgesamt schrecklichen Erfahrung.
It became worse than some of its parts.
Es wurde schlimmer als einige seiner Teile.
And now retail stores
Und jetzt Einzelhandelsgeschäfte
are losing a lot of ground to e-commerce
verlieren viel Boden für den elektronischen Geschäftsverkehr
and it's not hard to see why.
Und es ist nicht schwer zu erkennen, warum.
Ecommerce is more convenient, sure,
Elektronischer Handel ist bequemer, sicher,
but we also don't have to have these unpleasant interactions
aber wir müssen auch nicht diese unangenehmen Interaktionen haben
where we feel pressured to make a snap decision
wo wir uns gezwungen fühlen, eine schnelle Entscheidung zu treffen
except we're kinda turning ecommerce
außer, dass wir E-commerce drehen
into the same nightmare.
in den gleichen Albtraum.
Popups on top of popups, chat bots, banners,
Popups auf Popups, Chat-Bots, Banner,
flashing animations, they're all grabbing our attention.
Blinkende Animationen, sie alle erregen unsere Aufmerksamkeit.
This all came out of the same practice,
Das kam alles aus derselben Praxis,
optimizing via A-B testing.
Optimierung durch A-B Test.
We're testing to see which version of something performs better
Wir testen, um zu sehen
but with only a limited understanding of why it does.
welche Version von etwas besser abschneidet aber nur in begrenztem Verständnis der Gründe.
The problem is that this is happening
Das Problem ist, dass dies geschieht
without actually spending time with users
ohne tatsächlich Zeit mit den Nutzern zu verbringen
to find out why they do the things they do
um herauszufinden, warum sie tun, was sie tun,
and how they feel about it.
und wie sie darüber denken.
So all we know is that if we put a modal popup
Alles, was wir wissen, ist, wenn wir ein modales Popup
that pressures people to sign up
die die Menschen unter Druck setzt, sich zu verpflichten
then we might see that number go up a little bit
dann sehen wir vielleicht, wie diese Zahl ein wenig nach oben geht
but we forget about how we're destroying our brand goodwill
aber wir vergessen, wie wir unser Markenwohlwollen zerstören
in the process.
dabei.
So don't A-B test yourself off a cliff.
Also testen Sie sich nicht von einer Klippe.
When we look only at a little sliver of something
Wenn wir nur einen kleinen Fetzen von etwas betrachten
we don't understand how all the pieces we put together
Wir verstehen nicht, wie all die Teile, die wir zusammensetzen
make the whole experience worse.
die ganze Erfahrung verschlimmern.
You can step wise optimize things
Man kann Dinge schrittweise optimieren
to be worse than when you started
schlimmer als zu Beginn
because each little experiment on its own
weil jedes kleine Experiment von allein
might work in isolation
kann isoliert arbeiten
but together they're a bad combination.
Aber zusammen sind sie eine schlechte Kombination.
It's important that you combine your A-B testing
Es ist wichtig, dass Sie Ihre A-B-Tests kombinieren
with some qualitative research
mit etwas qualitativer Forschung
where you can find out why your design
wo Sie herausfinden können, warum Ihr Design
changed those metrics.
diese Parameter geändert hat.
Similar videos:

You Can't Test Everything, So What Should You Test?
NNgroup
2.1K views 82 likes 0 dislikes 29 Jan 202144% match

Is A/B Testing Faster than Usability Testing at Getting Results?
NNgroup
1.9K views 71 likes 0 dislikes 12 Feb 202136% match

5-Second Usability Test
NNgroup
16.6K views 160 likes 2 dislikes 20 Apr 201830% match

User Testing: Why & How (Jakob Nielsen)
NNgroup
17.4K views 213 likes 1 dislikes 25 May 201829% match

This is What Made Steve Jobs EXCEPTIONAL!
Evan Carmichael
3.3M views 57.6K likes 866 dislikes 28 Feb 201527% match


A sit-down with Arin from Game Grumps I PAX Prime
YouTube Creators
100.1K views 2.1K likes 51 dislikes 10 Sep 201526% match

The COVERT SECRET to Speaking in Front of People Like a BOSS
Stylish D Tailors
21.3K views 700 likes 11 dislikes 20 Oct 201726% match

It's Not Dirt! Dry Skin and Toenails
Dr Nail Nipper
927.6K views 3.5K likes 1K dislikes 25 May 201826% match

La Élite Oscura no Vio Venir Esto!!!
new consciousness
98.1K views 8K likes 190 dislikes 12 May 202026% match

Usability Testing w. 5 Users: Design Process (video 1 of 3)
NNgroup
22.1K views 320 likes 4 dislikes 26 Oct 201826% match

Internet Addiction
The Young Turks
53.7K views 1.3K likes 51 dislikes 07 Oct 201226% match

Findability vs. Discoverability
NNgroup
3.2K views 72 likes 0 dislikes 23 Oct 202025% match

Removing a dbrand skin from an iPhone
zollotech
1M views 5K likes 918 dislikes 06 Jan 201625% match

UX Vision
NNgroup
1.8K views 66 likes 1 dislikes 30 Oct 202025% match

Pro Life Message on Dry Cleaner's Hangers
The Young Turks
55.3K views 978 likes 130 dislikes 10 Dec 201225% match

Facilitation 101
NNgroup
1.6K views 56 likes 2 dislikes 04 Dec 202025% match

👣 Extreme Ingrown Toenail Causes Problem That Needs To Be Removed Tutorial👣
The Meticulous Manicurist Nail Tutorials
2.7M views 12.8K likes -1 dislikes 31 Jan 201825% match

Headlight Restoration using Toothpaste
ChrisFix
27.9M views 276.1K likes 0 dislikes 25 Jun 201425% match



Horse Meat Found in Ikea Meatballs
The Young Turks
48.8K views 905 likes 87 dislikes 26 Feb 201325% match

How to Fix Your Xbox Controller Headset Jack
Tinker Man Mick
2.2K views 45 likes 2 dislikes 09 Aug 202025% match

НЕ ПОКУПАЙТЕ МАСКИ СДЕЛАЙТЕ САМИ ЗА 2 минуты БЕЗ ШИТЬЯ
Useful TV
1.3M views 54.9K likes -1 dislikes 24 Mar 202025% match

13 Consejos De Siddharta Gautama Para Tiempos Muy Difíciles
Ciencia del Saber
125.3K views 3.3K likes 87 dislikes 01 Dec 201725% match


4 Steps to Getting Started with DesignOps
NNgroup
2.9K views 67 likes 1 dislikes 25 Sep 202023% match

Intranet Vision
NNgroup
1.1K views 26 likes 0 dislikes 05 Feb 202123% match

The Magical Number 7 and UX
NNgroup
6.8K views 198 likes 4 dislikes 15 Jan 202123% match

Information Scent
NNgroup
1.8K views 60 likes 1 dislikes 27 Nov 202023% match

Diary Studies
NNgroup
1.8K views 60 likes 0 dislikes 29 Jan 202123% match

Who Inspired Jakob Nielsen?
NNgroup
3.2K views 83 likes -1 dislikes 27 Nov 202023% match

Onboarding: Skip it When Possible
NNgroup
8.4K views 238 likes 2 dislikes 15 Jan 202123% match

4 Trustworthiness Factors
NNgroup
2.1K views 65 likes 5 dislikes 30 Oct 202023% match


Settings Privacy About Contact Donate