ml5.js: Webcam Image ClassificationYouTube↗  IA↗(long shot)
Education  48.9K views 948 likes 9 dislikes   02 Aug 2018
The Coding Train 1.8M subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Contributed subtitles
Portuguese Gustavo Diel
Click to Play Video Click to Play Video
hello back I'm here to do another video using the ml 5 JavaScript library a
Ola! Estou de volta. Estou aqui para fazer outro video usando a biblioteca JavaScript ml5
library beginning a friendly library
que é uma biblioteca amigável para iniciantes sobre machine learning. Eu vou usar
about machine learning I'm gonna use again the same pre-trained model called mobile debt that I talk too much about
o mesmo modelo pré-treinado chamado MobileNet que ja falei bastante sobre
in the previous video but instead of attempting to classify this image as a
nos últimos videos, porém em vez de tentar classificar essa imagem como um
puffin in which the model failed to it
papagaio, o modelo falhou em reconhecer. Ele acha que é um ostraceiro, o que não
thinks it's an oyster catcher which is not an unreasonable guess I am going to attempt to classify images coming
é um palpite ruim. Eu vou tentar classificar imagens vindas
straight in in real time from the web camera so this is actually what that
diretamente em tempo real da webcam. Então isso não deveria
take us very long frankly cuz I've mostly written all the code for it so
levar muito tempo honestamente, porque eu ja escrevi todo o código para isso. Então
the first thing I want to change in the code it to turn it into video is I want
a primeira coisa que eu quero é mudar no código e mudar para video é
to go and look at where I created the image so I said puffin equals create
ver onde eu crio a image. Então, eu disse puffin é igual a createImage.
image I had just this static image now what I want to do is I want to use the
Eu so tenho essa imagem estática. Agora o que eu quero fazer é usar a
p5 function called create capture and instead of pointing to a can't spell
função do p5 chamada createCapture() e em vez de
today instead if I've can't spell every day instead of pointing to an image file
apontar para um arquivo de imagem
the argument that I give the create capture function is just the constant
o argumento que eu vou passar para a função createCapture() é apenas a constante
video video means I want to create a video capture it's gonna default to the
VIDEO. VIDEO quer dizer que eu quero fazer uma captura de video. Por padrão, ele usa
default camera it's connected to the computer so just to be sure about this
a camera padrão que está conectada no computador e para ter certeza
I'm going to comment out puffin dot hide I'm gonna change this I'm gonna get rid
eu vou comentar o puffin.hide(). Eu vou mudar isso. Eu vou apagar
of this which has to do with drawing the image I'm going to get rid of the
isso que faz com que a imagem seja desenhada. Eu vou apagar
predict comment that out and I'm going to change this variable to video so the
o predict(), comentar ele fora e vou mudar essa variável para video. Então a
only thing that I should see right now is I should see the video appearing on
única coisa que eu devo ver agora é o video aparecendo
the page so let's run this first it's asking me permission it wants to use my
na página. Então vamos executar isso. Primeiro ele vai pedir permissão para usar a minha
camera I'm gonna say allow and then there it is there's be okay so there it
câmera. Eu vou permitir e então ai está! Okay, então é
is now here's the thing I could just use
isso! Agora é o seguinte, eu poderia apenas usar o elemento de video ali e estaria tudo bem
the video element there and it's fine but I have this like thing that I'm obsess over and I feel is important what
mas eu tenho essa sensação que fico obcecado sobre uma coisa importante
I'm gonna do is I'm gonna hide the video it's this is on is there's nothing to do
o que eu vou fazer é esconder o video. Isso não tem nada aver com classificação de imagem
with the machine-learning image classification aspect but I feel like
com machine learning, mas eu sinto que
you might have a chance to express yourself to be more creative
você deve ter a chance de se expressar, de ser mais criativo
instead of just using the default Dom element if you actually draw the video
em vez de usar o elemento DOM padrão, se você desenhar o video
to the canvas itself this might allow you to do things like draw on top of it
diretamente no canvas vai permitir que voce faça coisas como desenhar por cima
and another type of stuff so there we go now I have the video in the actual
ou outro tipo de coisa. E aqui estamos, agora eu tenho esse video direto no
canvas I need to figure out now when to call the predict function and so in
canvas. Eu preciso descobrir quando chamar a função para adivinhar, então
theory I should just call the predict function right here with the video but
na teoria eu deveria apenas chamar a função "predict" aqui com o video
here's one of the nice things about ml 5 since ml 5 knows about things like hey
Mas aqui está uma das coisas legais do ml5, é que ja que o ml5 sabe de coisas como "Hey, talvez
you might want to do this with a continuously running video I can
você queira fazer isso com um video que esteja executando!", eu posso
actually when I create the image class I'm gonna pop it's I'm gonna take that
quando eu crio a classe da imagem, eu vou pegar aquilo
this out of here sorry I'm gonna take video out of the dot predict function
e tirar daí. Desculpa, eu vou tirar o video da função "predict()" e
and actually the way to do this is when I create this image classifier I can
na verdade o jeito de fazer isso quando eu crio o classificador de imagem, eu posso
actually say I want the mobile net model to act continuously on the video so I
na verdade dizer que eu quero que o modelo MobileNet atue continuamente no video. Então eu
want to like hook those things up together so I can actually insert the
quero ligar essas coisas juntas, para que eu possa inserir o
video the P 5 video element right there into the into the image classifier
video, o elemento de video do p5, bem aqui no classificador de imagem
function and then I can just call predict without any particular I mean I
Então, eu posso apenas chamar "predict()" sem nada em particular. Quero dizer eu
could always say predict on this specific image but now the video is just
posso sempre pedir para adivinhar nessa imagem em específico, mas como o video
linked to that image classifier and I could just call predict so now if I run
está unído com o classificador de imagem, eu posso simplesmente chamar a função "predict". Entao agora se eu executar
this I'm gonna refresh it there goes and we should see there I am I am a poncho
e recarregar, nós devemos ver ali que eu sou um poncho!
or a cardigan are I'm often considered chainmail once again we're seeing the
ou um casaco, mas eu sou frequentemente considerado uma cota de malha. E mais uma vez estamos vendo que
failings of the image the the mobile net model in this particular case now the
as falhas do modelo MobileNet nesse caso particular. Agora, o
thing is it just did it once right it just called predict the moment the model
negócio é, ele so fez uma vez. Ele apenas chamou "predict()" o momento que o modelo
is ready but guess what what if how do I call it continuously well you know what
estava pronto. Mas olha só, como eu chamo ele continuamente? Bem, quer saber?
once it calls predict and it got the results why not just ask it to do it
Uma vez que ele chama "predict" e obtém os resultados, porque não chamar
again so if there was a mistake maybe I want to not move on but if it works and
denovo? Então, se tivesse um erro talvez eu não queira continuar, mas se funcionar
I'm gonna get rid of the create piece stuff here and get rid of the
eu vou me livrar desse "createP()" e me livrar
probability just for right now I can just do this so what I'm doing here is
da probabilidade por enquanto. Eu posso simplesmente fazer assim! Então, o que eu estou fazendo aqui é
this is like a work this is essentially like a loop another loop that's
isso é tipo um trabalho que essencialmente um outro loop que está
happening when the model is ready that's when I can start predicting
acontecendo:quando o modelo está pronto, ai eu posso comecar a adivinhar
then once I've got the results I've got the results draw them and then show me
daí quando eu obter os resultados, mostro eles, e então me mostra
the next one oh but guess what that's weird it didn't actually show up so this
o próximo. Oh! Adivnha! Isso é estranho! Ele nem apareceu. Então, isso
is actually a big problem so I'm gonna
é um grande problema. Eu vou executar isso de novo.
run this again we're gonna well hopefully this will work it's going to it so weirdly this is working I don't
Espero que funcione. Então, estranhamente isso está funcionando. Eu não
like that this is working let's see this is something that it generally tends to
gostei que está funcionando. Vamos ver, isso é algo que geralmente tende a
get correctly kneepad really water bottle okay so but I this this worked by
ser correto. Joelheira.. Serio? Garrafa de água. Okay, então, funcionou por acidente
accident the fact that I'm seeing the
o fato de eu estar vendo o texto aqui.
text there I probably shouldn't draw in multiple places what would make more sense for me
Eu provavelmente não deveria desenhar em vários lugares. O que faria mais sentido para eu
to do is make a global variable called label and then just oh and then have
fazer é uma variável global chamada "label" e então mudar isso.
this and have that set initially to an empty string and then this drawing of
E ter ela inicialmente como uma string vazia e então
the label should actually be right here in draw itself so let's try this again
mostar o "label" aqui, na função "draw" mesmo. Então, vamos tentar de novo.
let's make it a little smaller and let's try one more time and here we go let's
Vamos fazer ela um pouco menor, vamos tentar mais uma vez aqui.
see what types of things that can classify and you know what I should hmm
Vamos ver que tipo de coisas ele pode classificar. E sabe de uma coisa? Eu deveria.. hmm..
this is you know so I'd have to be more thoughtful about the design here so
Eu deveria pensar melhor sobre o design aqui
let's do this let's make the canvas a little bit taller and of course I could
Então vamos lá. Vamos fazer o canvas um pouco mais alto, e com certeza eu poderia
just write it into an HTML element but just for simplicity let's see here
simplesmente escrever num elemento HTML, mas por simplicidade... vamos ver aqui.
let's see if this does the trick I just drew you know that's a little bit better
Vamos ver se isso funciona.. Eu apenas desenhei.. Isso está um pouco melhor.
he meant to I should make the canvas a bit taller I don't know why I was so
Eu deveria fazer o canvas um pouco maior. Eu não sei porque eu estava tão
stingy there okay so what I'm trying to do is just draw a little area there we
pão-duro lá. Okay, então, o que eu estou tentando desenhar é uma pequena área.
go okay so now and I say probably should take out this console dot log these
Pronto! Okay, então agora eu honestamente deveria tirar esse console.log(). Esse
console dot log scan really slow things down
console.log() pode realmente retardar as coisas
I'm gonna do this again last time here we go
Eu vou fazer isso de novo!
all right poncho oh let's see
Beleza, poncho! Vamos ver..
spatula it's pretty good spatula okay doesn't recognize a bell
Espátula é bem legal, Espátula! Okay, ele não reconheceu o sino
magnetic compass what about a train whistle a matchstick that's pretty good
Compasso magnético? E que tal um apito de trem? Um fósfoto? Muito bom!
does it recognize a book broccoli what about a marker brush I could be
Ele reconhece um livro? Brocolis! E um marcador? Eu poderia
here I want to do this all day long this video is gonna be like 17 hours long
fazer isso o dia inteiro! Esse video vai ser 17 horas provavelmente!
pill bottle kneepad water tower I think the green background is kind of likely
Caixa de pílulas, Joelheira, torre de água, eu acho que o fundo verde está
confusing it what else do I got in this room a cornea
confundindo ele. O que mais tem nessa sala..? Acordeão!
and piano accordion so you can see as long as it's something that's in there
Acordeão piano! Bem, como você pode ver, desde que seja algo que esteja aqui
right if it's been trained on that
ne? Se é algo já treinado, se eu por acaso tivesse
particular know if I just happen to have a Chihuahua with me I probably could get it to recognize that Chihuahua so this
um Chihuahua comigo ele poderia provavelmente reconhecer esse Chihuahua
is a fun thing that you can now play with you could make your own project
Isso é bem legal de brincar. Você pode fazer seu próprio projeto sobre, você sabe.
about you know you know there's a Google made a project like this called ASCAP
A Google fez um proejto parecido com esse chamado
emoji scavenger hunt where you had to like find certain things get the image
Emoji Scavenger Hunte onde você deve achar certos tipos de coisas e fazer com que o classificar de imagem reconheça.
classifier to recognize it so there's all sorts of course it used some custom
Ele usava um
training there to make that work for particular objects but so I think
treino customizado para funcionar com outros objetos. Mas eu acho
there's a lot of possibilities of things you could explore here but now you can
que tem um monte de possibilidades você pode explorar aqui, porém você pode
really have your hands in there play with the code visualize things draw
colocar suas mãos na massa, brincar com o código, visualizar as coisas, desenhar
stuff you know and really experiment with what is the mobile net model what
coisas, você sabe. Realmente experimentar. O que está no modelo MobileNet? O que
works well what doesn't work well and you know the net one of the things that
funciona direito? O que não funciona bem? E uma das coisas que
I really want to show you how to do which I will do in a future video in
eu realmente quero mostrar para você como fazer, que farei em um video futuro nessa série,
this series is use the mobile net model only as a starting point so the mobile net model is a starting point but I can then treat retrain it with some custom
é o uso da MobileNet apeanas como ponto de início. Eu posso re-treinar ele com algumas
images and some new labels so by golly I
imagens personalizadas, e novos tipos. Então, se eu realmente quero que o MobileNet
could get that mobile net model to recognize puffins if I wanted it to so thanks for tuning in it's not a thing
conheça papagaios se eu quiser! Então, obrigado por sintonizar. Isso é
you say do you tune into videos I don't know it's a live stream if you're
uma coisa que se fale? Você sintoniza nos videos? Eu não sei, é uma live stream. Se você
watching this now thanks for watching okay and stay tuned I'm
está vendo agora, obrigado por assistir e fique sintonizado!
gonna keep going through and show you more features of the ml5 library what
Eu vou continuar mostrando mais recursos da biblioteca ml5.
should I do next I don't know I think I might do I'm not sure yet thank you to
O quê deveria fazer próximo? Não sei? Eu acho que... não tenho certeza ainda? Fique ligado!
come back goodbye thanks for watching so look for the description we'll say
Volte no próximo! Adeus, obrigado por assistir. Olhe a descrição que vai estar lá:
next video [Music]
"próximo video"
Similar videos:

WHAT'S INSIDE A $6,000.00 CAMERA?!
Peter McKinnon
2.2M views 59.5K likes 3.2K dislikes 08 Jan 201838% match

Неизвестный науке - сомнительный но очень нужный девайс
Игорь Негода
362.4K views 30.7K likes 836 dislikes 07 Jun 202037% match


Racing Pigeon Loft Build Part 3
Maney Pigeons
17.3K views 824 likes 15 dislikes 11 Oct 202036% match

[BML] 갤럭시 핏2 를 사용하고 1달이 지났습니다. 그동안 받은 질문 및 사용하면서 더 느낀점
Jerome Gilbert Yun
1.4K views 13 likes 0 dislikes 16 Nov 202036% match

Resin Art mit Alcohol ink und Effekt Blaster. Blumenartige Muster
Hellsing Paint Art Design
1K views 68 likes 4 dislikes 25 Dec 202036% match




Two Vortex Rings Colliding in SLOW MOTION - Smarter Every Day 195
SmarterEveryDay
13.3M views 415.8K likes 7.4K dislikes 20 Jun 201836% match





【必見】初のプレミア公開！大事な大事なお知らせです♥【お知らせ】
Hime channel
4.9K views 349 likes 7 dislikes 06 Nov 202036% match

Aluminum and Mercury
NileRed
39.8M views 452.7K likes 10.7K dislikes 13 Aug 201736% match

REVENGE OF THE FALLEN (BY TOMMY) - CONTEST AQUASCAPE PART I: THE HARDSCAPE
Green Aqua
47.5K views 2.5K likes 43 dislikes 18 Nov 202036% match








The Best Keyboard + Mouse Combo
Dave2D
1.1M views 19.2K likes 964 dislikes 19 Mar 201736% match

I Need a Break
Markiplier
2.8M views 195.9K likes 4.1K dislikes 24 Sep 201736% match


DJI Phantom 4 Yaw motor Replacement video 2
Ted Keyser
1.5K views 32 likes 0 dislikes 03 May 202035% match

A Little invitation / Draw freely / Draw together
Chommang_drawing
7.5K views 933 likes 1 dislikes 13 Mar 202135% match


АСМР Бритье и стрижка волос 💇‍♂️✂ ASMR Shave and haircut hair
ASMR KittyKlaw
984.6K views 27.9K likes -1 dislikes 24 Feb 202035% match



Domino's Pepperoni Pan Pizza Take-Two
TheReportOfTheWeek
352.2K views 16.5K likes 259 dislikes 14 May 201935% match




週末に「GUNDAM FACTORY YOKOHAMAの動く実物大ガンダム 1/100 RX-78F00 GUNDAM」を組み立ててみた
しゅうまつのゆうか
89.8K views 2.1K likes 60 dislikes 19 Sep 202035% match


How to Make SLIME
LaneVids & Dad Reviews Shorts
490.6K views 1.4K likes 221 dislikes 18 Oct 201035% match













Conditioning My Young Racing Pigeons
Maney Pigeons
35.8K views 710 likes 25 dislikes 20 Sep 202035% match

Watch_Dogs 2: simple tweaks for more performance on low end computers
LowSpecGamer
436K views 8.8K likes 242 dislikes 10 Dec 201635% match

Fluid(456) Experiment mit einem Silikonwurm
Hellsing Paint Art Design
1.2K views 72 likes 9 dislikes 12 Sep 202035% match




Buying Used Things
Domics
20.8M views 417.1K likes 14K dislikes 24 Mar 201835% match


Вертолетный двигатель ГТД-350 - решил дать огня...
Игорь Негода
2.3M views 48.7K likes 2K dislikes 27 Dec 201835% match


GREEN EGGS AND SPAM BREAKFAST BURRITOS !
nomnomsammieboy
12.3K views 625 likes 30 dislikes 17 Mar 202135% match












Comment tuteurer une plante? Monstera Variegata- How to support a plant?
La petite plante verte
1.4K views 104 likes 6 dislikes 27 Dec 202035% match



Air Layer Series Part 1: Trident Maple 2017
Appalachian Bonsai
954.3K views 6.8K likes 464 dislikes 30 Jun 201835% match




ダイエットDVDレビュー【きれいに痩せるエクササイズフィットネス】アラフォーアラフィフにおすすめ
HIBIKO CHANNEL
2.3K views 19 likes 1 dislikes 17 May 201935% match


RACING PIGEON LOFT BUILD Part 4
Maney Pigeons
13.6K views 529 likes 8 dislikes 12 Oct 202035% match

Trapped in Paris (alone)
Nathaniel Drew
593.2K views 38.3K likes -1 dislikes 25 Mar 202035% match

Fluid(458) Mit einer Metallkette Streifen ziehen (Test)
Hellsing Paint Art Design
1.3K views 93 likes 8 dislikes 29 Sep 202035% match




Притирка шарикоподшипника алмазной пастой
Игорь Негода
225.4K views 15.7K likes 346 dislikes 08 Jul 202035% match



Settings Privacy About Contact Donate