Embeddings Google Open Online Education English Indonesian

EmbeddingsYouTube↗ IA↗(long shot)
Education 12.6K views 72 likes 28 dislikes 12 Oct 2018

Google Open Online Education 30.4K subscribers United States YouTube↗

Hi I'm Sally Goldman and I'm a research scientist at Google and one of the main things I work on is recommendation systems.

Hai saya Sally Goldman, ilmuwan riset di Google. Salah satu hal utama yang saya kerjakan adalah sistem rekomendasi.

And one thing really fundamental to doing these recommendation systems is embeddings and I'm going to talk about those today.

Salah satu hal yang sangat penting dalam melakukan sistem rekomendasi ini adalah embeddings, dan saya akan membahasnya sekarang.

As a motivating example I'm going to look at the problem of collaborative filtering.

Sebagai contoh yang baik, saya akan bahas penyaringan kolaboratif.

So let's say I have a million movies and I have a half million users, and for each user I know which movies that user has watched.

Anggaplah saya punya sejuta film dan setengah juta pengguna, dan saya tahu film mana yang telah ditonton oleh pengguna.

The task is simple: I'd like to recommend movies to users.

Tugasnya sederhana: saya ingin merekomendasikan film kepada pengguna.

To solve this problem I'm really going to have to learn some structure, something that let's me say these movies are similar to each other, so if you've watched these 3 movies then this is a good movie to recommend.

Untuk menyelesaikan masalah ini, saya harus mempelajari beberapa struktur, misalnya film ini mirip satu sama lain, jadi jika Anda sudah nonton 3 film ini, film berikut adalah rekomendasi yang bagus.

So as a simple starting point, let's try to take these movies and just put them along a line of one dimensional embedding.

Sebagai langkah awal yang sederhana, ambil film, lalu letakkan pada baris yang berupa embedding 1 dimensi.

So I will say I have maybe to the left I'll put animated movies and as I move to the right, I'll have more adult-like movies.

Katakanlah titik paling kiri adalah film animasi, dan semakin ke kanan adalah film konten dewasa.

This starts to do nice things.

Ini adalah langkah awal yang baik.

I have Shrek and The Incredibles, those are both animated movies for kids and if you watch one the other one is a good recommendation.

Saya punya Shrek dan The Incredibles. Keduanya adalah film animasi untuk anak-anak, dan jika Anda tonton yang satu, film yang lain bisa jadi rekomendasi yang baik.

But then I have the The Triplets of Belleville which is an animated movie but really Harry Potter, though not an animated movie, I think is really a much closer movie to The Incredibles.

Lalu saya punya The Triplets of Belleville yang merupakan film animasi tapi Harry Potter, meski bukan film animasi, saya kira sangat lebih dekat dengan The Incredibles.

The Triplets of Belleville is not really oriented for kids as much, it's not sort of a blockbuster movie that a lot of people go to see.

The Triplets of Belleville tidak ditujukan untuk anak-anak, bukan jenis film blockbuster yang ditonton banyak orang.

And on the other side for example I'd say Blue and Memento are probably better recommendations for each other than The Dark Knight Rises.

Di sisi lain, misal saya bisa bilang Blue dan Memento mungkin adalah rekomendasi yang lebih baik untuk satu sama lain daripada The Dark Knight Rises.

So just having a single line, as much as I try, it's going to be really hard to capture all the intricacies in movies that make people like one versus another.

Jika hanya punya satu baris, sangat sulit untuk menangkap semua seluk beluk film yang membuat banyak orang suka film yang satu dibandingkan yang lain.

So what if we add another dimension and now I have 2 dimensions?

Bagaimana jika kita tambahkan dimensi lain, dan kini saya punya 2 dimensi?

So what if I bring the blockbuster movies up towards the top and the more art house movies down?

Bagaimana jika saya letakkan film blockbuster di posisi teratas dan film yang lebih “art house” di bawahnya?

Now I've achieved some of the things I've wanted.

Kini saya dapatkan hal-hal yang saya inginkan.

I've got Shrek and The Incredibles and Harry Potter kinda nearby and they're all pretty similar movies and in the bottom right I have Blue and Memento.

Ada Shrek, The Incredibles, & Harry Potter yang letaknya berdekatan, dan ketiganya memiliki karakter film yang cukup mirip. Di kanan bawah, ada Blue dan Memento.

And you can imagine that there's a lot of other aspects you'd want to capture and you'd want more than 2 dimensions, and we would.

Anda bisa bayangkan bahwa ada banyak aspek lain yang ingin diambil dan ingin lebih dari 2 dimensi.

In reality we could imagine 20, 50, even 100 dimensions to sort of do these embeddings.

Pada kenyataannya, kita bisa bayangkan 20, 50, bahkan 100 dimensi untuk mengurutkan embeddings ini.

But let's stick with 2 dimensions because I can draw it.

Namun, mari kita gunakan 2 dimensi karena saya bisa menggambarnya.

So let's add a few more movies to this and I went ahead and added some axis.

Jadi, mari kita tambahkan beberapa film lain, lalu tambahkan beberapa sumbu.

I have the X axis which is sort of more children oriented movies to the left and more adult movies to the right.

Saya punya sumbu X yang semakin ke kiri merupakan film yang diorientasikan untuk anak-anak, semakin ke kanan merupakan film dewasa.

And the Y axis, more blockbuster movies to the top and more art house films on the bottom.

Dan sumbu Y, semakin ke atas merupakan film blockbuster, dan semakin ke bawah merupakan film “art house”.

And you can see a lot of nice structure here and you can see that movies nearby each other are kind of similar and that's really the goal of what we want.

Anda bisa lihat banyak struktur menarik di sini. Anda juga bisa lihat bahwa film yang berdekatan satu sama lain punya karakteristik serupa. Itulah sasaran yang kita inginkan.

Now I'm drawing this geometrically but I do want to make sure everyone understands that there's a very simple way to represent these embeddings and that's what's going to happen when I learn them in a deep neural network.

Sekarang saya gambar ini secara geometris tapi ingin pastikan semua orang paham bahwa ada cara yang sangat simpel untuk mewakili embeddings ini, dan itulah yang akan terjadi saat saya mempelajarinya di jaringan neural dalam.

So just using Shrek and Blue as an example, each of these is just a single point in this two dimensional space and the way we write down a point is just a value on the X axis and a value on the Y axis.

Jadi hanya menggunakan Shrek dan Blue sebagai contoh, masing-masing hanyalah poin tunggal dalam ruang 2 dimensi ini, dan cara kita menulis poinnya hanyalah nilai pada sumbu X dan nilai pada sumbu Y.

So for example Shrek is just the point minus 10.95 or Blue is 0.65 minus 0.2.

Misalnya, Shrek hanyalah poin minus 10,95 atau Blue 0,65 minus 0,2.

So each movie here can just be represented as two reels and the similarity between movies is now captured by how close these points are.

Setiap film ini hanya bisa diwakili sebagai 2 reel dan kemiripan antarfilm itu sekarang ditangkap menurut seberapa dekat poin itu.

And although I'm only going to draw 2 dimensions, in reality you do want to do this in D dimensions, 2 isn't going to be enough to capture everything.

Meski saya hanya akan gambar 2 dimensi, pada kenyataannya Anda bisa lakukan ini dalam D dimensi. 2 tidak cukup untuk menangkap segalanya.

Implicitly as you think about what you're doing, this is really assuming that interest in movies can be captured by D dimensions.

Secara implisit, seperti yang Anda pikirkan tentang hal yang Anda lakukan, kita berasumsi bahwa minat pada film bisa ditangkap dengan D dimensi.

I'm allowing D different aspects to be selected and then I can move the movies independently among these D aspects and use that to now bring similar movies nearby to each other.

Saya menggunakan aspek yang berbeda-beda sejumlah D, dan kemudian saya dapat menggeser film-film di dalam D aspek supaya film-film yang serupa bisa saling berdekatan satu sama lain.

Each movie now is just a D dimensional point, I can write it down as D real values and the cool thing is we can actually learn these embeddings from data and we can do this with a deep neural network without adding a lot of new things to what you've already seen.

Sekarang setiap film hanyalah poin dalam D dimensi. Saya bisa tulis sebagai nilai riil dengan jumlah D. Yang menarik adalah, kita bisa pelajari embeddings ini dari data, dan melakukannya dengan jaringan neural dalam tanpa menambahkan banyak hal baru pada yang telah Anda lihat.

There's no separate training process needed, we're just going to use back propagation exactly as before and the embedding layer is just a hidden layer and we'll have one unit for every dimension you want in your embedding.

Tidak ada proses pelatihan terpisah yang diperlukan. Kita hanya akan gunakan propagasi mundur persis seperti sebelumnya. Lapisan embedding hanya lapisan tersembunyi dan kita akan punya 1 unit untuk setiap dimensi yang Anda inginkan di embedding.

Supervised information is going to allow us to tailor these embeddings for whatever task you're after.

Dengan informasi terarah, kita bisa sesuaikan embeddings itu untuk tugas apa saja yang Anda tentukan.

If you want to do movie recommendation, then we want these embeddings to be geared towards recommending movies.

Jika Anda ingin membuat rekomendasi film, kita perlu sesuaikan embeddings ini dengan film yang direkomendasikan.

We will need some sort of training signal, we'll look at some concrete examples but in this example if a user has watched a set of movies then to some extent those movies are similar to each other and should be nearby and we'll aggregate this of course over lots of data.

Kita perlu beberapa sinyal pelatihan. Kita akan lihat beberapa contoh konkret, tapi dalam contoh ini jika pengguna telah menonton beberapa film, dalam taraf tertentu film-film tersebut mirip satu sama lain dan harus saling berdekatan, tentunya kita harus lakukan agregrasi terhadap banyak data.

Intuitively these hidden units are learning how to organize the data in a way to optimize whatever metric we've decided to put as the final objective of the network.

Secara intuitif, unit tersembunyi ini mempelajari cara mengelola data dengan cara mengoptimalkan metrik apa saja yang telah kita putuskan untuk diletakkan sebagai tujuan akhir dari jaringan.

So now let's go back and look at how would this actually be input to the neural network.

Sekarang mari kita kembali dan lihat bagaimana ini sebenarnya menjadi masukan ke jaringan neural.

The matrix I show on the right is sort of the classic way we think of collaborative filtering input.

Matriks yang saya tampilkan di sebelah kanan adalah cara lama yang kita pikirkan tentang masukan penyaringan kolaboratif.

I have one row for every user and one column for every movie and a check in this simple case indicates the user has watched the movie.

Saya punya 1 baris untuk setiap pengguna dan 1 kolom untuk tiap film, dan tanda centang di kasus sederhana ini menunjukkan pengguna telah menonton film.

So now let's think about how we do this within TenserFlow.

Sekarang mari kita pikirkan tentang cara melakukannya dalam TensorFlow.

Each example is really just going to be one row of this matrix, so let's focus on the bottom row that I've highlighted in yellow.

Setiap contoh hanya akan menjadi 1 baris dalam matriks ini. Jadi mari kita fokus pada baris bawah yang telah saya tandai dengan warna kuning.

If there's a half million movies I don't really want to list all the movies you haven't watched, it's so much more efficient to just write down the movies you have watched.

Jika terdapat setengah juta film, saya tidak ingin mencantumkan semua film yang belum Anda tonton. Jauh lebih efisien jika Anda menulis film yang telah Anda tonton.

And when I do back propagation I'll be computing dot products and I'd like that also, the time, just to depend on the movies you have watched.

Saat melakukan propagasi mundur, saya akan menghitung produk dot dan waktu, hanya bergantung pada film yang telah Anda tonton.

So to achieve this we're going to use the following input representation and to do this we're going to have 2 phases.

Jadi untuk mencapai ini, kita akan gunakan representasi masukan berikut, dan ada 2 tahap untuk melakukannya.

The first pre-processing phase we're going to build what we call a dictionary.

Tahap pra-pemrosesan yang pertama yang akan kita buat adalah kamus.

A dictionary is just a mapping from each feature, in this case each movie, to an integer from 0 to the number of movies -1.

Kamus hanyalah pemetaan dari setiap fitur, dalam kasus ini setiap film, ke bilangan bulat dari 0 ke jumlah film -1.

So I'll just do this in the order I've shown them in the columns.

Saya hanya akan tunjukkan dengan urutan pada kolom.

So column 0 I'll call movie 0, column 1 movie 1 and so on, and this is a one time thing we do as pre-processing.

Kolom 0 akan saya sebut film 0, kolom 1 film 1, dan seterusnya. Tindakan satu kali ini disebut sebagai pra-pemrosesan.

Now I can efficiently represent that bottom example as just the 3 movies that user did watch, I don't need to worry about all the other ones.

Sekarang saya bisa secara efisien mewakili contoh bagian bawah itu karena hanya 3 film yang ditonton pengguna. Saya tidak perlu khawatir tentang film lainnya.

I do it kind of as a pictorial view but in reality it's just 3 integers - 1, 3, 999,999 - because those are the indices for the 3 movies that user has watched.

Saya melakukannya menggunakan tampilan piktorial tapi kenyataannya hanya 3 bilangan bulat – 1, 3, 999,999 – karena bilangan bulat itu merupakan indeks untuk 3 film yang telah ditonton pengguna.

Okay so now that we have the input representation we can now look at how this fits into the full network and I'm going to use 3 different examples to help illustrate it.

Oke setelah memiliki representasi masukan, kita bisa lihat penyesuaian representasi ini ke dalam jaringan penuh. Saya akan gunakan 3 contoh yang berbeda untuk mengilustrasikannya.

The first example I want to look at is the problem of predicting a home sales price.

Contoh pertama yang ingin saya lihat adalah masalah prediksi harga penjualan rumah.

So this would traditionally be done as a regression problem.

Hal ini biasanya dilakukan sebagai masalah regresi.

I'd like to optimize the square loss between the predicted price and the true sale price.

Saya ingin optimalkan kerugian kuadrat antara harga yang diperkirakan dan harga penjualan yang sebenarnya.

So the thing that I really would like to create an embedding layer for here are the words in the sale, the house description ad.

Jadi, lapisan embedding yang ingin saya buat di sini adalah kata-kata dalam penjualan, iklan deskripsi rumah.

Because although there are a set of words, I really need to understand what words are similar in terms of figuring out the size of the house so I may say this is a spacious house or I may say it's roomy.

Karena meski ada sejumlah kata, saya perlu memahami kata apa yang mirip dalam hal penetapan ukuran rumah. Saya mungkin bilang rumahnya luas atau rumahnya terasa lapang.

Those are words that are used that kind of capture the same thing and so I want to begin understanding how these words that real estate agents put in ads helps us understand something about the home.

Itu adalah kata-kata yang digunakan yang bisa menangkap hal yang sama. Jadi, saya ingin mulai memahami bagaimana kata-kata ini, yang digunakan agen real estate di iklan, membantu kita memahami sesuatu tentang rumah.

So we have lots and lots of words that might be in an ad, and any given ad has 100 words or so, and so again we really do want the sparse embedding just like we talked about but my vocabulary is over words versus movies.

Kita punya banyak kata yang mungkin ada di iklan, dan iklan tertentu berisi 100 kata atau lebih. Kita ingin embedding renggang seperti yang dibahas sebelumnya tetapi kosakata saya berisi lebih banyak kata dibanding film.

I'm going to learn a 3 dimensional embedding in this little toy example just so I can draw it, again in reality you'd probably want a lot more than 3 dimensions.

Saya akan pelajari embedding 3 dimensi dalam contoh sederhana ini jadi saya bisa menggambarnya, dalam kenyataannya Anda mungkin ingin lebih dari 3 dimensi.

And I'm always in these examples going to draw my embedding layer as green, it's really a hidden layer, in this case 3 units because I want a 3 dimensional embedding.

Dalam contoh ini, saya selalu akan menggambar lapisan embedding dengan warna hijau. Ini adalah lapisan tersembunyi. Dalam kasus ini, ada 3 unit karena saya ingin embedding 3 dimensi.

I also may have other input data like the latitude, longitude, number of rooms and you can add all that, I just used latitude and longitude as an example.

Saya juga bisa punya data masukan lain seperti garis lintang, garis bujur, jumlah kamar, dan Anda bisa tambahkan semua itu. Saya hanya gunakan garis lintang dan garis bujur sebagai contoh.

And then in pink I'm showing the fact that we can have whatever other hidden layers we want, these are just your standard hidden layers, you can have as many as you want.

Warna merah muda menunjukkan kita bisa punya lapisan tersembunyi lain yang kita mau. Ini hanya lapisan tersembunyi standar, yang bisa ditambahkan sebanyak yang Anda mau.

You can decide how many units and then at the end they'll go into a single unit that [unintelligible] the regression problem will give us a real value and will optimize the L2 loss with the sale price.

Anda bisa tentukan jumlah unit dan akhirnya unit itu akan jadi unit tunggal yang mana masalah regresi akan menunjukkan nilai sebenarnya dan akan mengoptimalkan kerugian L2 dengan harga penjualan.

In the process of doing back propagation just like you've seen, the embedding layer will be learned.

Dalam proses melakukan propagasi mundur seperti yang Anda lihat, lapisan embedding akan dipelajari.

As another example, suppose I want to learn to classify handwritten digits.

Sebagai contoh lain, anggaplah saya mau belajar mengklasifikasikan digit tulisan tangan.

So I have the digits 0 to 9 and I have some training data where there's actually a label of the correct digit.

Saya punya digit 0 sampai 9 dan beberapa data pelatihan yang mana terdapat label digit yang benar.

So here this sparse thing I want to create an embedding of is just the raw bitmap of the drawing, whether there's a white or black, so 0 or 1.

Representasi renggang yang akan saya buat embeddingnya hanya bitmap mentah dari gambar, baik itu putih atau hitam, 0 atau 1.

I can introduce whatever other features I'd like and again I have an embedding layer which I'll stick with keeping them 3 dimensions, so the representation of the digital will go into that.

Saya bisa perkenalkan fitur lain apa pun yang saya suka, dan sekali lagi saya punya lapisan embedding yang tetap menggunakan 3 dimensi sehingga representasi digital akan muncul pada lapisan itu.

In pink I show we can have whatever additional hidden layers and in this case we'll have a [unintelligible] layer.

Warna merah muda menunjukkan lapisan tersembunyi tambahan yang kita mau. Dalam kasus ini, kita akan punya lapisan logits.

We're gonna have the 10 digits and basically learn a probability distribution over the digits of how probable we think it is that this is each of the digits.

Kita akan punya 10 digit dan pada dasarnya mempelajari distribusi probabilitas pada digit terkait probabilitas setiap digit.

I can take the one hot target probability distribution from what I know the right answer is and optimize a soft max loss.

Saya bisa gunakan distribusi probabilitas target one-hot dari jawaban yang saya tahu benar, lalu optimalkan kerugian softmax.

In the process of doing this, in training with back propagation, I will learn to embed the images.

Dalam proses melakukannya, pada pelatihan dengan propagasi mundur, saya akan belajar menyematkan gambar.

And now let's look at the example we've been studying of collaborative filtering, the movie recommendation problem.

Sekarang mari kita lihat contoh yang telah kita pelajari terkait penyaringan kolaboratif, masalah rekomendasi film.

This is actually interesting, it brings up an aspect we haven't seen yet which is where is my training data here, right?

Hal ini sebenarnya menarik karena bisa memberikan aspek yang belum kita lihat terkait di mana data pelatihan saya?

I just know for each user there is a set of movies, so how do I know what the right movie to recommend is? What am I going to use as the label?

Saya hanya tahu terdapat set film untuk setiap pengguna, jadi bagaimana cara mengetahui film yang sebaiknya direkomendasikan? Apa yang akan saya gunakan sebagai labelnya?

What we do is, suppose the users watch 10 movies, we use a simple trick.

Yang kita lakukan adalah, anggaplah pengguna menonton 10 film, kita gunakan trik sederhana.

We'll randomly pick 3 movies and hold those out, take them away and those are the labels, so those are the movies I'd like to recommend, they're good recommendations because you watched them, and I'll take the other 7 movies and use them as my training data.

Kita akan pilih 3 film secara acak dan gunakan ketiganya sebagai label. Jadi, itu adalah film yang akan direkomendasikan. Film itu adalah rekomendasi yang baik karena Anda menontonya, dan saya akan gunakan 7 film lainnya sebagai data pelatihan.

Once I've done that, this is very similar to what we just talked about with the character recognition.

Setelah selesai, cara ini sangat mirip dengan yang telah kita bahas tentang pengenalan karakter.

I'll take the 7 movies that are my training data and we know how we can get the sparse representation, we'll bring them into the embedding layer.

Saya akan gunakan 7 film sebagai data pelatihan, dan kita tahu bagaimana kita bisa peroleh representasi renggang. Kita akan terapkan ke lapisan embedding.

We can take whatever other features we want, maybe the genre, maybe the director, whatever else we want to take about the movie or the user and then we can bring those into additional hidden layers and we'll have a logit layer.

Kita bisa gunakan fitur lain yang kita inginkan, mungkin genre, sutradara, atau lainnya terkait film atau pengguna, lalu kita bisa terapkan itu ke dalam lapisan tersembunyi tambahan, dan kita akan punya lapisan logits.

And note this logit layer is big, instead of 10 different nodes like in the digit prediction, if I had a half million movies there's gonna be a half million of these.

Perlu diperhatikan bahwa lapisan logits berukuran besar, bukan 10 simpul yang berbeda seperti dalam prediksi digit. Jika saya punya setengah juta film, akan ada setengah juta simpul.

There's issues with that, it's out of the scope of this discussion.

Masalah ini tidak akan kita bahas dalam diskusi ini.

But we will get a distribution over those half million movies of what movies we think you'd like, we will then optimize the soft and max loss with the held out movies that we know you do like.

Tapi kita akan dapatkan distribusi pada setengah juta film itu terkait film apa yang mungkin Anda sukai. Lalu kita akan optimalkan kerugian softmax dengan film yang Anda sukai.

And in doing this in the back propagation and just the standard training, we will learn the embeddings of the movies like we talked about.

Dan saat melakukannya pada propagasi mundur dan hanya pelatihan standar, kita akan pelajari embedding dari film seperti yang telah kita bahas.

So I do want to come back now and just make sure it's clear how what we learned in the deep neural network ties to the geometric view I gave at the beginning.

Jadi, saya ingin kembali dan memastikan bahwa Anda telah memahami jaringan neural dalam dan juga tampilan geometrik yang saya berikan di awal.

Let's look at the deep network on the left and let's take a single movie.

Mari kita lihat jaringan dalam di sebelah kiri dan ambil 1 film.

Right if you think of the input layer, each of those nodes at the bottom represent as one of these half million movies, I've picked one movie and just made it black.

Jika Anda berpikir tentang lapisan masukan, setiap simpul di bagian bawah diwakili sebagai salah satu dari setengah juta film ini. Saya telah pilih 1 film dan terapkan warna hitam.

In this example I said I had 3 hidden units so I was going with 3 dimensional embedding.

Dalam contoh ini, saya punya 3 unit tersembunyi jadi saya akan gunakan embedding 3 dimensi

So that black node will have an edge connecting it to each of those units; I used red for the first one, magenta for the second and brown for the third one.

Jadi simpul hitam itu akan punya tepian yang menghubungkannya ke tiap unit itu; saya gunakan warna merah untuk unit pertama, warna magenta untuk unit kedua, dan warna coklat untuk ketiga

When you're done training your neural network, those edges are weights, each edge has a real value associated with it, that's my embedding.

Jika Anda sudah selesai melatih jaringan neural, tepian itu merupakan bobot, tiap tepian punya nilai yang sebenarnya yang dikaitkan, itulah embedding saya.

The red is my X value, the magenta is my Y value and the brown is the Z.

Warna merah adalah nilai X, warna magenta adalah nilai Y, dan warna coklat adalah nilai Z.

So this particular movie would be embedded in a 3 dimensional space as 0.9, 0.2 and 0.4.

Film khusus ini akan disematkan di ruang 3 dimensi sebagai 0,9, 0,2, dan 0,4.

As with any deep neural network there are hyperparamaters and one of the hyperparameters we have in the embedding layer is how many embedding dimensions, how many hidden units do you want in that layer?

Seperti di jaringan neural dalam, terdapat beberapa hyperparameter dan salah satu hyperparameter yang kita miliki di lapisan embedding adalah berapa banyak dimensi embedding, berapa banyak unit tersembunyi yang diinginkan?

Higher dimensions are good because it allows us to tease apart more distinctions and therefore we can learn better relationships.

Dimensi yang lebih tinggi itu bagus karena kita bisa pisahkan lebih banyak perbedaan

On the downside, as I increase the number of dimensions there is also a chance of overfitting and it's going to lead to slower training and the need for more data.

sehingga kita bisa pelajari hubungan yang lebih baik. Kekurangannya, semakin besar jumlah dimensi, akan ada peluang overfitting dan menyebabkan pelatihan lebih lambat serta membutuhkan data yang lebih banyak.

So a good empirical rule of thumb is the number of dimensions to be roughly the fourth root of the size of my vocabulary, the number of possible values.

Aturan sederhana yang tepat dan bersifat empiris adalah jumlah dimensi secara kasar diakarkan pangkat empat dari ukuran kosakata saya, jumlah nilai yang memungkinkan.

But this is just a rule of thumb and with all hyperparameters you really need to go use validation data and try it out for your problem and see what gives the best results.

Tapi ini hanyalah aturan umum, dan dengan semua hyperparameter yang Anda perlukan, gunakan data validasi dan cobalah untuk masalah Anda, lalu lihat cara mana yang memberikan hasil terbaik.

An embedding can also just be thought of as a tool.

Embedding juga bisa dianggap sebagai alat.

One of the things we get from these embeddings is we map items - movies, texts for example the words in the housing description - to these low dimensional real vectors in a way that similar items are nearby.

Salah satu hal yang kita dapatkan dari embedding ini adalah kita bisa petakan item – film, teks untuk contoh kata pada deskripsi perumahan – hingga vektor dimensi rendah yang sesungguhnya dengan cara item yang mirip letaknya berdekatan.

It creates structure into these items that really we didn't have any structure and the structure is in fact geared towards what you're trying to do with it.

Embedding membuat struktur ke dalam item ini yang mana kita tidak memiliki struktur apa pun dan struktur ini diarahkan sesuai keinginan Anda.

We can also apply embeddings to dense data, for example if I look at the way audio or soundtracks are represnted, it's already dense.

Kita juga bisa terapkan embeddings untuk merapatkan data, misalnya jika saya lihat cara audio atau soundtrack diwakili, berarti data itu sudah dirapatkan.

But we don't have any meaningful metric, I don't know how to say this audio is similar to that.

Tapi kita tidak punya metrik yang berarti. Saya tidak tahu cara bilang audio ini mirip dengan itu.

And so we can use embeddings just to learn a similarity metric among already dense data, and even further we can embed diverse types of data - texts, images, audio - jointly and learn a similarity metric across them.

Jadi, kita bisa gunakan embeddings untuk mempelajari kemiripan metrik pada data yang sudah dirapatkan, bahkan lebih jauh kita bisa sematkan berbagai jenis data – teks, gambar, audio – secara bersamaan dan mempelajari kemiripan metrik pada data itu.