Feature Crosses Google Open Online Education Indonesian English

Feature CrossesYouTube↗ IA↗(long shot)
Education 14.2K views 55 likes 0 dislikes 12 Oct 2018

Google Open Online Education 30.4K subscribers United States YouTube↗

Mari kita mulai dengan melihat masalah linear.

Let's start off by looking at a linear problem.

Seperti sebelumnya, pada masalah linear, kita bisa letakkan sebuah garis untuk memisahkan, misal, spam dan bukan spam berdasarkan beberapa variabel masukan.

You'll recall that a linear problem is something where we can fit a line to separate, say, this spam from the not spam depending on a couple of input variables.

Di sini ada dua variabel masukan, X1 dan X2, yang termasuk fitur masukan.

Here we've got two input variables, X1 and X2, these are input features.

Lalu kita punya model linear, yaitu W1X1, W2X2, dan istilah bias.

Then we've got a linear model here of W1X1, W2X2, and a bias term.

Mudah meletakkannya, bukan?

Now this is easy to fit right?

Tapi, bagaimana jika model kita perlu memperagakan hal yang lebih rumit?

However, what if our model needed to model something more complicated?

Khususnya, bagaimana jika data kita faktanya, terlihat seperti ini?

In particular, what if our data in fact looks more like this?

Di dunia ini, kita tidak mungkin meletakkan model linear sederhana yang akan memiliki akurasi lebih dari 50%.

In this world, there's really no way for us to fit a simple linear model that's going to get anything more than about 50% accuracy.

Sekarang, apa yang bisa kita lakukan?

Now what can we do?

Salah satu ide cerdas adalah kita bisa menentukan fitur tambahan.

Well one clever idea is that we could define an additional feature.

Kita akan menyebutnya fitur sintetis, atau persilangan fitur; begini, kita akan menyebutnya X3.

We're going to call this a synthetic feature, or a feature cross; we're going to do it like this, we're going to call it X3.

Kita akan menentukan X3 sebagai produk dari X1 dan X2.

We're going to define X3 as the product of X1 and X2.

Sekarang, apa saya bisa gunakan X3 di model linear saya?

Now can I use X3 in my linear model?

Ya, bisa. Saya akan tambahkan koefisien, W3 untuk X3.

Yes indeed I can; I'm going to go ahead and add a coefficient, W3 for X3.

Dan Anda akan melihat bahwa produk dari X1 dan X2 akan selalu bernilai positif jika keduanya bernilai positif atau jika X1 dan X2 bernilai negatif.

And you'll notice that the product of X1 and X2 is always positive if they're both positive or if X1 and X2 are both negative.

Jadi saya bisa menarik titik biru jika produk dari X1 dan X2 bernilai positif.

So I get this very nice ability to pull out my blue dots if the product of X1 and X2 is positive.

Sama halnya, kita akan mendapatkan produk negatif jika salah satu dari koordinat ini bernilai negatif.

Similarly we'll always have a negative if either one of these coordinates is negative.

Jadi, hal ini memungkinkan kita untuk mempelajari non-linearitas di dalam model linear, menggunakan fitur sintetis sederhana yang disebut produk silang.

So this allows us to learn a non-linearity within a linear model, using a simple synthetic feature that's called a cross product.

Jadi, nama umum dari proses pembuatan fitur sintetis sebagai produk dari fitur lainnya, kita sebut dengan produk persilangan fitur.

So the general name of this process of creating synthetic features as products of other features we call feature crosses, feature cross products.

Kita bisa anggap ini mungkin sebagai template dari bentuk A dikalikan B, bentuknya bisa saja kompleks, A dikali B dikali C dikali D.

We can think of these as maybe templates of the form A cross B, they can be complex, A cross B cross C cross D.

Jika A dan B adalah fitur boolean, hal yang mungkin kita dapat dari enkode one-hot seperti berbagai string atau kelompok, hasil persilangan mungkin akan sedikit menyebar.

And when A and B are boolean features, things that we might get from a one hot encoding, like various strings or bins, the resulting crosses might be quite sparse.

Satu enkode one-hot mungkin memiliki sangat banyak nol di dalamnya.

That one hot encoding may have an awful lot of zeros in it.

Mari kita bahas contoh lain yang mana persilangan fitur mungkin akan berguna.

Let's think of some additional examples here of where feature crosses might be useful.

Jika kita memprediksi harga perumahan di California, kita sebaiknya mempertimbangkan garis lintang silang, atau garis lintang yang dikelompokkan, dengan jumlah kamar tidur.

So if we're predicting housing prices in California, we might want to say cross latitude, or binned latitude, with the number of bedrooms.

Dan hal ini akan memungkinkan kita untuk mengetahui bahwa memiliki 3 kamar tidur di San Francisco sangatlah berbeda dengan memiliki 3 kamar tidur di Sacramento.

And this would allow us to learn that maybe having 3 bedrooms in San Francisco is a very different thing from having 3 bedrooms in Sacramento.

Kalian juga bisa memikirkan tentang prediktor tic-tac-toe, dan mungkin juga produk persilangan yang dapat kalian gunakan di sana dengan mengalikan berbagai koordinat pada petak tic-tac-toe.

You could also think about a tic-tac-toe predictor and you might think of the cross products that you'd be able to use there by crossing the various coordinates in the tic-tac-toe grid.

Karena tentunya, X atau O pada segmen tertentu di petak tic-tac-toe tidaklah begitu menarik.

Because obviously an X or an O in any particular segment of that tic-tac-toe grid by itself isn't very interesting.

Tapi dapat meletakkannya di pojok kiri atas, tengah, kanan bawah secara sejajar adalah hal yang berbeda.

But to be able to say your left corner, center, right, bottom all together is a very different thing.

Jadi, kenapa kita menginginkan persilangan fitur?

So why would we want feature crosses?

Alasan utamanya adalah hal ini memungkinkan kita untuk menggabungkan pemelajaran non-linear dengan pemelajaran linear.

Well the main thing is that this allows us to incorporate non-linear learning into a linear learner.

Sekarang, pemelajaran linear sangatlah menarik bagi kita, karena dapat menskalakan kumpulan data dengan skala besar secara natural.

Now linear learners are very interesting to us, because they scale very naturally to massive scale data sets.

Faktanya, selama bertahun-tahun, pemelajaran linear adalah satu-satunya metode yang kita miliki yang dapat menskalakan kumpulan data dengan miliaran atau ratusan miliar ukuran.

In fact, for many years linear learners were the only method that we really had that would scale to billions or hundreds of billions sized data sets.

Kini, kita juga memiliki jaringan neural dalam yang juga dapat menskalakan dengan baik, jadi, itulah opsi lain yang akan dipelajari nanti setelah kelas ini.

Now we also have deep neural networks that can scale well, so that's another option that we'll look at later on in this class.

Terakhir, ada beberapa penelitian menunjukkan bahwa menggabungkan efek dari pemelajaran linear melalui produk persilangan fitur dan jaringan dalam dapat sangat bermanfaat untuk pemodelan.

Finally, there's been some interesting research showing that combining the effects of linear learning through feature cross products and deep networks can be extremely powerful for modeling.