Reducing LossYouTube↗  IA↗(long shot)
Education  100.3K views 430 likes 30 dislikes   12 Oct 2018
Google Open Online Education 30.4K subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
hi my name is Cassandra Shaw and I'm a programmer at Google that helps other
Halo, saya Cassandra Shaw dan saya seorang programmer di Google
groups within Google use tensorflow
yang membantu kelompok lain di Google menggunakan TensorFlow.
and this section we're going to talk about reducing loss previously we
Dalam bagian ini, kita akan membahas cara mengurangi kerugian.
learned how to compute the loss but how do we choose the set of model parameters
Sebelumnya kita belajar cara menghitung kerugian, tapi bagaimana cara memilih
that minimizes it well would be nice is
kumpulan parameter model yang bisa meminimalkannya?
if we had a direction to go in with in parameter space some sort of guide such that each set of new hybrid parameters
Sebaiknya kita memiliki arah yang akan dituju dalam hyperparameter. Seperti pedoman di mana setiap kumpulan hyper-parameter baru yang kita gunakan
that we took on had a lower loss than the one before it one way to get a
memiliki kerugian lebih rendah daripada yang sebelumnya.
direction is to compute the gradient the
Salah satu cara untuk mendapat arahan adalah menghitung gradien.
derivative of the loss function with respect to the model parameters for
Turunan dari fungsi kerugian terkait dengan parameter model.
simple loss functions like the squared loss the derivative is easy to compute
Bagi fungsi kerugian sederhana seperti kerugian kuadrat, turunan mudah dihitung.
and it gives us an efficient way to update model parameters I think if it
Hal itu memberikan cara yang efisien untuk memperbarui parameter model.
adds an iterated approach data comes in
Anggaplah sebagai pendekatan berulang.
we compute the gradient of the loss function on that data the negative
Saat data tersedia, kita menghitung gradien fungsi kerugian pada data itu.
gradient tells us in which direction to update model parameters in order to
Gradien negatif memberitahu kita arah yang mana yang digunakan untuk mengupdate parameter model
reduce loss we take a step in that
guna mengurangi kerugian. Kita ambil langkah pada arah itu,
direction get a new version of the model and now we can recompute the gradient and repeat pretend in one dimension this
dapatkan model versi baru, dan kini kita bisa hitung ulang gradien, lalu ulangi. Anggap ada dalam satu dimensi, ini adalah fungsi kerugian kita.
is our loss function the maps are single model parameter theta to the loss if we
Diagram ini memetakan sebuah parameter terhadap kerugian.
start off at a random value or initialization for theta then we achieve
Jika memulai dengan nilai acak atau inisialisasi untuk theta,
the corresponding loss we can then
kita akan mencapai kerugian yang sesuai.
compute the negative gradient which
Lalu kita bisa hitung gradien negatif yang menunjukkan
tells us in what direction we should go in order to minimize the loss if we take
arah mana yang harus kita ambil untuk meminimalkan kerugian.
your gradient step in that direction we get a new loss we can keep taking
Jika mengambil langkah gradien pada arah itu, kita mendapatkan kerugian baru.
gradient steps in that direction until
Kita bisa terus ambil langkah gradien pada arah itu sampai mencapai titik
we reach a point in which we have passed the local minimum in which the negative
yang melewati titik minimum dari diagram ini,
gradient will tell us to go back in the direction that we came from how large of
yang mana gradien negatif akan mengarahkan kita kembali ke asal.
a step should we take in the direction of negative gradient well that is
Seberapa besar langkah yang harus kita ambil pada arah gradien negatif?
dictated by the learning rate a hyper
Hal itu bergantung pada kecepatan pembelajaran.
parameter that you can twiddle as
Hyper-parameter yang bisa Anda utak-atik.
learning rate is really small then we'll take a bunch of teeny-tiny gradient
Jika kecepatan pembelajaran sangat kecil, kita ambil banyak langkah gradien kecil,
steps requiring a lot of computation in order to reach the minimum however if
Perlu banyak penghitungan untuk mencapai nilai minimum.
the learning rate is very large then we will take a large step in the direction
Namun jika kecepatan pembelajarannya sangat besar, kita harus ambil langkah besar
of negative gradient potentially overshooting
pada arah gradien negatif. Berpotensi melampaui minimum lokal
the local minimum and even reaching a point in which the loss is even bigger than before in more dimensions
dan bahkan mencapai titik yang mana kerugian lebih besar dari sebelumnya.
this will cause model to diverge in
Di lebih banyak dimensi, ini akan menyebabkan model tersebar.
which case you should try decreasing the
Pada kasus ini, Anda harus coba
learning rate by an order of magnitude or so we just described algorithm call
menurunkan kecepatan pembelajaran menurut urutan besaran atau lainnya.
gradient descent we start somewhere and
Kita telah jelaskan algoritme yang disebut penurunan gradien.
we continuously take steps that
Kita mulai di titik tertentu dan terus mengambil langkah yang bisa
hopefully get closer and closer to some minimum however does it matter where we
mendekatkan kita ke beberapa minimum. Namun, dari manakah kita mulai titiknya?
start well let's think for a minute if
Mari kita berpikir sejenak.
you Pearson's back in calculus class we learned that some problems are complex
Jika kembali ke kelas kalkulus, kita belajar bahwa
meaning that they're shaped like a giant
beberapa masalah bersifat konveks, artinya berbentuk seperti mangkuk besar.
bowl so as long as we start somewhere on the bowl and we take reasonable steps
Jadi selama kita mulai dari titik mana pun di mangkuk & ambil ukuran langkah wajar
sizes and follow the gradients eventually we'll find our way to the bottom of the bowl however many machine
dan ikuti gradien, yang akhirnya kita akan temukan cara menuju bagian bawah mangkuk.
learning problems are not convex neural
Namun, banyak masalah machine learning yang tidak bersifat konveks.
networks are notoriously not convex
Jaringan neural dikenal tidak bersifat konveks,
meaning that rather than being shaped
artinya tidak berbentuk seperti mangkuk,
like a bowl they're shaped more like an
tapi berbentuk seperti tempat telur.
egg crate where there are many possible
Yang mana ada banyak nilai minimum yang memungkinkan,
minimum values some of which are better
beberapa nilai lebih baik daripada yang lain.
than others so their initialization does
Jadi inisialisasi ternyata penting.
matter more on that later
Dan kita akan bahas tentang ini nanti.
let's think for a moment about
Mari kita berpikir sejenak tentang efisiensi.
efficiency when we're computing the grading of the loss function math
Saat kita menghitung gradien dari fungsi kerugian,
suggests that we should compute the
gradien harus dihitung sesuai rumus matematika
gradient over all examples in our data
pada semua contoh di kumpulan data.
set this is the only way to guarantee that our gradient steps are in exactly
Ini adalah satu-satunya cara untuk menjamin bahwa langkah gradien
the right direction for large data sets
menuju ke arah yang tepat.
with a million or billion examples that
Untuk kumpulan data yang besar dengan jutaan atau miliaran contoh,
would be a lot of computation in order
akan diperlukan banyak penghitungan
to perform each step
untuk melakukan setiap langkah.
empirically people have found that rather than using the entire data set if
Secara empiris, banyak orang menemukan bahwa dibanding menggunakan seluruh
they compute the greeting of the loss function over a single example that
kumpulan data, penghitungan gradien fungsi kerugian pada satu contoh
mostly works too even though they'd have to take more overall steps the amount of
juga sangat efektif. Meski lebih banyak langkah keseluruhan harus diambil,
total computation in order to reach a
jumlah komputasi untuk mencapai solusi yang baik
good solution is often much smaller this
biasanya jauh lebih kecil.
is called stochastic gradient descent
Ini disebut penurunan gradien stokastik.
and practice we adopt an intermediate
Dalam praktiknya, kita menerapkan solusi tengah.
solution rather than use one example or the entire data set we use a small batch
Daripada penggunaan satu contoh atau keseluruhan kumpulan data,
somewhere between ten and a thousand
kita bisa gunakan jumlah kecil, antara sepuluh dan seribu contoh
examples to perform our steps this is called mini-batch gradient descent
untuk melakukan langkah kita. ini disebut penurunan gradien tumpukan mini.
Similar videos:

Descending into ML
Google Open Online Education
110.8K views 271 likes 12 dislikes 12 Oct 201827% match

Regularization for Simplicity
Google Open Online Education
12.7K views 53 likes 2 dislikes 12 Oct 201826% match


Settings Privacy About Contact Donate