Regularization for Simplicity Google Open Online Education Korean English

Regularization for SimplicityYouTube↗ IA↗(long shot)
Education 12.7K views 53 likes 2 dislikes 12 Oct 2018

Google Open Online Education 30.4K subscribers United States YouTube↗

Google에서 머신러닝을 연구하는 마야 굽타라고 합니다.

Hello, I'm Maya Gupta, I'm a machine learning researcher here at Google.

오늘은 머신러닝 효율을 높이기 위한 두 번째 요소를 소개하려 합니다.

And I'm excited today to talk about the second key ingredient to making machine learning work great.

앞에서는 학습 손실을 최소화하는 방법, 즉

You guys have already talked about minimizing training loss.

사례를 제대로 설정하는 방법을 배웠습니다.

That is getting the examples right.

오늘은 정규화에 관해 살펴보려 합니다. 내가 사용하는 사례를 너무 믿지 않는 것이죠.

And what we're going to talk about today is regularization which, to sum it up, is not trusting your examples too much.

과적합이라고 부르는 이 곡선에서 볼 수 있듯이, 학습을 매회 반복할수록 학습 손실이 줄어듭니다. 손실이 계속 감소하죠.

As we can see in this curve called overfitting, as we go through more and more training iterations, our training loss is getting down, it's getting further and further down and it keeps decreasing.

우리 목표가 학습 손실을 줄이는 것이니까요.

Because that's what we're doing, we are minimizing the training loss.

그러므로 당연히 파란 곡선은 계속 내려가고, 결국에는 아래에서 수렴하게 됩니다.

So no surprise that the blue curve keeps going down, eventually it will sort of converge there.

반면 빨간 선은 올라가게 됩니다.

Well the red line actually starts to go up.

이 빨간 선에 주목해야 합니다.

And the red line is what we really care about.

지금은 학습용 사례를 사용해 학습하고 있지만 새 사례, 즉 시험용 사례를 사용할 때도 손실이 적게 발생하길 바라는 것이죠.

We want to generalize, even though we are training on the training examples, we want to generalize to new examples, the test examples and we want to have low loss on them.

빨간 선이 오르지 못하게 하려면 어떻게 해야 할까요? 여기서 발생하는 현상은 무엇일까요?

So how do keep the red line from going up and what's going on here?

먼저 여기서 발생하는 현상은 과적합이라고 합니다.

Well first of all what's going on is overfitting.

파란 선의 사례에서 좋은 값을 보여주고 있기 때문에 여기에서 사용된 사례의 고유한 굴곡이나 특성에 익숙해지기 시작한 것입니다.

We're doing such a good job on the blue examples, that we're starting to sort of fit to the unique perturbations and specializations of the blue examples.

비유하자면 마치 영어를 배우려고 하는데 영어를 가르쳐 줄 수 있는 사람이 중학생 한 명만 있는 것과 같습니다.

As an analogy, say you were trying to learn English and the only person that there was to teach you English was a teenager.

처음에는 영어를 배우는 데 많은 도움이 되고 영어 실력도 많이 늘겠죠.

At first that would really help you learn English and you'd do a great job learning English.

하지만 계속 그 중학생부터만 배우니 곧 중학생들만 쓰는 속어나 특이한 표현, 억양을 배우게 됩니다.

But if all you did was listen and talk to that one teenager, pretty soon you'd start to learn that teenager's slang and the particularities of their language and accent.

그러다 보면 일반적인 사람들과 영어로 대화하기 어렵게 됩니다.

And at some point it'd make it even harder for you to speak English with the general population.

그렇다면 과적합은 어떻게 해결할 수 있을까요?

So what can we do about overfitting?

과적합을 피하기 위해 정규화라는 방법을 사용하며, 정규화에는 여러 가지 전략이 있습니다.

Well regularization is what we do to avoid overfitting and there are a lot of different regularization strategies.

그중 하나는 조기 중단입니다. 즉, 학습 데이터에 수렴하기 전에 학습을 멈추는 거죠.

One is just to do early stopping, which says just stop the training before you really converge on the training data.

빨간 곡선의 진짜 원인을 찾아내려는 방법인데, 실제로 하긴 조금 어렵지만 많이 쓰이는 방법입니다.

Trying to get to where the bottom of the red curve is, but this can be a little difficult to do on practice, but often used.

또 모델 복잡성에 페널티를 주는 정규화 전략도 있습니다. 지금부터는 이 전략에 관해 설명하겠습니다.

Other regularization strategies include trying to penalize the model complexity, and that's what we'll be talking about the rest of this session.

이 전략에서는 학습하는 동안 모델 복잡성에 페널티를 줍니다.

And what we can do is we can penalize the model complexity while we're training.

지금까지는 학습 사례를 제대로 추출하고 경험적 위험을 최소화하는 데에만 초점을 맞췄습니다.

So, so far the training has just focused on the important thing of getting the training examples right, minimizing the empirical risk, empirical risk minimization.

지금부터는 모델 복잡성에 페널티를 준다는 두 번째 항을 추가할 겁니다.

Now what we're gonna do is we're gonna add a second term to penalize the model complexity.

이를 구조적 위험 최소화라고도 합니다.

This is sometimes referred to as structural risk minimization.

학습 데이터를 제대로 설정함과 동시에 이를 지나치게 신뢰하지 않는다는 두 가지 핵심 요소 사이에서 균형을 잡아야 합니다. 이로 인해 모델이 복잡해지거든요.

And so we're gonna balance these two key ingredients, getting the training data right but not trusting the training data too much that it makes our model too complicated.

모델 복잡성은 어떻게 정의할까요?

So how do we define model complexity?

이를 위한 방법으로는 여러 가지가 있습니다.

Well there a lot of things we could do.

작은 가중치를 사용하는 방법이 많이 쓰입니다. 학습 사례를 제대로 추출하면서 매개변수를 최대한 작게 만드는 것이죠.

One popular strategy is to try to prefer smaller weights, that is make the parameters as small we can get away with while still getting the training examples right.

이것은 몇 가지 수학적인 방법으로 인코딩할 수 있습니다.

And we can encode that mathematically in a few different ways.

오늘 우리는 능형 정규화라고도 하는 L2 정규화를 주로 살펴보려고 합니다.

Today we are gonna focus on L2 regularization, also known as ridge regularization.

이 정규화 전략에서는 가중치 제곱값의 합계에 페널티를 줍니다.

In this regularization strategy we penalize the sum of the squared values of the weights.

또 베이지안 사전확률에 따라 우리는 학습용 사례를 보기 전에 이미 우리가 사용하는 가중치가 작고 0을 중심으로 정규분포를 이룰 것으로 예상하고 있습니다.

And if you're familiar with bayesian priors, this sort of says that a priori, before we have seen our training examples, we would've guessed that our weights should be sort of centered around 0 and not too big, normally distributed.

따라서 우리가 L2 정규화를 사용할 때는 학습 데이터에 주의를 기울이면서도 필요 이상으로 큰 가중치를 사용하게 되지 않도록 노력합니다.

So when we use L2 regularization, it does pay attention to the training data, but it tries to make sure that we don't end up with any weights that are sort of bigger than they need to be.

그럼 지금까지의 내용을 수학적으로 정리해 봅시다.

So let's put that together mathematically again.

학습을 최적화할 때 두 개의 항이 있습니다.

So now our training optimization has two terms.

첫 번째 항은 학습 손실입니다.

The first term, our training loss.

사례를 올바로 추출해야 합니다.

We want to get the examples right.

L항, 즉 손실항은 학습 데이터에 따라 달라집니다.

And you'll see that L term, the loss term depends on the training data.

하지만 이제 모델 복잡성에서 두 번째 항을 추가했습니다. 여기서 우리는 제곱된 가중치의 합인 L2 정규화를 사용합니다.

But now we have added the second term from model complexity and here we're using the L2 regularization, which is the sum of the squared weights.

두 번째 항은 데이터에 의존하지 않으며, 더 단순한 모델을 만드는 것을 목표로 합니다.

And you'll notice that that second term doesn't depend on the data, it just says hey I want a simpler model.

이 두 항은 람다에 의해 균형을 이룹니다.

And you'll see these two terms are balanced by a lambda.

람다는 사례 올바로 설정하기와 모델 단순하게 만들기 사이에서 무엇에 더 비중을 두는지 보여주는 계수입니다.

That's a coefficient that says how much do we care about getting the examples right versus making the model simple?

람다로 무엇을 선택할지는 나에게 달려 있으며 문제에 따라서도 달라집니다.

And the choice of lambda is really up to you and depends on your problem.

학습 데이터의 양이 많고 학습 데이터와 시험 데이터가 동일한 경우 통계에서는 IID라고 하는데

If you have lots and lots of training data and your training data and your test data look the same, IID to be statistical.

이 경우 많은 정규화가 필요하지 않습니다. 1부터 -6 정도이면 됩니다. 아예 정규화가 필요 없을 수도 있습니다.

Then you probably don't need much regularization, maybe 1e to the negative 6, maybe none at all.

하지만 학습 데이터의 양이 적거나 학습 데이터와 시험 데이터가 다르면 정규화가 많이 필요합니다.

But if you don't have much training data or if your training data and test data are kind of different, then you may want a lot of regularization.

그리고 교차검증이나 별도의 테스트 세트를 사용한 조정 과정이 필요할 수도 있습니다.

And you may want to tune that with cross validation or with a separate test set.