Generalization Google Open Online Education English (auto-generated) Korean

GeneralizationYouTube↗ IA↗(long shot)
Education 31.9K views 116 likes 3 dislikes 12 Oct 2018

Google Open Online Education 30.4K subscribers United States YouTube↗

so we mentioned before that just fitting our training data was not enough to be

머신러닝을 하려면 학습 데이터를 모델에 맞추는 것만으로는 충분치 않다고 말씀드렸습니다.

doing machine learning machine learning were really interested in generalization

머신러닝에서는 일반화가 정말 중요합니다.

let's dive into that topic a little bit

이 주제를 좀 더 살펴보도록 하죠.

more so here we've got a data set where we've got some spam examples here on the left and some not spam examples over on

데이터 세트 왼쪽에는 스팸 사례가, 오른쪽에는 스팸이 아닌 사례가 있습니다.

the right now if I wanted to I could try and fit a linear model to sort of disambiguate the spam from the not spam

이렇게 스팸 여부를 구분하는 선형 모델을 그릴 수 있습니다.

but any sort of linear model that I would try and fit here would end up making a load of error maybe this guy would be misclassified or that guy would

하지만 선형 모델을 어떻게 그어보아도 결국 약간의 오류가 생깁니다. 이 항목도, 이 항목도 분류가 잘못되어 버리죠.

be misclassified sitting on the wrong side of the line I might decide to try

and be clever and get a hundred percent accuracy on my training data by drawing a more complicated line maybe it would

정확성이 100%인 학습 데이터를 얻기 위해 조금 더 복잡한 선을 그으면 이렇게 됩니다.

look something like this I'm going to go and make sure that my model is going to be super clever and get a hundred

모델 성능이 매우 뛰어나서 100% 정확성을 보이도록 말입니다.

percent accuracy all of my training examples are now completely correctly classified what's the issue here well

이제 모든 학습 사례가 정확하게 분류됐습니다. 여기서 문제는 무엇일까요?

the issue is what if new examples are coming in I might end up with some new examples that the model is just not really well suited to doing a good job

문제는 새로운 사례가 들어올 경우입니다. 새로운 사례가 들어오면 모델이 잘 들어맞지 않고 결과도 좋지 않을 수 있습니다.

on so in a sense this model is maybe over fit our training data originally and it doesn't do a good job of classifying new previously unseen data

이런 면에서 보자면, 이 모델은 학습 데이터에 과적합되어 있고 이전에는 나타나지 않았던 새로운 데이터를 분류하는 데 적합하지 않습니다.

okay so we've seen that if our models are too complicated that overfitting is a real problem how can we make sure that

이렇듯 모델이 지나치게 복잡한 것, 즉 과적합은 문제가 됩니다.

our models are not over fit in practice

모델 과적합이 발생하지 않게 하려면 어떻게 해야 할까요?

well step back and take a look at the big picture of what it is we're trying to do in machine learning at a very

한 걸음 물러서서 우리가 머신러닝으로 무엇을 하려고 하는지 생각해 봅시다.

abstract level we can imagine that there's some hidden process that is

추상적으로, 우리에게 데이터를 제공하는 어떤 숨겨진 프로세스가 있다고 볼 수 있죠.

giving us data and that hidden process might be something like the process by which emails are generated as either spam or not spam and people label them

이메일이 스팸 또는 스팸이 아닌 것으로 지정되고 사람들이 이를 인식하여 분류하는 과정이 바로 이러한 숨겨진 프로세스일 겁니다.

as such through their perceptions or the

process by which pictures of puppies are generated and people label them as cute

또는 강아지 사진이 만들어지고 난 다음 사람들이 이를 귀여움, 귀엽지 않음으로 분류하는 프로세스일 수도 있죠.

or not cute the process could be anything that gives us data and in general we're not going to know the full details of that process

데이터가 생성되는 모든 과정이 이러한 프로세스가 될 수 있습니다. 우리가 이 프로세스를 완전히 알게 되지는 않습니다.

the only thing we're going to know is the concrete examples that we get to sample from that process so

우리가 알게 되는 것은 그러한 프로세스에서 추출한 구체적인 사례들뿐입니다.

specific pieces of email or spam specific pictures of puppies we call

이메일의 특정 부분이나 스팸, 특정 강아지 사진과 같은 것들이죠.

those samples our data samples now

이걸 데이터 샘플이라고 합니다.

ideally we would like to be able to train on a data sample and then know that it's going to do well on new draws from that hidden distribution how will

데이터 샘플로 모델을 학습시킨 다음 숨겨진 데이터 분포에서 새로운 사례를 가져왔을 때 좋은 결과를 낼 수 있으면 가장 좋겠죠.

we be able to trust us well one thing

그 결과를 어떻게 신뢰할 수 있을까요?

that we could do is we could use some nice ideas that go back as far as william of Baucom from the 14th century our first machine learning theoretician

오컴의 윌리엄이 살았던 14세기까지 돌아가 봅시다. 최초의 머신러닝 이론가라고 할 수 있는 그는 '모델은 가능한 한 단순해야 한다'는 '오컴의 면도날' 원리를 발전시켰습니다.

who developed the idea of Occam's razor basically saying that a model should be as simple as possible there's a whole

field around this called generalization

이 원리를 기반으로 한 것이 일반화 이론입니다.

theory and fascinating field we're not going to get into that too much in this

일반화는 매력적인 이론이지만 오늘 강의에서는 자세히 다루지 않겠습니다.

course because we don't have to use theory we can in fact use empirical

실제로는 경험적인 접근방식을 사용하기 때문에 이론을 사용할 필요가 없거든요.

stuff and the empirical strategy we can use is to take another draw from that distribution and see how well we do this

즉, 데이터 분포에서 새로운 사례를 뽑아 모델을 시험해 보는 겁니다.

is called using a test set methodology

이를 테스트 세트 방법이라고 합니다.

so we pull one draw of data from that distribution we train on that that's our training set we take another draw of

데이터 분포에서 하나의 데이터 사례를 추출하여 모델을 학습시킵니다. 이게 학습 세트가 되죠.

data from that distribution we call it our test set and if we do a good job about as well at predicting on our test set as we do on our training set then

그런 다음 사례를 하나 더 추출하여 테스트 세트로 만듭니다. 학습 세트에서만큼 테스트 세트에서도 좋은 예측값을 얻으면 이전에 보지 못했던 새로운 데이터도 제대로 일반화할 수 있을 겁니다.

we've got pretty good feeling that our model is going to be able to generalize well onto new previously unseen data now

there's a couple of caveats here this is sort of the fine print of machine

이제 몇 가지 주의해야 할 점이 있습니다.

learning the first is that we are drawing our data our drawing independently and identically from that

첫째는 데이터 분포에서 사례를 추출할 때 독립적, 개별적으로 추출해야 한다는 점입니다.

distribution we're not biasing ourselves in any way

어떤 식으로든 편향되어서는 안 됩니다.

the second is that distribution is stationary it doesn't change over time

둘째는 이 분포가 정상성을 보이며 시간이 지나도 변하지 않아야 한다는 점입니다.

and the third you know kind of implied here is that we're always pulling from the same distribution we don't suddenly start pulling from a different one now

셋째는 여기에서도 나타났지만 항상 동일한 데이터 분포를 사용해야 하며 갑자기 새로운 분포에서 사례를 추출하면 안 된다는 겁니다.

those are critical assumptions and they sort of form the bedrock of a lot of what we do in supervised machine

이러한 가정들은 매우 중요하며 지도 머신러닝의 기초가 됩니다.

learning but in practice sometimes we do violate them the stationerity assumption might be violated if say user behavior on shopping changes over the holiday

하지만 실제로는 이러한 가정이 지켜지지 않을 때도 있습니다. 휴가 시즌과 여름 시즌에 변화를 보이는 사용자 쇼핑 행동과 같은 경우 정상성 가정이 지켜지지 않을 수도 있습니다.

season

versus in the summer and the polling from the same distribution might change if people suddenly decide that a different breed of puppies is cute than

사람들이 갑자기 다른 종류의 강아지도 이전에 본 강아지만큼 귀엽다고 생각하면 동일한 데이터 분포에서 추출한다는 가정도 바뀔 수 있습니다.

they saw before fashions do change so it's important for

유행은 변하기 마련이니까요.

us to be aware of these assumptions and also to pay careful attention to our metrics any time we know that these assumptions might be violated

따라서 이러한 가정을 염두에 두고 측정항목에 특히 주의해야 합니다. 언제든지 가정은 바뀔 수도 있으니까요.