The Hessian matrix Khan Academy English Korean

The Hessian matrixYouTube↗ IA↗(long shot)
Howto & Style 165.5K views 771 likes 24 dislikes 16 Jun 2016

Khan Academy 9.4M subscribers United States YouTube↗

Click to Play Video

- [Voiceover] Hey guys.

안녕하세요 여러분

Before talking about the vector form for the quadratic

벡터를 이용해 다변수 함수를 근사하는 방법을

approximation of multivariable functions,

이야기하기 이전에,

I've got to introduce this thing called the Hessian matrix.

헤세 행렬(Hessian Maxtrix)에 대해서 알아봅시다

Essentially what this is, is just a way to package

헤세 행렬은

all the information of the second derivatives of a function.

이계 도함수 정보를 모두 모아놓은 집합입니다

Let's say you have some kind of multivariable function

다음과 같은 다변수 함수가 있다고 가정해봅시다

like the example we had in the last video,

지난 영상에서 사용한 예시와 동일한 예시입니다

e to the x halves multiplied by sine of y,

e의 x/2 제곱 곱하기 sin(y) 입니다

so some kind of of a multivariable function.

이 함수는 다변수 함수입니다

What the Hessian matrix is, and it's often denoted

헤세 행렬은, 주로

with an H, but a bold faced H, is it's a matrix,

대문자 H 를 굵게 그려 표현합니다

incidentally enough, that contains all

앞서 말했듯이 이 행렬은

the second partial derivatives of f.

f 의 이계 도함수를 모두 포함합니다

The first component is gonna be, the partial derivative

첫 번째 원소는,

of f with respect to x twice in a row, and everything

f 를 x에 대해서 두 번 편미분한 도함수이고,

in this first column is kind of like you first do it

1열의 원소들은 모두 이와 유사하게

with respect to x, because the next part is the second

x 에 대해서 우선적으로 한 번 편미분하면 됩니다

derivative where first you do it with respect to x

1열 2행은 x에 대해서 한 번 편미분하고

and then you do it with respect to y.

그 다음 y 에 대해서 편미분합니다

That's the first column of the matrix.

여기 적힌 두개의 편도함수가 1열의 원소가 됩니다

Then up here it's the partial derivative where first you do

it with respect to y and then you do it with respect to x,

y,x 순서로 편미분해줍니다

and then over here it's where you do it with

그리고 2열 2행은

respect to y both times in a row.

y 에 대해서 두 번 편미분해줍니다

Partial with respect to y both times in a row.

Let's go ahead and actually compute this

and think about what this would look like

우리가 설정한 함수의 경우

in the case of our specific function here.

헤세 행렬이 어떻게 나오는지 알아봅시다

In order to get all the second partial derivatives we first

이계 편도함수를 찾기 위해서는

should keep a record of the first partial derivatives.

우선적으로 일계 편도함수 정보들을 알아야 합니다

The partial derivative of f with respect to x.

f 의 x 에 대한 편도함수는

The only place x shows up is in this e to the x halves.

x 가 유일하게 e의 지수부분에서 등장하므로,

Bring down that 1/2 e to the x halves and sine of y

½ 곱하기 e의 x/2 제곱 곱하기 sin(y)가 됩니다

just looks like a constant as far as x is concerned.

y 는 상수 취급하므로

sin(y)는 그대로 써줍시다

Then the partial derivative with respect of y.

이제 y 에 대한 일계 편도함수를 구해야 합니다

Partial derivative of f with respect to y.

f 의 y 에 대한 편도함수는,

Now e to the x halves looks like a constant

이제 e의 x/2 제곱이 상수 취급되고,

and it's being multiplied by something that has a y in it,

sin(y)를 미분해준 것을 곱하면 됩니다

e to the x halves.

e의 x/2 제곱 곱하기

The derivative of sine of y, since we're doing it

sin(y) 의 미분값인

with respect to y is cosine of y.

cos(y)를 곱해줍시다

These terms won't be included in the Hessian itself

일계 편도함수는 헤세 행렬에 직접 들어가지는 않지만

but we're just keeping a record of them

이계 편도함수를 구하기 위해서

because now when we go into fill in the matrix,

꼭 필요한 정보들이므로 기록해 둡시다

this upper left component, we're taking the second partial

예를 들어 1행 1열의 경우

derivative where we do it with respect to x then x again.

f 의 x 에 대한 일계편도함수를 한 번 더 편미분해야 합니다

Up here is when we did it with respect to x,

이 위에 초록색으로 적힌 일계 편도함수를

if we did it with respect to x again we bring down

x 에 대해서 한 번 더 편미분하면

another 1/2 so that becomes 1/4 by e to the x halves

¼ 곱하기 e의 x/2 제곱 곱하기

and that sine of y just still looks like a constant.

sin(y) 가 됩니다

Then this mixed partial derivative where we do it with

2행 1열의 혼합 편도함수의 경우

respect to x then y, so we did it with respect to x here.

x , y 순서로 편미분 해야하므로

When we differentiate this with respect to y,

다시 한번 이 초록색 함수를 y 에 대해서 편미분하면

the 1/2 e to the x halves just looks like a constant

½ 곱하기 e의 x/2 제곱 곱하기

but then derivative of sine of y ends up as cosine of y.

cos(y) 가 됩니다

Then up here, it's gonna be the same thing but let's see

2열의 경우 동일한 방법이 적용하면,

when you do it in the other direction,

1행 2열의 경우

when you do it first with respect to y then x.

y , x 순서로 편미분하므로

Over here we did it first with respect to y.

이미 구해놓은 y 에 대한 편도함수를

If we took this derivative with respect to x,

x 에 대해서 다시 편미분해주면 되므로

you'd have the 1/2 would come down, so that would be

계산해보면

1/2 e to the x halves multiplied by cosine of y

½ 곱하기 e 의 x/2 제곱 곱하기 cos(y)가 됩니다

because that's just looks like a constant since

왜냐하면 x 에 대해서 편미분할 때에는

we're doing it with respect to x the second time.

y 를 상수 취급하기 때문입니다

That would be cosine of y, and it shouldn't feel like a

따라서 cos(y) 를 곱하게 되는 것입니다

surprise that both of these terms are not to be the same.

2행 1열과 1행 2열이 같은 것은

With most functions that's the case.

놀라운 일이 아니라, 거의 대부분의 함수에서 동일하게 나옵니다

Technically not all functions.

하지만 모든 함수에 대해서 항상 성립하지는 않습니다

You can come up with some crazy things

가끔씩 괴상한 함수들의 경우

where this won't be symmetric, where you’ll

이 두 원소가 같은 값을 갖지 않기도 하지만,

have different terms in the diagonal, but for the most part

대부분의 함수의 경우

those you can expect to be the same.

두 원소는 같은 값을 갖습니다

In this last term here where we do it with respect to

2행 2열의 경우 y에 대해서 두 번 편미분하므로,

y twice, we now think of taking the derivative of this whole

이 편도함수를

term with respect to y, that e to the x halves looks like

y 에 대해서 한 번 더 편미분해주면

a constant and derivative of cosine is negative sine of y.

e의 x/2 제곱 곱하기 - sin(y) 가 됩니다

This whole thing, a matrix, each of whose components

이렇듯 어떤 함수의 이계 도함수를 모아놓은 행렬을

is a multivariable function, is the Hessian.

헤세 행렬이라고 합니다

This is the Hessian of f, and sometimes bold write it

이 예제는 f에 대한 헤세 행렬이라고 하며,

as Hessian of f specifying what function its of.

H 아래 첨자에 f 를 써서 어떤 함수에 대한 헤세 행렬인지를 알려줍니다

You could think of it as a matrix valued function

이는 행렬함수이기도 한데,

which feels kind of weird but you plug in two different

이상하게 보일지도 모르지만,

values, x and y, and you'll get a matrix,

x 와 y 에 값을 대입해주면 행렬을 얻게 되므로

so it's this matrix valued function.

이는 행렬함수라고 할 수 있습니다

The nice thing about writing it like this is that

이 표기법의 장점은

you can actually extend this so that rather

두 개의 변수를 갖는 경우뿐 아니라

than just for functions that have two variables,

그 이상의 변수를 갖는 경우로 확장 가능하다는 것입니다

let's say you had a function, kind of like clear this up,

[글씨 지우는 중]

let's say u had a function that had three variables

세 개의 변수를 갖는 함수를 다룬다고 합시다

or four variables or any number.

혹은 그 이상의 변수도 좋습니다

Let's say it was a function of x, y, and z,

x, y, z를 변수로 가지는 함수가 있습니다

then you can follow this pattern and following down

앞서 한 방법을 통해 계산해보면,

the first column here the next term that you would get

1열 3행으로는

would be the second partial derivative of f,

이계 편도함수가 들어가고, 이는

where first you do with respect to x,

f 의 x 에 대한 일계 편도함수를

and then you do it with respect to z.

z 에 대해서 한번 더 편미분 해 준 것이 됩니다

Then over here it would be the second partial derivative

2열 3행의 경우

of f, where first you did it with respect to y

f 의 y 에 대한 일계 편도함수를

and then you do it with respect to z,

z 에 대해서 한번 더 편미분 해 준 것이 됩니다

I'll clear up even more room here,

여기 옆에도 지워야겠군요

because you'd have another column where you'd have the

왜냐하면 이번에는 3열까지 확장이 되어

second partial derivative, where this time everything first

이계 편도함수를 적어줘야 하기 때문입니다

you do it with respect to z and then with respect to x.

3열 1행은 z, x 순서로 편미분해주고

Then over here you'd have the second partial derivative

where first you do it with respect

to z and then with respect to y.

z, y 순서로 편미분해주며

Then there is the very last component you'd have

the second partial derivative where first you do it with

respect to, well, I guess you do it with respect to z twice.

z 에 대해서 두 번 편미분해주면 됩니다

This whole thing, this three by three matrix would be

이 3x3 행렬이

the Hessian of a three variable function.

세 개의 변수를 갖는 함수의 헤세 행렬이 됩니다

You can see how you could extend this pattern where if it

이 예제를 통해서

was a four variable function you'd get a four by four matrix

네 개의 변수를 갖는 경우 4x4 행렬을 얻을 것임을

of all of the possible second partial derivatives.

알 수 있습니다

If it was a 100 variable function

만일 100개의 변수를 다룬다면

you would have a 100 by 100 matrix.

100x100 행렬을 얻을 것입니다

The nice thing about having this is then we can talk

이 표기의 좋은 점은

about that by just referencing the symbol

기호로써 이계 편도함수 정보를 대체할 수 있다는 것입니다

and we'll see in the next video how this makes

다음 영상에서

it very nice to express, for example the quadratic

이 표기의 장점을

approximation of any kind of multivariable function

다변수 함수의 이차 근사를 통해 살펴보도록 하겠습니다

not just a two variable function and the symbols

이변수 함수뿐 아니라 그 이상의 변수를 갖는 경우에도

don't get way out of hand 'cause you don't have to

오직 H 라는 표기를 이용해서 이계 편도함수를 나타낼 수 있으므로

reference each one of these individual components.

각각의 원소를 직접 적어 줄 필요가 없습니다

You can just reference the matrix as a whole

헤세 행렬로 표기한 다음에

and start doing matrix operations.

행렬 연산을 해 주면 되는 것입니다

I will see you in that next video.

다음 영상에서 만납시다

Similar videos:

Quadratic approximation example
Khan Academy
20.9K views 56 likes 3 dislikes 16 Jun 201630% match

Symmetry of second partial derivatives
Khan Academy
105.9K views 397 likes 14 dislikes 11 May 201629% match

Quadratic approximation formula, part 2
Khan Academy
21.7K views 111 likes 3 dislikes 16 Jun 201628% match

Multivariable chain rule
Khan Academy
161.4K views 671 likes 24 dislikes 20 May 201627% match

Gradient
Khan Academy
636.3K views 5.4K likes 155 dislikes 23 May 201626% match

Laplacian computation example
Khan Academy
61.5K views 335 likes 8 dislikes 31 May 201625% match

Settings Privacy About Contact Donate