Maximum Entropy Tutorial: Intro To Max Ent Complexity Explorer Vietnamese English

Maximum Entropy Tutorial: Intro To Max EntYouTube↗ IA↗(long shot)
Science & Technology 10.3K views 48 likes 3 dislikes 18 Apr 2019

Complexity Explorer 36.4K subscribers United States YouTube↗

Click to Play Video

Cảm ơn các bạn đã tham gia

Okay, thank you for joining me

chúng ta sẽ thảo luận về

we are going to talk today about what

is called Max Ent, or

nguyên lý entropy tối đa

the Principal of Maximum Entropy, or

hoặc các phương pháp entropy tối đa

sometimes called Maximum Entropy Methods.

Max Ent có thể chia làm 2 phần

Max Ent can break into two parts

được giới thiệu

and those two parts here will have

trong nửa đầu và cuối

just in the 1st and 2nd half

của bài này.

Max Entropy was invented by

ông E.T Jaynes nghĩ ra

a gentleman named E.T. Jaynes.

ông là người đầu tiên

He was the first person to

viết những điều này thành bài hoản chỉnh

really put this all onto a single paper

để người khác đánh giá

for physical review and

Jaynes đã tự hỏi những câu sâu sắc về

Jaynes was after some really deep

triết học, thậm chí nhận thức luận

philosophical, almost epistemological,

về tính chất của

questions about the nature of

thực tế, vì sao các định luật vật lý

reality, why physical laws took

lại như vậy.

the shape that they did.

những năm gần đây chúng ta

But in recent years, what we've

biết max ent, nguyên lý

found is that max ent, the principal of

entropi tối đa, đã được

maximum entropy, has found

sử dụng rất nhiều

an enormous amount

trong "máy học", trong

of use in machine learning, in the

mô hình hóa các chu trình tự nhiên

modelling of real-world processes,

as opposed to, lets say, their

sự giải thích và hiểu biết

explanation and the understanding

về những chu trình đó.

of those processes.

có những người rất quan tâm đến

So there are some people who are really

dự báo, ví dụ

interested in prediction, for example,

họ muốn biết

they would like to learn what the

thị trường chứng khoán biến động

stock market looks like and predict

thế nào vào ngày mai

what it is going to look like tomorrow.

họ muốn biết

They want to learn the natural, lets

một bệnh nhân ung thư

say, a particular patients cancer;

muốn mô hình hóa

they would like to model in such

một cách tốt nhất có thể

a way that the model is good enough

để dự đoán điều gì xảy ra

that tomorrow they can predict what's

vào ngày mai.

going to happen next.

Đó là một mục đích khó, về trí tuệ

That's a huge goal, intellectually

một mục tiêu đầy tham vọng

incredibly ambitious goal that people

mà người làm về trí thông minh

in the artificial intelligence & machine

nhân tạo và máy học có.

learning community have. And

Max ent được dùng nhiều,

max ent is huge in that part of the

cụ thể là trong giới học

world and that part of the intellectual

thuật và những gì chúng ta làm bắt đầu

world and what we will do is begin

ở đó. Phần 2

there. In the 2nd part of the

tôi sẽ diễn giải quan hệ

talk, i am going to try to draw connections

của những điều các bạn học về

from what you have learned on the

dự đoán và máy học

prediction & machine learning side

để áp dụng vào

and try to apply those to some really

những vấn đề hay trong

exciting problems that we find in the

sinh học, trong

study of biological systems, in the

hệ thống xã hội. cụ thể

study of social systems. In

tôi sẽ đi sâu một chút

particular I will try to get a little bit

at some of the kind of deeper

ý nghĩa triết học của entropy tối

philosophical questions that maximum

đa rằng vì sao nó

entropy raises for us particularly when

hoạt động tốt.

it works so well as it does.

Tôi sẽ bắt đầu bằng vấn đề

So what I will do is begin with the

dự báo. Cụ thể

prediction problem. In particular

tôi bắt đầu với vấn đề mà

I begin with the kind of problem which

max ent được dùng nhiều

maximum entropy excels at.

Dự báo từ dữ liệu đa

That is in the prediction of high

chiều, dữ liệu đa chiều mà

dimensional data; so high dimensional

chúng ta bàn ở đây

data in this case, we'll explain as a kind

hãy định nghĩa, là những

of working definition, say something

gì thuộc về: hệ thống

along the following line: a system is

đa chiều có cấu hình gồm nhiều

high dimensional if the number of

biến (gọi là n) hơn rất nhiều

configurations (which we call n) is

lượng dữ liệu chúng ta có

much greater than the amount of

data that we have, and we call that k.

Tức là liên quan đến lượng dữ liệu và

So this is the amount of data and this is

số lượng các đặc điểm cấu hình có thể có

the number of possible configurations.

một hệ thống có thể có nhiều cách biểu

So the number of ways the system could look

diễn hơn số cách bạn

is much greater than the number

có thể quan sát được

of ways you've actually observe it in

trong thế giới thực. Số lần quan

the real world. The number of

sát được trong thế giới thực

times we observe in the real world.

thường thì chúng ta nói về các chiều

Oftentimes we can talk about the

của một bộ số liệu, vậy hãy

dimensions of a data set, so lets

lấy một hình ảnh làm ví dụ,

for example, take an image, and lets take

hình đen trắng. Coi như hình này

a black and white image. Lets say

có 10000 điểm ảnh.

that the image has 10,000 pixels.

mỗi điểm ảnh trong hình, mỗi

Each pixel in your image, each pixel in

điểm ảnh trong hình, nhận giá trị +1

your image, can take on, lets say, +1

hoặc -1. Đen là +1 còn trắng

or -1 value. Black, lets say +1, and -1

là -1. Vậy bất kỳ hình nào sẽ có

lets say is white. So any image here

một tổ hợp tùy ý

can have any arbitrary combination,

một tổ hợp tùy ý

any arbitrary combination, of

các điểm ảnh. Nếu 10000 điểm ảnh

pixel values. If those 10,000 pixels,

mỗi điểm là +1 hoặc -1

and each pixel can be the +1 or -1,

thì tổng số hình là 2 mũ 10000

then the total # of images is 2^10,000.

mỗi điểm ảnh có 1 chiều gián đoạn

Each pixel has a discrete dimension,

+1 hoặc -1, tất cả có 10000 điểm

+1 or -1, and there's 10,000 of them.

nếu bạn xây dựng mô hình

So if you're trying to build a model

về chữ viết tay chẳng hạn, thì bạn

of, lets say, handwritten words, so you

sẽ cần mô hình toàn bộ các

would like to model for example all the

cách mà tôi viết chữ

different ways in which i can write the

e

bạn không thể nào

There is almost no way that you are

làm được thế, thực ra tôi nghĩ

going to acquire, in fact I think there is,

có thể chứng minh là

probably, its probably possible to prove

vũ trụ sẽ diệt vong vì nhiệt

that the universe will die a fearsome

độ cao trước khi bạn có hết

heat death before you're able to gather enough

mẫu chữ viết tay của tôi nên

samples of my handwriting so

lượng dữ liệu bạn có (k)

that the amount of data you have (k)

không là gì với 2^10000

is anyway comparable to the 2^10,000.

Cho dễ hiểu, 2^10000 là

Just to give you a sense, 2^10,000 is

1000^1000 10^3000. Tức là

sort of like 1,000^1,000 10^3,000. So thats

mũ 30 lần. Có nghĩa là

like a googal to the power of 30. So

chúng ta cần phải

in these cases here what we would

like to do is, we would like to talk

hoặc ít ra đưa ra xác suất

about, or at least give probability to

về một hình cụ thể lấy từ

particular images drawn from

tập hợp các số

a set where the total number

hình ít hơn rất nhiều tổng

of images is far fewer than the total

số hình có thể có. Đó là khi ta dùng

number of possible images. That's

where something like max ent excels...

Similar videos:

Views
Udacity
763.8K views 380 likes 11 dislikes 25 Sep 201528% match

자율주행 자동차도 부산 앞에선... AI가 부산 지도 암기하는 이유 / [오목교 전자상가 EP.14] 스브스뉴스
스브스뉴스 SUBUSUNEWS
219.5K views 2K likes 100 dislikes 01 Dec 202028% match

06b_q_Solving_Math_Problems
Udacity
94.9K views 23 likes 1 dislikes 22 May 201528% match

Lecture 1 - How to Start a Startup (Sam Altman, Dustin Moskovitz)
YC Root Access
1.4M views 16K likes 305 dislikes 23 Sep 201427% match

0 views 0 likes -1 dislikes 04 Jun 202627% match

Not Liking One's Looks
The School of Life
1.3M views 32K likes 1.5K dislikes 04 Nov 201527% match

How To Snakes

2.5M views 55.3K likes 714 dislikes 06 Mar 201127% match

The mathematical secrets of Pascal’s triangle - Wajdi Mohamed Ratemi
TED-Ed
2.2M views 47.7K likes 529 dislikes 15 Sep 201527% match

The Order of Operations is Wrong
minutephysics
3.5M views 69.9K likes 14.5K dislikes 18 May 201327% match

The Conservative Student's Survival Guide
PragerU
1.4M views 48K likes 3.9K dislikes 25 Aug 201626% match

(Daklak) Võ Tiến Tuấn Niê - OLP English for young officials 2019
Tuấn Niê
2.7K views 85 likes 0 dislikes 29 Aug 201926% match

60 Most Confusing Photos 😱
Q - Did You Know?
1.2K views 41 likes 5 dislikes 30 Aug 202026% match

How Your Dog Can Protect You Before You're Born
MinuteEarth
3.9M views 53.5K likes 970 dislikes 07 Jan 201426% match

Group theory 101: How to play a Rubik’s Cube like a piano - Michael Staff
TED-Ed
1.5M views 26.8K likes 993 dislikes 02 Nov 201526% match

Best Equipment for ATTILA+TAKEDA? Let's Test | Rise of Kingdoms
Wick Gaming
11.2K views 517 likes 6 dislikes 20 Mar 202126% match

挖礦賺錢App｜每小時賺 0.8 個Bee幣｜bee 遊世界
 艾兄講幣 (Elister)
28.1K views 219 likes 62 dislikes 01 Jan 202126% match

Welcome to the web! | Computer programming | Khan Academy
Khan Academy Computing
1.2M views 270 likes -1 dislikes 23 Apr 201926% match

Doodle 4 Google: Tưởng tượng
Presscenter VN
2.4K views 8 likes 6 dislikes 22 Dec 201426% match

QQ飞车手游：代代工坊代代神，那些曾拥有超强性能的工坊A车合集
 Game pull wind bull
20.6K views 213 likes 5 dislikes 20 Mar 202126% match

Does time exist? - Andrew Zimmerman Jones
TED-Ed
5.7M views 162.7K likes 2.2K dislikes 23 Oct 201826% match

Imaginary Numbers Are Real [Part 1: Introduction]
Welch Labs
6.2M views 130.6K likes 4.1K dislikes 28 Aug 201526% match

Who Are Your Best Staff?
Mario Singh
3.2K views 2 likes 0 dislikes 28 May 202026% match

CO@Work Teaser 1
Mixed Integer Programming
1.2K views 15 likes 0 dislikes 12 Jul 202026% match

Hoa Kỳ sẽ 'Tổn Hại Kinh Tế Vĩnh Viễn' nếu Không Tái Mở Cửa | Hoa Kỳ Chưa Tiết Lộ
Hoa Kỳ Chưa Tiết Lộ
28K views 1K likes 17 dislikes 21 May 202025% match

SUB) 퇴직 후 하고 싶은 일을 하면서 살기 위한 준비
Misssimple
8K views 531 likes 5 dislikes 24 Nov 202025% match

CM/GA360 Use Case and Setup
Google Analytics
6.9K views 11 likes 0 dislikes 14 Mar 201825% match

How to manage your time more effectively (according to machines) - Brian Christian
TED-Ed
4.4M views 130.4K likes 2.4K dislikes 02 Jan 201825% match

Volume of a sphere | Perimeter, area, and volume | Geometry | Khan Academy
Khan Academy
663.7K views 796 likes 68 dislikes 10 Nov 201125% match

Essence of linear algebra preview
3Blue1Brown
1.8M views 30.8K likes 178 dislikes 04 Aug 201625% match

Maximum Entropy Methods Tutorial: Modeling Sears-Roebuck Prices 2
Complexity Explorer
839 views 1 likes 0 dislikes 18 Apr 201925% match

Settings Privacy About Contact Donate