Web Crawler - CS101 - UdacityYouTube↗  IA↗(long shot)
Education  140.3K views 930 likes 27 dislikes   19 Feb 2012
Udacity 651K subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
[Sebastian Thrun] Miten hakukone pitäisi sinun mielestäsi tehdä,
[Себастьян Тран] Как ты думаешь, как написать поисковую машину
olet tehnyt sellaisen aiemmin, eikö totta?
ты ведь создал уже одну раньше, так ведь?
[Sergey Brin - yksi Googlen perustajista] Kyllä. Minusta tärkein asia
[Сергей Брин, сооснователь Google] Да, я думаю, что самая важная вещь,
hakukonetta rakentaessa
если ты собираешся создать поисковую машину,
on aloittaa todella hyvän kieliaineiston kanssa.
это иметь хорошую базу с которой начнёшь
Me käytimme WWW:tä, joka siihen aikaan todella oli pienempi, mitä nykyään.
В нашем случае мы использовали всемирную паутину, которая в то время была, конечно, меньше, чем сегодня
Mutta se oli myös hyvin uusi ja jännittävä.
Но она была также новой и захватывающей
Siellä oli kaikenlaisia yllättäviä asioita.
Были всякие неожиданные вещи.
[David Evans] Joten ensimmäisen kolmen oppitunnin aiheena on rakentaa tämä kieliaineisto.
[David Evans] Итак, цель наших трех первых разделов курса в создании этой базы
Haluamme rakentaa tämän aineiston hakukonettamme varten
И мы собираемся создать базу для нашего поисковой машины
käymällä verkkoa läpi, mikä on hakurobotin tehtävä.
сканируя сеть, это то, что делает сетевой "паук".
Hakurobotti on ohjelma, joka kerää verkkosivuilta sisältöä.
Сетевой паук - это программа, которая собирает содержание сети.
Ajattele webbisivua selaimessasi, se näyttää tältä.
Если представить веб-страницу которую ты видишь в браузере, у тебя есть страница наподобие этой.
Käytämme udacityn sivustoa esimerkkinä webbisivusta.
Рассмотрим сайт udacity как пример веб-страницы
Siellä on paljon sisältöä, muutamia kuvia ja jonkin verran tekstiä.
На ней много информации, в виде картинок, в виде текта
Kaikki tämä tulee selaimeesi, kun pyydät sivua.
Все это получает твой браузер, когда запрашивает страницу
Tärkeä asia on, että sivulla on linkkejä.
Важная вещь это ссылки
Linkki view toiselle sivulle.
Ссылка это что-то, что ссылается на другую страницу
Joten meillä on linkki usein kysyttyihin kysymyksiin,
Так у нас есть ссылка на часто задаваемые вопросы
ja linkki CS 101 sivulle.
есть ссылка на страницу CS101
Ja myös joitain muita linkkejä.
И ещё несколько остальных ссылок
Linkki voi näkyä selaimessasi alleviivattuna,
И эта ссылка может быть показана в браузере с подчёркиванием
tai ei, riippuen selaimesi asetuksista.
или нет, в зависимости от настроек браузера
Mutta tärkeintä on,
Но важная вещь это то,
että se ohjaa jollekin toiselle sivulle.
что они указывают на какие-то другие страницы
Ja noilla muilla sivuilla voi myös olla linkkejä,
И эти страницы могут тоже содеражить ссылки
joten meillä on uusi linkki.
так у нас есть другая ссылка на эту страницу
Se on ehkä nimeni, jota voit seurata kotisivulleni.
Может быть с моим именем, ты можешь попасть на мою домашную страницу
Ja kaikki sivut mitä löydämme hakurobotillamme
И все страницы, которые мы можем найти нашим пауком
löytyvät linkkejä seuraamalla.
находятся по переходу по ссылкам.
Ei ole tarpeen löytää jokaista sivua webistä.
Так, что нам не нужно искать каждую страницу в сети
Jos aloitamme hyvällä siemensivulla,
Если мы начнем с хорошей начальной страницы
löydämme kuitenkin paljon sivuja.
мы найдем множество страниц.
Ja robotti aloittaa yhdeltä sivulta,
И всё что паук будет делать, это начинать с одной страницы,
etsii kaikki linkit sillä sivulla, seuraa niitä muille sivuille
находить на ней все ссылки и переходить по ним, находя другие страницы
ja etsii niillä olevat linkit
и затем на других страницах он перейдет по следующим ссылкам
löytääkseen taas uusia sivuja, joilla on paljon lisää linkkejä.
обнаруживая другие страницы и на этих страницах будет ещё больше ссылок
Ja lopulta meillä on suuri kokoelma sivuja webissä.
И в конце концов у нас будет коллекция множества страниц в сети.
Tämän me haluamme tehdä rakentamalla hakurobotin.
Вот что мы хотим делать, создавая веб паука.
Haluamme keksiä jonkin tavan aloittaa siemensivulta,
Мы собираемся каким-либо образом начать с первоначальной страницы
erottaa sivun linkit,
выделить ссылки на ней,
seurata noita linkkejä muille sivuille,
перейти по этим ссылкам на другие страницы,
sitten kerätä linkit näiltä sivuilta,
затем собрать ссылки с этих других страниц,
seurata niitä, kerätä tämä kaikki.
переходя по ним, собирая всё содеражние
Tämä kuulostaa isolta tehtävältä.
Похоже чтобы реализовать это, нужно много работы
Emme käy kaikkea läpi tällä ensimmäisellä oppitunnilla.
Мы не собираемся делать это всё в первом разделе
Tällä kertaa vain erottelemme yhden linkin.
Всё что мы собираемся сделать в первом разделе, просто выделить ссылку.
Joten aloitetaan tekstinpätkällä.
Итак, мы начнем с отрывка текста.
Siinä on linkki URL:n kera.
Он будет иметь ссылки с URL.
Haluamme löytää tämän URL:n,
Всё что мы хотим найти это этот URL,
jotta voimme pyytää seuraavaa sivua.
так чтобы мы могли запросить следующую страницу.
Toisen oppitunnin tavoite
Цель второго раздела
on pystyä jatkamaan tästä.
возможность продолжить дальше,
Jos yhdellä sivulla on monta linkkiä, haluat pystyä löytämään ne kaikki.
если на странице много ссылок, ты захочешь найти их все.
Joten sen teemme toisella oppitunnilla.
Это то, чем мы займемся во втором разделе,
Keksimme miten voimme jatkaa kaikkien keräämiseksi.
выяснить, как продолжить, чтобы выделить все эти ссылки
Kolmannella tunnilla jatkamme yhdestä sivusta eteenpäin.
В третьем разделе, мы хотим выйти за рамки только одной страницы.
Toisen oppitunnin jälkeen voimme tulostaa kaikki linkit yhdellä sivulla.
Так что к концу раздела 2 мы сможем вывести все ссылки с одной страницы
Kolmannella keräämme kaikki nämä linkit jatkaaksemme,
Для третьего раздела нам нужно собрать всё эти ссылки, так что мы можем продолжить,
ja päädymme keräämään, monia, monia sivuja.
чтобы в конечном итоге, наш паук собрал много страниц.
Joten kolmannen oppitunnin jälkeen olemme rakentaneet hakurobotin.
Так что к концу третьего раздела мы доделаем веб паука.
Meillä on keino kieliaineiston rakentamiseksi.
У нас будет возможность сделать базу.
Loppujen kolmen oppitunnin aikana tutkimme miten vastata kyselyihin.
Тогда в оставшихся трёх разделах взглянем на то, как отвечать на запросы.
Joten neljännen tunnin jälkeen mietimme miten antaa hyvä vastaus.
Таким образом в четвертом разделе подумаем над тем как получить хороший отклик.
Joten jos etsit hakusanalla, haluat vastauksen joka on lista sivuja,
Если ты ищешь какое-либо слово, ты хочешь получить в ответ список страниц,
joilla tämä hakusana esiintyy.
где встречается это слово.
Viidennellä oppitunnilla mietimme miten voimme tehdä tämän laajemmin, jos meillä on iso aineisto.
И в 5 разделе мы найдём способ сделать это, если у нас очень большая база.
Ja kuudennella tunnilla haluamme, no, emme halua vain listan,
Затем в шестом разделе, что мы хотим сделать, это не просто найти список страниц,
vaan haluamme parhaan vastauksen.
мы хотим найти наиболее подходящую.
Joten meidän pitää miettiä miten voimme järjestää kaikki sivut, joilla hakusana esiintyy.
Мы подумаем над тем, как расставить страницы, где это слово встречается.
Edistämme nyt vähän tässä,
Но мы сейчас немного забежали вперед,
koska kaikki mitä teemme tällä tunnilla,
потому что всё что мы собираемся сделать в первом разделе,
on miettiä miten saamme erotettua yhden linkin sivulta.
это выяснить как извлечь ссылку со страницы.
Kaiken lopuksi rakentamamme hakukone
И поисковая машина, которую мы создадим в конце
tulee olemaan toimiva.
будет вполне действующей поисковой машиной.
Siinä on kaikki samat osat mitä Googlen kaltaisessa hakukoneessa on.
Она будет содержать такие же главные компоненты, как и у поисковой машину Google.
Se ei tule kylläkään olemaan yhtä tehokas kuin Google,
Она определенно не будет такой же мощной, как Google,
koska haluamme pitää asiat yksinkertaisina.
мы не хотим всё сильно усложнять.
Haluamme kirjoittaa vain pienen määrän koodia.
Нам нужно будет написать не так много кода.
Ja meidän pitää muistaa, että päämäärämme
Мы хотим напомнить, что наша настоящая цель
ei ole hakukoneen rakentaminen,
не сколько написать поисковую машину,
vaan tietojenkäsittelyn oppiminen
а сколько воспользоваться необходимостью
rakentamisen ohessa.
написания поисковой машины для того,
Ja ohjelmoinnin opettelu,
чтобы изучить информатику и программирование
jotta tekemällä oppimamme asiat
так, что вещи, которые мы изучим, делая поисковую машину
antavat meille kyvyn ratkaista monia, monia muita ongelmia.
позволят нам в дальнейшем решить много других проблем.
Similar videos:

First Quiz - CS101 - Udacity
Udacity
34.8K views 121 likes 0 dislikes 19 Feb 201280% match




Linear Search
CS50
98.4K views 0 likes 0 dislikes 05 Oct 201230% match










How to Work From Home as a Team
MinuteEarth
152.6K views 8.3K likes 72 dislikes 27 Mar 202029% match

The Memeing Of Life
Daniel Howell
2.7M views 273K likes 2K dislikes 17 Jun 201729% match




TODO Android App Engineer @ Google 1
Udacity
32.7K views 315 likes 7 dislikes 06 Jun 201629% match


Unboxing - 3rd Hokage's 🔥 Earth Dragon Bullet Jutsu!! - Naruto Statue
BAM Collectibles
157.9K views 2.9K likes 58 dislikes 11 Aug 201928% match

Bastian Schaefer: A 3D-printed jumbo jet?
TED
118.4K views 1.2K likes 244 dislikes 29 Jul 201328% match





#13 Como hacer levitar un billete -- Magia Accesible Truco Revelado
Ayudas Para Todos
2.3M views 0 likes 0 dislikes 15 Aug 201328% match










Brad and Marcia Hager Rockumentary
FGXPRESS MEDIA
1.3K views 13 likes 0 dislikes 14 Jul 201528% match

DIJE DE PLATA CON ENGASTE A CARRIL ( channel setting 3 )
ARTÍFICE JOYAS
22.1K views 895 likes 17 dislikes 13 Mar 202128% match

Introduction to web browsers - CS101 Unit 2 - Udacity
Udacity
4.1K views 69 likes 1 dislikes 02 Mar 201228% match

Youtuber Cristali Arrested (Ladies & Gentlemen, We Got'em)
Repzilla
83.3K views 4.2K likes 90 dislikes 11 Apr 201928% match








Hod Lipson: Robots that are "self-aware"
TED
113.5K views 620 likes 38 dislikes 13 Oct 200728% match




Comprar Piezas sueltas para [PERSONALIZAR PLAYMOBIL] ⭐ Compras Playmobil 2021 BARATOS
Playmobil Collectors and Dioramas
2.9K views 145 likes 4 dislikes 05 Feb 202128% match









J'Ouvre les Coffres-Forts d'un Grand Magasin (sans clé, sans code et sans dégâts)
Tout Faire Soi Même TFSM
137.1K views 4.2K likes 134 dislikes 13 Dec 201928% match
0 views 0 likes 0 dislikes 09 Jun 202628% match

TODO Android App Engineer @ Google 2
Udacity
17.8K views 171 likes 6 dislikes 06 Jun 201628% match


How to Finally Defeat Procrastination and Stop Wasting Time
Freedom in Thought
120.1K views 6.2K likes 133 dislikes 04 Dec 201828% match

Insertion Sort
CS50
29.4K views 121 likes 4 dislikes 07 Oct 201528% match










Calculus - Introduction to Calculus
MySecretMathTutor
727.1K views 12.1K likes 326 dislikes 19 Nov 201528% match

Defining Custom Types
CS50
15.4K views 64 likes 2 dislikes 07 Oct 201528% match










You CAN'T wash your OWN CAR in China!
serpentza
1.6M views 25.2K likes 2.1K dislikes 11 Jul 201728% match

¿COMO HACER APARECER UN ELEFANTE 🐘?- David Copperfield el "Mago Illuminati" - Video to Life REVELADO
Fake Buster
1.3M views 22.8K likes 2K dislikes 01 Dec 201828% match




REACTING TO PM IMRAN KHAN'S SPEECH WITH SAUDI PRINCE! 🇵🇰
Basharat Khan
330 views 20 likes 1 dislikes 18 Feb 201928% match

Algorithms
CS50
1.9K views 12 likes 0 dislikes 07 Oct 201527% match










When is a Quran manuscript variant or correction theologically significant?
Variant Quran
7K views 685 likes 16 dislikes 10 Mar 202127% match













Algorithms Summary
CS50
14.6K views 79 likes 0 dislikes 20 Oct 201527% match










La lumière dissipe les ténèbres
Huillam Daverec
12.2K views 596 likes 5 dislikes 31 Oct 202027% match





How To Remove Watermark In Kinemaster For Free
Devin Street
874.7K views 13.7K likes 1.7K dislikes 08 Aug 201827% match

Both Pigeon Loft Updates
Maney Pigeons
12K views 535 likes 17 dislikes 31 Dec 202027% match


Settings Privacy About Contact Donate