Extracting Links - Intro to Computer ScienceYouTube↗  IA↗(long shot)
Education  26.2K views 18 likes 0 dislikes   23 Feb 2015
Udacity 651K subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
皆さんは十分にPythonを理解できましたので
So now you know enough about Python to be able
このレッスン最初の問題を解いてみましょう
to solve the problem that we started with at the
ページからリンクを抽出する問題です まずコードに取り掛かる前に
beginning of this unit, which the problem of extracting a link from its page. Before we get to the code,
Webページについて詳しく解説します
I want to describe a little more carefully what's going
Pythonの文字列については解説してきました
on in a webpage. So we've talked about strings in
そしてWebページが長い文字列であると言いました
Python and all a web page really is, is a
ブラウザでWebページを見た時
long string. When you see a web page in your browser,
文字列が配置されているとは分かりません
it doesn't look like that. So here's an example web
サンプルとして私の好きなWebコミックのxkcdを お見せしましょう
page, one of my favorite XKCD comics. And hopefully, you're
皆さんがPythonを十分に学んで その力で空飛ぶ気分を味わえるようになるといいですね
starting to learn enough about Python to appreciate the power of Python to make you fly. Probably the rest of
Pythonをただ使っているというだけなら
the comic, if you haven't done anything other than using
残りのコミックを理解するのは難しいでしょう
Python, is a little hard to relate for now. But
単に文字列を出力するといった 簡単な処理に大変な労力をかけるような
it's making fun of other languages where there's an awful lot of work to do something simple, like we've seen here,
他のスクリプト言語を皮肉っているのです
just being able to print out a string. But with
ですがこのレッスンでPythonを学べば すぐに空を飛べるようになります
Python, we can fly quickly, and you're going to learn to fly
これは文字列には見えません
very quickly in this class. This doesn't lok like just
文字列は文字の連続であることを確認しました
a string. We've seen just a string is a sequence of
これはWebページのイメージです
characters. When we look at a webpage like this, well
ボタンがありテキストがあります
we see images. We see buttons. We see some text. We
アンダーラインが出るリンクを持つものもあります そしてブラウザがWebページを
see things that are links and you can see the underlines these are all links. And the browser renders the webpage
美しく見えるように表示します
in a way that looks attractive. What actually was
膨大なテキストから始まる場所に 一体何があるのでしょう？
there though, started just as a stream of text.
Webページ上で右クリックすると
If you right-click on the webpage, one of the
ソースの表示という選択肢が出てきます
options you see is View Page Source. When you click
そこから実際のソースコードを確認できます これがブラウザで表示されている内容です
on that, you'll see the actual source code. This is what came into the browser.
ブラウザがリクエストを送り URLがアドレスバーに表示されます
So, your browser sent a request, the URL is what's shown in the address bar.
xkcd．com／353へのリクエストを送っています
So, it's sent a request to xkcd.com/355.
これがリクエストして返ってきた膨大なテキストです
It sent that request and this is what came back. What came back is just a stream
テキストを見ることができますが 中には難解なものもあります
of text. We can look at that text and some of it is fairly hard to understand.
そこで重要なのがリンクです
So what's important is the links. Here's an
リンクの例です このような＜a＞タグでリンクは始まります HTML言語ではこのような山括弧が使われます
example of a link. So, the link starts with a tag like this. The language HTML uses these
そして＜a href＝を使ってリンクを 始めることができます
angle brackets. And the angle bracket a href equals is how we start a link. That's followed by
それにダブルクォーテーションで 囲まれた文字列が続きます
a string which is surrounded by double quotes, similarly
Pythonの文字列と同じようなものです
to a string in Python. So, we have a
ダブルクォーテーションがあり その間にはURLが入っています
double quote. Between the double quotes is a URL. The
URLはWeb上のコンテンツの場所を示すので
URL is the way of locating content on the
ここにURL http：があります
web so here we have the URL http colon, that
これはWebリクエストのことです
means it's a web request. We'll talk more in
あとのレッスンでhttpの意味と Webページリクエストのプロトコルを解説します このレッスンで重要なことは
a later class about what http means and the protocols used to request web pages. What's important now is, that's a
Webブラウザでリンクを開いた時に 別のページを示す位置です
location If we open that in a web browser, that will give
ここで見ているものは News／Blagのテキストの下にあるリンクで このリンクをクリックすると
us another page. What I'm looking at here is the link that is underneath the text for News/Blag. If we click on that link,
blag．xkcd．comのページに移動します
that will take us to the page blag.skcd.com. That
これはリンクを確認したページですが
was the page that we saw in the link
blag．xkcd．comとなっています
here it said vlad.skcd.com. When we click on the
リンクをクリックするとそのページに移動します
link, that's where we went. So to build our crawler,
クローラ作成のため各ページで行う処理です
what we want to do for each webpage, we want
ページではリンクを見つける必要があります
to find these links in the page. We're going to keep
このようなリンクを把握し Web上でさらにコンテンツを見つけるためたどります
track of those links and we're going to follow them to find more content on the web. This is similar
これはWebページの閲覧に似ています
to what someone would do if their browsing. If they're
ページのリンクをすべてクリックし すべてのコンテンツを見るためにすべてのリンクを
clicking on every link of a page, following all the links they find, looking at all that content. That's a really good
実際にたどるのは時間のムダ使いでしょう
way to waste a horrendous amount of time if you do
そこで作業を自動的に行うWebクローラを作成します Webリクエストから返されたテキストを受け取り
that yourself. We're going to build a web crawler that can do that automatically. So our goal is to take the text
テキストのリンクを見つけるのが レッスンの最終目標です
that came back from a web request, find a link in
テキストは＜a href＝で始まるタグになっていて
that text, which is going to be a tag that starts
そのタグからリンク先の WebページのURLを抽出します
with a href equals and then extract from that tag the URL of the webpage that it links to.
これらは移動するためにクローラで使用するURLです そこで文字列で学んできたことや
Those are the URLs that we're going to use in our crawler to make progress. So by using what we've
変数で学んできたことを活用します
learned about strings, and what you've learned about variables,
皆さんには十分な知識があるはずです
you know enough to be able to do that. What
必要なのはタグの開始を見つけることです
we want to do is find the beginning of a tag.
タグの開始とはこのテキストのことで
And what the beginning of a tag is this text
私たちが探していた＜a href＝の部分と 一致するものです
right we're looking for something that matches exactly the a href
ご覧いただいているように タグはすべて＜a href＝で始まります
equals part. That's what the tags were here they all start
すべてのWebページが 同じ構造をしているわけではありません
with a href equals. Not all webpages have the same structure. There are lots
タグを作成する方法は他にもたくさんあります
of other ways to make a tag. The A
例えばaが大文字Aの場合もあります
could be a capital letter for example. There could
aとhrefの間のスペースが多い場合もあります
be more spaces between the a and the href.
ここにはダブルクォーテーションは必要ありません
The double quote doesn't actually need to be there.
今はすべてのWebページが
For what we do now, we're going to assume that
この構造に従っていると仮定します
all our webpages follow the same structure that we're seeing
それぞれのリンクは余分なスペースなどが
here. That each link starts with an a h ref
ついていない＜a href＝から始まります
without any funny spaces or anything else. Has an equal,
そしてイコール、ダブルクォーテーション、URL
has a double quote, has the URL following that,
さらにダブルクォーテーションで閉じます
and then another double quote. So that means we're looking
このような＜a href＝の文字列を探すのです
for strings like this, we're looking to find the a
これにはダブルクォーテーションが続きます
href; that's followed by a double quote. After the double
次はURLですが実に重要な要素です
quote is the URL. This is what we actually care
Webページ上のURLを見つけなければなりません
about; we want to find the URLs on the Web page.
そして閉じるためのダブルクォーテーションが続きます
That's followed by a closing double quote and then, there's
さらにタグを閉じる要素があります
more that closes the tag. And there's lots of other
両辺にはたくさんのテキストがついています
stuff on both sides of this. But this is what
これが私たちに必要な
we want to do. We want to find the tags that are
リンクのあるタグ、タグ内のリンク そしてURLを見つけるということです
links and then, within the tags that are links, we
ページコンテンツを使い 変数から始めると仮定しましょう
want to find the URLs. So we're going to assume that we start with the page contents in a variable. We'll
該当ページを呼び出します このようなページコンテンツの取得方法については 今は気にしなくていいです
call that page, and we're not going to worry today about how we got those page contents. We're going to
代わりに関数を設定すればいいのです
provide a function that does that. For the code
今扱うコードに関しては ページがすでに設定されていると仮定します
that you have today, let's going to assume the page is already initialized. That it contains the content
文字列として格納されているWebページの コンテンツを含んでいるとします
of some web page stored as a string and our goal is to find the URL of the first
目標は最初のリンクのURLを見つけることです
link in the page. That's going to involve a couple
これには手順があり まず必要なのはリンクの開始を見つけること
steps. SO what we want to do is find the start
＜a href＝の場所を見つけることです
of the link. We want to find where we have the
最初に目に入る文字列を探すだけではありません
a href equals. We can't just look for the first string
なぜならURLのない他の文字列が
we find, because there's lots of other strings on the
ページ上にはたくさんあるからです
page that aren't URLs. So I think you know enough to
理解は十分かと思いますので小テストにしましょう
do that, so we'll make it a quiz. So your goal
小テストの目標は変数start＿linkを
for this quiz is to write some Python code that will
1つ目の＜a href＝がある位置の値に
initialize the variable start link to be the
設定するPythonコードを書くことです
value of the position where the first a
1つ目のタグはページ内にあるので
href equals. So the first tag that starts
ページはWebページのコンテンツで始まると 想定しなければなりません
a link occurs in page, so you should assume that page starts with the content of some
そして1つ目の＜a href＝がある場所を探します
web page, and what we're doing is looking for
それがページ上の1つ目のリンクになります
the place where the first a href equals occurs, and that's the first link on the page.
Similar videos:

Next Step
Udacity
26.4K views 2 likes 0 dislikes 23 Feb 2015100% match

Best Strategy - Intro to Computer Science
Udacity
20K views 2 likes 3 dislikes 23 Feb 2015100% match

Valid Strings Solution - Intro to Computer Science
Udacity
14.8K views 7 likes 0 dislikes 23 Feb 2015100% match

Inc Procedure Solution - Intro to Computer Science
Udacity
14.1K views 30 likes 1 dislikes 02 Mar 2012100% match

Rounding Numbers - Intro to Computer Science
Udacity
34K views 28 likes 3 dislikes 02 Mar 2012100% match

Python Expressions Solution - Intro to Computer Science
Udacity
20.5K views 25 likes 0 dislikes 23 Feb 2015100% match

Varying Variables Quiz 2 Solution - Intro to Computer Science
Udacity
19K views 5 likes 0 dislikes 23 Feb 2015100% match

Sum of Three - Intro to Computer Science
Udacity
29.3K views 34 likes 0 dislikes 02 Mar 2012100% match

Countries - Intro to Computer Science
Udacity
20K views 23 likes 0 dislikes 29 May 2012100% match

Index - Intro to Computer Science
Udacity
26.9K views 37 likes 1 dislikes 29 May 2012100% match

Sum Procedure with a Return Statement - Intro to Computer Science
Udacity
16.6K views 30 likes 2 dislikes 02 Mar 2012100% match

If Statements - Intro to Computer Science
Udacity
44.1K views 42 likes 2 dislikes 02 Mar 2012100% match

Python Programming 2 - Intro to Computer Science
Udacity
30.1K views 24 likes 0 dislikes 02 Mar 2012100% match

Page Rank - Intro to Computer Science
Udacity
11.6K views 71 likes 1 dislikes 23 Feb 2015100% match

Replace Spy - Intro to Computer Science
Udacity
20.7K views 13 likes 0 dislikes 29 May 2012100% match

Varying Variables Quiz 2 - Intro to Computer Science
Udacity
34.8K views 3 likes 0 dislikes 23 Feb 2015100% match

Testing2 Solution - Intro to Computer Science
Udacity
18.9K views 17 likes 3 dislikes 23 Feb 2015100% match

Finish - Intro to Computer Science
Udacity
18.6K views 18 likes 0 dislikes 23 Feb 2015100% match

Hello!!! - Intro to Computer Science
Udacity
51K views 7 likes 0 dislikes 23 Feb 2015100% match

What Is a Program - Intro to Computer Science
Udacity
22.9K views 26 likes 1 dislikes 23 Feb 2015100% match

Memory Hierarchy - Intro to Computer Science
Udacity
17.1K views 21 likes 17 dislikes 29 May 2012100% match

Variables Quiz - Intro to Computer Science
Udacity
56.5K views 8 likes 0 dislikes 23 Feb 2015100% match

First Quiz - Intro to Computer Science
Udacity
48.4K views 28 likes 5 dislikes 23 Feb 2015100% match

Overview of the Unit - Intro to Computer Science
Udacity
38.9K views 82 likes 1 dislikes 23 Feb 2015100% match




Days in a Month - Intro to Computer Science
Udacity
20.7K views 14 likes 1 dislikes 29 May 2012100% match

Sum List - Intro to Computer Science
Udacity
20.5K views 15 likes 1 dislikes 29 May 2012100% match

Final Quiz - Intro to Computer Science
Udacity
38.2K views 5 likes 2 dislikes 23 Feb 2015100% match

Print All Links - Intro to Computer Science
Udacity
25K views 28 likes 3 dislikes 02 Mar 201267% match

Python Expressions - Intro to Computer Science
Udacity
64K views 39 likes 4 dislikes 23 Feb 201564% match

First Programming Quiz - Intro to Computer Science
Udacity
97.3K views 56 likes 3 dislikes 23 Feb 201558% match


Settings Privacy About Contact Donate