Hadoop Streaming in Python, hadoop streaming tutorial BigData 101 English Thai

Hadoop Streaming in Python, hadoop streaming tutorialYouTube↗ IA↗(long shot)
Education 27.2K views 150 likes 14 dislikes 02 Aug 2015

BigData 101 4.2K subscribers India YouTube↗

hello once again today let's talk about Hadoop streaming in Python the goal of

สวัสดีอีกครั้งวันนี้เรามาพูดเกี่ยวกับ Hadoop สตรีมมิ่งใน Python เป้าหมายของ

this particular session is to introduce you to how to streaming library which

ช่วงนี้โดยเฉพาะคือการแนะนำ คุณไปยังวิธีการสตรีมห้องสมุดที่

ships with the heart of software so which is a mechanism to run MapReduce

มาพร้อมกับหัวใจของซอฟต์แวร์ ซึ่งเป็นกลไกในการเรียกใช้ MapReduce

programs written in non Java language on Hadoop then we'll walk through the

โปรแกรมที่เขียนด้วยภาษาที่ไม่ใช่ภาษาจาวา Hadoop จากนั้นเราจะเดินผ่าน

MapReduce code that is written in Python mostly mapper and reducer programs then

รหัส MapReduce ที่เขียนใน Python ส่วนใหญ่แล้วผู้ทำแผนที่และโปรแกรมลด

I'm going to show you how to execute or test your Python code on the local

ฉันจะแสดงวิธีดำเนินการหรือ ทดสอบรหัส Python ของคุณบนโลคอล

filesystem as well as on the HDFS so for the testing purpose I'm going to use the

ระบบไฟล์เช่นเดียวกับ HDFS ดังนั้นสำหรับ จุดประสงค์การทดสอบฉันจะใช้

cloud era VM to run the Python examples on history FS so if you're not familiar

VM ยุคคลาวด์เพื่อเรียกใช้ตัวอย่าง Python เกี่ยวกับประวัติ FS ดังนั้นหากคุณไม่คุ้นเคย

with cloud era VM please look at one of my videos are now to set up cloud era

กับยุคคลาวด์ VM โปรดดูที่หนึ่ง ตอนนี้วิดีโอของฉันกำลังจะเริ่มยุคคลาวด์

virtual machine on windows before jumping to the examples let's understand

เครื่องเสมือนบน windows มาก่อน ข้ามไปยังตัวอย่างที่เข้าใจกันดีกว่า

a bit of Hadoop streaming so what is Hadoop streaming hard up streaming is a

บิตของการสตรีม Hadoop ดังนั้นมันคืออะไร Hadoop สตรีมมิ่งฮาร์ดสตรีมมิ่งเป็น

utility that comes with the heart of distribution it's a feature that allows

ยูทิลิตี้ที่มาพร้อมกับหัวใจของ การกระจายมันเป็นคุณสมบัติที่ช่วยให้

developers to write MapReduce applications using languages like Perl

นักพัฒนาเพื่อเขียน MapReduce แอปพลิเคชันที่ใช้ภาษาเช่น Perl

Python Ruby etc so it can be any language that can read from the standard

Python Ruby และอื่น ๆ ภาษาที่สามารถอ่านได้จากมาตรฐาน

input and write the standard output

อินพุตและเขียนเอาต์พุตมาตรฐาน

even though the Hadoop framework is written completely in Java programs for

แม้ว่ากรอบการทำงานของ Hadoop คืออะไร เขียนอย่างสมบูรณ์ในโปรแกรม Java สำหรับ

Hadoop need not be coded in Java but can also be developed in other languages

Hadoop ไม่จำเป็นต้องเขียนโค้ดใน Java แต่ทำได้ ยังได้รับการพัฒนาในภาษาอื่น ๆ

like Python or C++ so in particular how to streaming is available since version

เช่น Python หรือ C ++ โดยเฉพาะอย่างยิ่งวิธีการ เพื่อสตรีมสามารถใช้ได้ตั้งแต่รุ่น

of Hadoop 0.1 4.1 - in this demo I will show you how to develop the map our code

ของ Hadoop 0.1 4.1 - ในการสาธิตนี้ฉันจะ แสดงวิธีการพัฒนาแผนที่รหัสของเรา

in Python and for anyone who is interested to understand more about the

ใน Python และสำหรับทุกคนที่เป็น สนใจที่จะเข้าใจเพิ่มเติมเกี่ยวกับ

Hadoop streaming and the various options I'm going to share you the link so which

Hadoop สตรีมมิ่งและตัวเลือกต่างๆ ฉันจะแชร์ลิงก์ให้คุณ

is available on Hadoop dot Apache dot o-r-g and you can check the latest

มีอยู่ใน Hadoop dot Apache dot org และคุณสามารถตรวจสอบล่าสุดได้

documents so here I am just referring to one or two dot one version and the

เอกสารดังนั้นที่นี่ฉันแค่หมายถึง หนึ่งหรือสองจุดหนึ่งรุ่นและ

latest one is 2.6 or something so obviously in this portal link you can

อันล่าสุดคือ 2.6 หรืออะไรทำนองนั้น เห็นได้ชัดในลิงค์พอร์ทัลนี้คุณสามารถ

see what the various options that you can use with Hadoop streaming and also

ดูว่ามีตัวเลือกอะไรบ้างที่คุณต้องการ สามารถใช้กับ Hadoop สตรีมมิ่งและยัง

some test examples so let's get started

ตัวอย่างการทดสอบบางอย่างลองเริ่มกันเลย

currently I'm on my cloud or OPM let me maximize this

ขณะนี้ฉันอยู่บนคลาวด์หรือ OPM ของฉันให้ฉัน เพิ่มสิ่งนี้

and as I understand every MapReduce has two steps one is a mapper step which

และอย่างที่ฉันเข้าใจทุก MapReduce มี สองขั้นตอนหนึ่งเป็นขั้นตอนที่ mapper

takes the raw text or a document and convert it into a key value pairs and

ใช้ข้อความดิบหรือเอกสารและ แปลงเป็นคู่ค่าคีย์และ

here in particular we are going to write a MapReduce for word count each key in

โดยเฉพาะที่นี่เราจะเขียน MapReduce สำหรับคำนับจำนวนแต่ละคีย์

our example is a word and for that purpose I'm going to use an input of

ตัวอย่างของเราคือคำและสำหรับสิ่งนั้น จุดประสงค์ฉันจะใช้อินพุตของ

this particular type which has some random strings cat mouths lined here

ประเภทนี้โดยเฉพาะซึ่งมีบางอย่าง สายแมวปากแบบสุ่มที่นี่

tiger elephant etc so in this example each word will be a key and the mapper

ในตัวอย่างนี้ช้างเสือเป็นต้น แต่ละคำจะเป็นกุญแจสำคัญและผู้ทำแผนที่

is going to read the complete text while we take out every word and write that

กำลังจะอ่านข้อความทั้งหมดในขณะที่ เรานำทุกคำออกมาและเขียนสิ่งนั้น

output with a value of 1 and the final step which is the reducer step it is

เอาต์พุตที่มีค่า 1 และค่าสุดท้าย ขั้นตอนซึ่งเป็นขั้นตอนลดมันเป็น

going to combine all the duplicate keys so when I say duplicate keys repeating

จะรวมกุญแจที่ซ้ำกันทั้งหมด ดังนั้นเมื่อฉันพูดซ้ำกุญแจซ้ำ

words like as you can see lion is repeated thrice in these two lines so

คำอย่างที่คุณเห็นสิงโตคือ ทำซ้ำสามครั้งในสองบรรทัดนี้

it's going to combine all the duplicate keys by adding up all the values since

มันจะรวมสิ่งที่ซ้ำกันทั้งหมด คีย์โดยการเพิ่มค่าทั้งหมดตั้งแต่

every key here or the word has a value of 1 so it's going to agreed the total

ทุกปุ่มที่นี่หรือคำนั้นมีค่า ของ 1 ดังนั้นมันจะตกลงทั้งหมด

for each of the word how many times it was found in the input text and finally

สำหรับแต่ละคำว่ากี่ครั้ง พบในข้อความที่ป้อนและสุดท้าย

is going to print the key so which is word in our case and the total number of

กำลังจะพิมพ์คีย์ดังนั้นซึ่งเป็น คำในกรณีของเราและจำนวนทั้งหมด

count on the standard output so let me show you the mapper dot P Y which is the

วางใจเอาท์พุทมาตรฐานดังนั้นขอฉัน แสดง mapper dot PY ให้คุณดู

Python code so here is our map reductio I

รหัส Python ดังนั้นนี่คือแผนที่ของเรา ผม

and as you can see here we are going to import a system module because we need

และอย่างที่คุณเห็นนี่เรากำลังจะไป อิมพอร์ตโมดูลระบบเนื่องจากเราต้องการ

to read and write read the data on the standard input and write to standard

เพื่ออ่านและเขียนอ่านข้อมูลใน อินพุตมาตรฐานและเขียนมาตรฐาน

output so I'm going to read the entire line from the standard input and I'm

เอาท์พุทดังนั้นฉันจะอ่านทั้งหมด บรรทัดจากอินพุตมาตรฐานและฉัน

going to remove the leading in trailing white spaces using the strip command a

จะลบผู้นำในการติดตาม ช่องว่างสีขาวโดยใช้คำสั่ง strip

strip method and then I'm going to split the line into words on this vertical

ตัดวิธีแล้วฉันจะแยก บรรทัดเป็นคำในแนวตั้งนี้

line so basically once the data is split let me open the input file so that you

บรรทัดดังนั้นโดยทั่วไปเมื่อข้อมูลถูกแบ่ง ให้ฉันเปิดไฟล์อินพุตเพื่อให้คุณ

understand better

เข้าใจดีขึ้น

so once the line dot split is done on the first line the words is nothing but

ดังนั้นเมื่อแยกจุดเส้นเสร็จแล้ว บรรทัดแรกคำนี้ไม่มีอะไรนอกจาก

an array of different words basically cat mouse lion deer tiger and line and

อาร์เรย์ของคำที่แตกต่างกันโดยทั่วไป แมวเมาส์สิงโตกวางและลายเสือและ

finally we are just looping over that words array and printing the word with a

ในที่สุดเราก็แค่วนรอบนั้น อาร์เรย์คำและพิมพ์คำด้วย

count of 1 on to the standard output with a tab in between so before moving

นับ 1 ถึงเอาต์พุตมาตรฐาน ด้วยแท็บระหว่างนั้นก่อนที่จะย้าย

on to the reducer logic we can actually test this on the local file system which

เพื่อลดตรรกะที่เราสามารถทำได้จริง ทดสอบสิ่งนี้ในระบบไฟล์โลคัลซึ่ง

is one of the fastest ways to test it you don't have to put this on HDFS copy

เป็นหนึ่งในวิธีที่เร็วที่สุดในการทดสอบ คุณไม่ต้องใส่ลงในสำเนาของ HDFS

your input file and test it that's going to take a longer time

ไฟล์อินพุตของคุณและทดสอบ มันจะใช้เวลานานกว่านี้

so order test it I can say cat my input file and PI bit to my Apple dot B Y so

ดังนั้นเพื่อทดสอบว่าฉันสามารถพูดแมวอินพุตของฉัน ไฟล์และบิต PI ถึง Apple dot BY ของฉัน

as you can see according to our logic it should count every word and with the

ในขณะที่คุณสามารถดูตามตรรกะของเรามัน ควรนับทุกคำและด้วย

value of one so the mapper is working exactly as needed so let's move to the

ค่าหนึ่งเพื่อให้ mapper ทำงาน ตรงตามที่ต้องการดังนั้นขอย้ายไปที่

reducer code so this particular reducer code is going to take each key and some

รหัสตัวลดดังนั้นตัวลดพิเศษนี้ รหัสจะใช้แต่ละคีย์และบางส่วน

of the values for that particular key before printing to a standard output so

ของค่าสำหรับคีย์นั้น ก่อนที่จะพิมพ์ไปยังเอาต์พุตมาตรฐานดังนั้น

as you can see we are importing the sis module and the item Gator and we are

อย่างที่คุณเห็นว่าเรากำลังนำเข้า sis โมดูลและรายการเกเตอร์และเราเป็น

just defining our current word and current call to zero and none and again

เพียงกำหนดคำปัจจุบันของเราและ การโทรปัจจุบันเป็นศูนย์และไม่มีและอีกครั้ง

up this particular code is going to read the lines from the standard input it is

ขึ้นรหัสนี้จะอ่าน เส้นจากอินพุตมาตรฐานที่เป็น

going to strip the leading and trailing white spaces and on this portal line you

จะตัดส่วนนำและส่วนท้าย ช่องว่างสีขาวและบนบรรทัดนี้คุณ

can see that we are splitting the data based on the tab so if you remember in

จะเห็นว่าเรากำลังแยกข้อมูล ขึ้นอยู่กับแท็บดังนั้นถ้าคุณจำ

the word count mapper dot P why we are outputting the word with a tab and the

คำที่ใช้นับ mapper dot P ทำไมเราถึงเป็น เอาท์พุทคำที่มีแท็บและ

value so we are going to split that so that we get the word and the count

คุณค่าดังนั้นเราจะแยกมันออก ที่เราได้คำและจำนวน

separately and as we go down we are going to add the count for each of the

แยกจากกันและเมื่อเราลงไปเราก็เป็นเช่นนั้น จะเพิ่มจำนวนสำหรับแต่ละ

words and then finally print the word and the value with the tab in it so now

คำจากนั้นในที่สุดก็พิมพ์คำว่า และค่าที่มีแท็บอยู่ในตอนนี้

as we have seen the reducer code we can test the entire flow by simulating the

ในขณะที่เราได้เห็นรหัสลดที่เราสามารถ ทดสอบการไหลทั้งหมดโดยการจำลอง

MapReduce sorting as well so I'm going to pipe the mapper output to sort

การเรียงลำดับ MapReduce เช่นกันดังนั้นฉันจะไป เพื่อไพพ์เอาต์พุต mapper เพื่อเรียงลำดับ

- K 1 comma 1 and then - Python reducer py and here as you can see the output of

- K 1 เครื่องหมายจุลภาค 1 แล้ว - ลดหลาม py และที่นี่ตามที่คุณเห็นผลลัพธ์ของ

the mapper dot py was given to sort so that it is sorted in e 2zii manner and

mapper dot py ได้รับการจัดเรียง มันถูกจัดเรียงในลักษณะ e 2zii และ

then it is outputted to reducer dot py which actually gone through each of the

จากนั้นจะถูกเอาต์พุตเพื่อลดจุด py ซึ่งจริงๆแล้วผ่านแต่ละ

key and values and then finally aggregated the results of how many times

คีย์และค่าจากนั้นในที่สุด รวมผลลัพธ์ของจำนวนครั้ง

each word was found in that input as you can see that our logic is working fine

พบคำแต่ละคำในอินพุตนั้นในขณะที่คุณ จะเห็นว่าตรรกะของเราทำงานได้ดี

we can test it on the history of s so again as you remember to test on an HDFS

เราสามารถทดสอบประวัติของมันได้ อีกครั้งตามที่คุณจำได้ว่าต้องทดสอบกับ HDFS

you need to put your word count into HDFS and say HDFS DFS - put what input

คุณต้องใส่คำของคุณเข้าไป HDFS และพูด HDFS DFS - ใส่ข้อมูลอะไร

to use of Cloudera

การใช้ Cloudera

so before executing the code from HDFS you need to understand the location of

ดังนั้นก่อนรันโค้ดจาก HDFS คุณต้องเข้าใจที่ตั้งของ

the Hadoop streaming jar so this hard up streaming is available under user lab in

ขวดสตรีม Hadoop ทำให้ยากขึ้น การสตรีมสามารถใช้ได้ภายใต้ห้องปฏิบัติการของผู้ใช้ใน

the dupe 0 to 0 MapReduce contrib streaming horeb streaming and your

dupe 0 ถึง 0 MapReduce contrib สตรีมมิ่ง horeb สตรีมมิ่งและของคุณ

version of Hadoop and the jar so this is the library which is going to execute

รุ่นของ Hadoop และ jar ดังนั้นนี่คือ ไลบรารีที่จะดำเนินการ

your Python code let me copy this particular line and I'm going to execute

รหัส Python ของคุณให้ฉันคัดลอกนี้ บรรทัดเฉพาะและฉันจะดำเนินการ

Hadoop jar paste the complete line and here you can specify map red dot reduce

โถ Hadoop วางสายสมบูรณ์และ ที่นี่คุณสามารถระบุลดจุดสีแดงบนแผนที่

tasks so you can specify how many registers you want to execute basically

งานเพื่อให้คุณสามารถระบุจำนวน ลงทะเบียนคุณต้องการดำเนินการโดยทั่วไป

2 or 3 or 1 so I have smaller file I'm going to use a 1 I am going to specify

2 หรือ 3 หรือ 1 ดังนั้นฉันจึงมีไฟล์ที่เล็กกว่าฉัน จะใช้ 1 ฉันจะระบุ

the location of the mapper and reducer is the file option which is available

ตำแหน่งของตัวทำแผนที่และตัวลด เป็นตัวเลือกไฟล์ที่มีให้

under home cloud era mapper home cloud era reducer

ภายใต้บ้านเมฆยุคแมปเปอร์เมฆบ้าน ยุคลด

and with - map or option I'm going to specify which of these scripts is my

และด้วย - แผนที่หรือตัวเลือกที่ฉันกำลังจะไป ระบุว่าสคริปต์ใดของฉันเหล่านี้

mapper and with - reducer to specify the reducer code and - input I am going to

Mapper และด้วย - ลดเพื่อระบุ รหัสลดและ - อินพุตฉันจะไป

specify the input file from HDFS user Cloudera

ระบุไฟล์อินพุตจากผู้ใช้ HDFS Cloudera

word input and with - output going to specify the output location within HDFS

การป้อนข้อมูลคำและด้วย - ผลลัพธ์กำลังจะไป ระบุตำแหน่งเอาต์พุตภายใน HDFS

which are the user cloudera work output

ซึ่งเป็นผลงานของผู้ใช้ cloudera

okay

ถูก

arrow is framing string code okay let's execute once again

ลูกศรเป็นรหัสสตริงกรอบ โอเคเราจะดำเนินการอีกครั้ง

okay looks like my previous command had some error in it so as you can see this

ดูเหมือนว่าคำสั่งก่อนหน้าของฉันมี เกิดข้อผิดพลาดบางอย่างเพื่อที่คุณจะได้เห็นสิ่งนี้

streaming hat package my mapper dot py reducer dot py into a jar file which is

แพ็คเกจสตรีมมิ่งหมวก mapper dot py ของฉัน reducer dot py ลงในไฟล์ jar ซึ่งก็คือ

created on into a temp location temp streaming and it has completed the job

สร้างเมื่อเป็น temp ตำแหน่ง temp การสตรีมและการทำงานเสร็จสมบูรณ์

as well let's look at the output here and high surface

ลองดูผลลัพธ์ที่นี่ และพื้นผิวสูง

I'll just do a cat on this yep as you can see the output on our local file

ฉันจะทำแมวกับคุณเมื่อคุณ สามารถดูผลลัพธ์ในไฟล์ท้องถิ่นของเรา

system as well as an HDFS is the same so this

ระบบ เช่นเดียวกับ HDFS เหมือนกันดังนั้นสิ่งนี้

is the same way you can actually create your MapReduce programs in Perl or Ruby

เป็นวิธีเดียวกับที่คุณสามารถสร้างได้ โปรแกรม MapReduce ของคุณใน Perl หรือ Ruby

or Python or in other languages and test it out and product eyes it as well so

หรือ Python หรือในภาษาอื่นและทดสอบ มันออกมาและดวงตาของผลิตภัณฑ์ก็เช่นกัน

thanks for watching a good day

ขอบคุณสำหรับการดูวันที่ดี