Dealing with Dynamic Data - Computerphile Computerphile English Turkish

Dealing with Dynamic Data - ComputerphileYouTube↗ IA↗(long shot)
Education 70K views 2.1K likes 48 dislikes 31 May 2019

Computerphile 2.6M subscribers N/A YouTube↗

So now we're going to talk about something that is kind of a specific part of Big Data

Şimdi, Büyük Veri'nin belirli bir parçası olan bir şey hakkında konuşacağız.

So the velocity part huge amounts of data being generated all the time, which essentially is a data stream

Bu yüzden, hız kısmı her zaman büyük miktarlarda veri üretilir, bu esas olarak bir veri akışıdır.

So that's a flow of instances so you could have a flow of images coming in have a flow

Yani bu bir örnek akışıdır, böylece içeri giren bir görüntü akışına sahip olabilirsiniz.

Video coming in or just a flow of essentially lines to go into a database the thing about the dynamic data

Video geliyor ya da sadece veri tabanına gitmek için esasen satırların akışı

Is that the patterns within it can change so if we've got for example a static machine learning model?

Bu, örneğin statik bir makine öğrenim modeline sahip olmamız durumunda, içindeki modeller değişebilir mi?

That's not going to deal very well with a changing pattern happening in the data

Bu, verilerde meydana gelen değişen bir paternle pek iyi bir şekilde başa çıkmayacak

We build a single model at the start. We use it to make predictions on later data the model

Başlangıçta tek bir model inşa ediyoruz. Modelin daha sonraki verilerle ilgili tahminlerde bulunmak için kullanıyoruz.

Accuracy can kind of degenerate over time as that data changes

Doğruluk, veriler değiştikçe zaman içerisinde biraz dejenere olabilir

The problem of kind of designing algorithms to deal with this real time data

Bu gerçek zamanlı verilerle başa çıkmak için bir tür tasarım algoritması sorunu

There's been a research topic for kind of several years now and there's several real world applications on top of that as well

Birkaç yıldan beri bir araştırma konusu var ve bunun üzerine gerçek dünya uygulamaları da var.

so if you think about

peki eğer düşünürsen

Banks trying to detect fraud as patterns change of different forwards occurring

Dolandırıcılığı tespit etmeye çalışan bankalar, farklı ileriye dönük oluşumlar değişti

They want their models to kind of be able to update all the time similar for intrusion detection systems and computer networks

Modellerinin izinsiz giriş tespit sistemleri ve bilgisayar ağları için benzer şekilde sürekli güncellenmesini istiyorlar.

They want to be able to update

Güncelleme yapabilmek istiyorlar

And keep on top of what is happening

Ve olan bitene devam et

Ideally, you would want this to happen automatically so minimum interference from humans, because otherwise they've got to spot when changes are happening

İdeal olarak, bunun otomatik olarak gerçekleşmesini istersiniz, bu yüzden insanlardan asgari girişim, çünkü aksi halde değişiklikler olduğunda fark etmeleri gerekir.

We just want the machines to be able to do it by themselves

Sadece makinelerin kendi başlarına yapabilmelerini istiyoruz.

So if you think about a traditional classification problem on a static batch of data

Bu nedenle, statik bir veri kümesi üzerinde geleneksel bir sınıflandırma problemini düşünüyorsanız

You assume you have all of that data there already. You have your training test set and you have

Buradaki tüm verilere sahip olduğunuzu varsayıyorsunuz. Eğitim test setin var ve

instances with

ile örnekleri

Features which X and then there's some unknown

Hangi X ve sonra bazı bilinmeyen var olan özellikler

function f of X which gives you the class label and you want to find a

Size sınıf etiketini veren ve bulmak istediğiniz X'in f işlevi

hypothesis that gives you the best prediction possible

Size mümkün olan en iyi tahmini veren hipotez

So what kind of approximates this function as well as possible?

Peki bu fonksiyona ne kadar yaklaşır?

So you have a red class and a green class and we have instances that look like this our function f of X may create

Yani kırmızı bir sınıfınız ve yeşil bir sınıfınız var ve buna benzeyen örneklerimiz var, X'in f fonksiyonu yaratabilir.

A class boundary that looks like this. So anything on this side is red. Anything on this side is green

Buna benzeyen bir sınıf sınırı. Yani bu taraftaki herhangi bir şey kırmızı. Bu taraftaki herhangi bir şey yeşil

Our model doesn't know that but we use standard machine learning techniques decision trees new or networks

Modelimiz bunu bilmiyor ama standart ağaç öğrenme teknikleri karar ağaçları yeni veya ağlar kullanıyoruz

Whatever you want and it learns a boundary

Ne istersen ve bir sınır öğrenir

That looks like that and so that will do okay on whatever dates that we have

Bu öyle gözüküyor ve böylece sahip olduğumuz tarihler boyunca tamam olacak.

It's not effect, but it may get the results that we want. This is static classifications. We already have all our data

Etkisi yoktur, ancak istediğimiz sonuçları alabilir. Bu statik sınıflandırmalardır. Tüm verilerimize zaten sahibiz

So we've got our data we've done our machine learning

Böylece verilerimizi aldık, makine öğrenmemizi yaptık

This is the decision boundary that we've learnt. The dotted line is what is actually the boundary this gives. Okay results

Öğrendiğimiz karar sınırı budur. Noktalı çizgi aslında bunun verdiği sınırdır. Tamam sonuçlar

Let's now say that this is happening in a data stream. So we get this data originally and we build this model

Şimdi bunun bir veri akışında olduğunu söyleyelim. Böylece bu verileri başlangıçta alıyoruz ve bu modeli oluşturuyoruz

But then later on we have a similar distribution of instance arriving

Fakat daha sonra, gelen benzer bir örnek dağıtımımız var.

However, what now happens is that some of these instances are now in reality in a different class

Ancak, şimdi olanlar, bu örneklerden bazılarının şu anda gerçekte farklı bir sınıfta olduğu.

so the true boundary is now here, but we still have our

yani gerçek sınır şimdi burada, ama biz hala elimizde

Model with this decision boundary and so we're now predicting instances here and here into the wrong class if we use that

Bu karar sınırını modelleyin ve bu nedenle, şimdi ve burada örnekleri kullanırsak, yanlış sınıfa tahmin ediyoruz.

Exact same model. So what we would see in this case in

Tam olarak aynı model. Peki bu durumda ne görürüz

Centage accuracy over time you would see at this change point

Zamanla Centage doğruluğunu bu değişim noktasında görecektiniz

Accuracy would plummet. So this problem here is called real concept drift. What is effectively happened here

Doğruluk düşecektir. Yani burada bu sorun gerçek kavram kayması denir. Burada etkili bir şekilde ne oldu?

is that this function the unknown function has changed but we've kept our hypothesis our machine learning model exactly the same and so

Bu işlev, bilinmeyen işlev değişti, ancak hipotezimizi makine öğrenme modelimizle tamamen aynı tuttuk.

It starts to perform badly

Kötü performans göstermeye başlar

we can also have a similar problem called virtual drift and what would happen in this case is

sanal sapma adı verilen benzer bir problemimiz olabilir ve bu durumda ne olacağını

that the

Target decision boundary has stayed the same from this original

Hedef karar sınırı bu orijinalden aynı kaldı

But the instances we now see in the stream are somewhere else in the feature space. Let's say we now see

Ancak şimdi akışta gördüğümüz örnekler, özellik alanında başka bir yerde. Şimdi görelim diyelim

data

veri

like this so though the

öyle olsa da

Kind of optimal decision boundary is in exactly the same place. We now have different data. That means that are predicted boundary

En uygun karar sınırı türü aynı yerdedir. Artık farklı verilerimiz var. Bu, öngörülen sınır anlamına gelir

It's going to give this instance as wrong because we haven't got a way of incorporating

Bu örneği yanlış verecek, çünkü birleştirmenin bir yolunu bulamadık

information from this instance into the original model that we built both of these will create this decrease in accuracy so we can also

Bu örnekteki bilgileri, her ikisini de oluşturduğumuz orijinal modele aktarırken bu azalmayı doğrulukla yaratacağız.

Look at the drift in the data streams in terms of the speed they happen so something that would give us an accuracy plot that

Veri akışlarındaki sürüklenmeye, meydana geldikleri hız açısından bakın, böylece bize bir doğruluk arsası verecek bir şey

Looks like this is called sudden drift we go from straight from one concept in the data stream

Buna veri akışındaki tek bir kavramdan doğduğumuz ani sapma denir gibi gözüküyor

So one decision boundary straight to another one another possible thing that could happen

Yani bir karar sınırı doğruca bir başkasına olabilecek muhtemel bir şey

Is that our accuracy looks like this?

Bu bizim doğruluğumuz böyle mi görünüyor?

So rather than this sudden switch this decision boundary gradually shifts save me your life if we're looking at a very very oversimplified

Yani bu ani değişim yerine bu karar sınırı yavaş yavaş değişiyor, çok çok basitleştirilmiş bir bakıma bakıyorsanız, beni hayatınızı kurtarıyor

Intrusion detection system. We have only two features that we're looking at in the original dataset

Saldırı tespit sistemi. Orijinal veri setinde incelediğimiz sadece iki özelliğe sahibiz.

anything with these features, this is a

Bu özelliklere sahip herhangi bir şey, bu bir

security

güvenlik

Problem and intrusion anything on this side is good in this case

Bu durumda sorun ve izinsiz giriş, bu durumda iyi

What happens is that suddenly there's a new way of attacking the network and so suddenly

Olan şey şu ki, aniden ağa saldırmanın yeni bir yolu var ve bu yüzden aniden

What was here is now not good. So we see those patterns and we say ok

Burada olan şimdi iyi değil. Yani bu kalıpları görüyoruz ve tamam diyoruz.

No, that counts as an intrusion in this case

Hayır, bu durumda izinsiz giriş sayılır

what it means is that we see something that we've not seen before so the model hasn't been trained with any similar data and

Bunun anlamı, daha önce görmediğimiz bir şeyi görmemiz, bu yüzden model benzer verilerle eğitilmemiş ve

So it could get it, right it could fall somewhere up here and we correctly say this is bad

Böylece onu alabilirdi, doğru burada bir yere düşebilir ve doğru olduğunu söylüyoruz

but it could also fall in an area that we didn't learn the decision boundary so well, so

ancak karar sınırını bu kadar iyi öğrenemediğimiz bir alana da düşebilir.

Yeah, we get that prediction wrong. We just looked at what?

Evet, bu öngörüyü yanlış anladık. Sadece neye baktık?

The problems are with using a single static model when we're dealing with incoming data

Gelen verilerle uğraşırken problemler tek bir statik model kullanmaktır

Over time the distribution changes and we start to see a decrease in accuracy on whatever model we built

Zaman içinde dağıtım değişir ve hangi modele göre olursa olsun doğrulukta bir azalma görmeye başlarız.

So what happens in kind of a stream machine learning algorithm would be so first of all

Öyleyse, bir tür akış makinesi öğrenme algoritması türünde gerçekleşen şey, her şeyden önce olacaktır.

You've got X arriving. This is your instance in our previous example, this would just have two values associated with it

X'in gelmesi var. Bu sizin önceki örneğindeki örneğinizdir, bununla ilişkilendirilmiş iki değeri olacaktır.

What would first happen is we make a prediction? So in the classification example, we classify this. Yes

İlk olarak ne olacağını tahmin edelim mi? Yani sınıflandırma örneğinde, bunu sınıflandırıyoruz. Evet

It's an intrusion. No, it's not intrusion using the current model that we have then what happens is we update whatever model we have

Bu bir izinsiz giriş. Hayır, şu andaki modeli kullanarak izinsiz giriş yapmıyoruz, o zaman olan ne?

using information from X and we'll talk about some of the ways that this is done in a second and

X'ten gelen bilgileri kullanarak, bunun bir saniyede yapılmasının bazı yollarından bahsedeceğiz ve

One of the kind of caveats with stream machine learning is that you need for this to happen you?

Akış makinesi öğrenmesiyle ilgili uyarılardan biri, bunun gerçekleşmesi için ihtiyacınız olan şeydir.

need to have

ihtiyacı olmak

The real class label if you're doing classification

Sınıflandırma yapıyorsanız gerçek sınıf etiketi

So in order to incorporate information from this instance into whatever model you've got you need to have that label there now in some cases

Dolayısıyla, bu örnekten aldığınız bilgileri hangi örnekle birleştirmek için, bazı durumlarda bu etikete sahip olmanız gerekir.

It's very easy to say we've seen this data. This is what it's classified us

Bu verileri gördüğümüzü söylemek çok kolay. Bu bize sınıflandırdığı şey.

And we do that immediately if we're thinking about

Ve eğer düşünüyorsak hemen yaparız.

Making weather predictions we can almost immediately say yes. This is what the weather is like it may be a day's delay

Hava tahminlerini yaparken hemen hemen evet diyebiliriz. Hava böyle bir gün gecikme olabilir

But yeah, we can that's pretty immediate thing four things for example for detection

Ama evet, örneğin hemen tespit edilmesi gereken dört şey olabilir.

You may see a pattern of data

Bir veri deseni görebilirsiniz

you may

yapabilirsin

Predict it is not being fought and then suddenly two days later this person figures out that actually there's something wrong with their bank accounts

Mücadele edilmediğini tahmin edin ve iki gün sonra aniden bu kişi banka hesaplarında yanlış bir şey olduğunu anladı.

They phone up and it does turn out to be fraud

Onlar telefon ve dolandırıcılık olduğu ortaya çıkıyor

And so we'd only have the label for that data after that has happened

Ve böylece, bu gerçekleştikten sonra yalnızca o verinin etiketini alırdık.

The final bit is to update the model

Son bit, modeli güncellemektir

At this point and so the goal of updating the model over time is so that rather than having a performance plot

Bu noktada ve böylece modeli zaman içinde güncellemenin hedefi, bir performans grafiği oluşturmak yerine,

That looks like this so we go from 95s and accuracy down to 20% accuracy

Bu böyle gözüküyor, bu yüzden 95'lerden% 20'ye kadar doğruluk sağlıyoruz

We instead end up with something that okay

Bunun yerine iyi bir şeyle sonuçlanır

We may drift a little bit here and have a tiny performance decrease

Burada biraz sürüklenip, performansında küçük bir düşüş olabilir.

But the model should very quickly recover back to the original level and we still have a high performance

Fakat model çok hızlı bir şekilde orijinal seviyeye geri dönmeli ve hala yüksek bir performansa sahibiz.

So that's the goal of this model update. There's various approaches we can take so the first one is explicit drift handling

Demek bu model güncellemesinin hedefi bu. Alabileceğimiz çeşitli yaklaşımlar var, birincisi açık drift yönetimi

which means that we first of all detect when a drift happens in the data stream

bu, ilk olarak veri akışında bir kayma meydana geldiğinde tespit ettiğimiz anlamına gelir

So to do that

Bunu yapmak için

We have drift detection methods and these are usually statistical tests that look at some aspects of the data arriving

Sürüklenme algılama yöntemlerine sahibiz ve bunlar genellikle gelen verilerin bazı yönlerine bakan istatistiksel testlerdir.

So if the distribution of the data we see arriving and the distribution of the classes we see is changing

Öyleyse, gördüğümüz verilerin dağılımı ve gördüğümüz sınıfların dağılımı değişiyorsa,

If morph like that as a drift some of these we'll also look at the performance accuracy of the classifier

Eğer bu gibi bir morph bunlardan bir kayması olarak, biz de sınıflandırıcının performans doğruluğuna bakacağız.

So if the classifier performance suddenly drops we can say well, we've probably got a drift here

Sınıflandırıcı performansı aniden düşerse, iyi söyleyebiliriz, muhtemelen burada bir sapma var.

We need to do something to the model to mitigate this

Bunu hafifletmek için modele bir şey yapmamız gerekiyor.

Who spots that though? Is it, you know, is there an algorithm that actually spots that something's different to what it should be

Bunu kim vurguluyor? Biliyor musun, aslında bir şeyin olması gerekenden farklı olduğunu gösteren bir algoritma var mı?

Yes, so there are various statistical tests that will do this

Evet, bunu yapacak çeşitli istatistiksel testler var.

That will kind of just measure things like the mean of the data arriving and be able to spot things that have changed basically

Bu sadece gelen verinin ortalaması gibi şeyleri ölçecek ve temelde değişen şeyleri belirleyebilecek

So yeah, once we detected that a drift has happened

Yani evet, bir kere sapma olduğunu tespit ettik.

We then want to take some action. The first thing that we could do is we could do a complete replacement of the model

Daha sonra biraz harekete geçmek istiyoruz. Yapabileceğimiz ilk şey, modelin tamamen değiştirilebileceğidir.

so we get rid of whatever model we had before and

böylece daha önce sahip olduğumuz modelden kurtulacağız ve

Biz

We have taken chunk of recent data

Son verilerin bir kısmını aldık

And we retrain the model on that and continue using that for predictions until we've hit another drift

Ve bunun üzerine modeli yeniden eğitiyoruz ve başka bir drifti vuruncaya kadar tahminler için kullanmaya devam ediyoruz.

This is okay. But it means that we could be getting rid of some information in the previous model

Tamamdır. Ancak bu, önceki modeldeki bazı bilgilerden kurtulabileceğimiz anlamına geliyor

That is maybe still going to be useful in the future

Belki gelecekte de faydalı olacak.

so then there are also methods that we'll look at specific parts of the model and say okay this specific part of it is

öyleyse, modelin belirli kısımlarına bakacağımız ve tamam diyeceğimiz yöntemler de var.

Causing a performance decrease. So let's get rid of this we can then

Performans düşmesine neden olmak. Öyleyse ondan kurtulalım o zaman

Learn from new instances something to replace this that will do it better basically

Yeni örneklerden, bunu temelde daha iyi yapacak bir şeyi değiştirecek bir şeyler öğrenin.

so if you think of a decision tree

karar ağacı düşünürseniz

If you can detect that there are certain branches in that decision tree that are no longer

Karar ağacında artık olmayan belirli dallar olduğunu tespit edebiliyorsanız

Making good predictions you can get rid of them and we grow the tree to perform better prune it. Yeah, exactly

İyi tahminler yaparak onlardan kurtulabilirsin ve daha iyi budamak için ağacı yetiştiririz. Evet kesinlikle

It is called pruning. You prune. Yeah, you prune the branches off the tree

Buna budama denir. Kuru erik Evet, dalları ağaçtan kuru erik

There are no longer performing as you want them to the alternative to explicit handling is to do implicit drift handling

Artık açık işlemlere alternatif olmalarını istediğiniz şekilde yapamazsınız, dolaylı sapma işlemlerini yapmaktır

So rather than looking at the data or looking at the performance and saying something has changed we need to take action

Dolayısıyla verilere bakmak veya performansa bakmak ve bir şeylerin değiştiğini söylemek yerine harekete geçmemiz gerekiyor

We're just continually taking action. There are various approaches to implicit drift handling

Sadece sürekli harekete geçiyoruz. Örtük sapma işlemeye çeşitli yaklaşımlar vardır

So the first and probably most simple one is to use a sliding window

Bu yüzden, ilk ve muhtemelen en basit olanı, sürgülü bir pencere kullanmaktır.

So if we imagine we have the data stream with instances arriving like this

Öyleyse, bu şekilde gelen örneklerle birlikte veri akışına sahip olduğumuzu düşünüyorsanız

We could say we have a sliding window of three instances and we learn a model off of them. We then

Üç örnek sürgülü bir penceremiz olduğunu ve bunlardan bir model öğrendiğimizi söyleyebiliriz. Biz o zaman

Take the next three learn a model off of them. So as each instance arrives we get rid of the oldest instance

Sonraki üçünü alın onlardan bir model öğrenin. Böylece her örnek geldiğinde en eski durumdan kurtuluruz

And this makes the assumption that the oldest instances are the least relevant. This is usually the case

Bu da en eski örneklerin en az ilgili olduğu varsayımını ortaya koymaktadır. Bu genellikle durum böyle

It's kind of a valid assumption to make so this performs

Bunu yapmak için geçerli bir varsayımdır.

Okay

Tamam Bununla birlikte sorun şu ki, her türlü net kesme noktası sağlaması.

the problem with this though is that it kind of provides a crisp cut off points every

Instance within this window is treated with exactly the same

Bu penceredeki örnek tamamen aynı şekilde ele alınır.

Kind of impacts on the classifier. They were weighted the same so we can introduce instance weighting

Sınıflandırıcı üzerindeki etkiler. Aynı ağırlıktalardı, böylece örnek ağırlıklandırmayı sunabiliriz

So that older instances will have a lower weight their impact on the classifier will be less

Böylece daha eski örnekler daha düşük bir ağırlığa sahip olacak, sınıflandırıcı üzerindeki etkileri daha az olacaktır.

So again, the more recent instances will be have the largest impact on the current model

Yani, daha yakın zamanda ortaya çıkan örnekler mevcut model üzerinde en büyük etkiye sahip olacak

and then again these algorithms that we'll use instance weighting will usually have

ve sonra yine örnek ağırlıklandırma kullanacağımız bu algoritmalar genellikle

Some threshold. So once the weight gets below a certain point they say that's the instance gone

Bazı eşik Yani ağırlık belli bir puanın altına düştüğünde, bunun eşleştiğini söylüyorlar.

We delete it presumably the windows can be larger or smaller

Sanırım pencerelerin daha büyük veya daha küçük olabileceğini düşünüyoruz.

Yes, so setting the window size is a pretty important parameter

Evet, bu yüzden pencere boyutunu ayarlamak oldukça önemli bir parametredir.

if you have a window, that is too large then

Bir pencereniz varsa, o zaman çok büyük

Okay, you're getting a lot of data to construct your model from which is good and cents between learning more data usually good

Tamam, modelinizi oluşturmak için çok fazla veri alıyorsunuz ki bu modelin iyi olduğu ve genellikle daha iyi veri öğrenme arasındaki sentezi

What it also means is that if there's very short-term drifts

Bunun anlamı, kısa vadeli sürüklenmeler varsa

So this drift happens and then we don't learn from that drift if that makes sense because we see that all as one

Bu yüzden bu sapma gerçekleşir ve bu mantıklı olursa, bu sapmadan öğrenemeyiz çünkü hepsini tek olarak görüyoruz

Chunk of the data again

Yine veri yığını

If you didn't set the window to be too small we can react very well to very short-term drifts in the stream

Pencereyi çok küçük ayarlamamışsanız, akıştaki çok kısa süreli sürüklenmelere çok iyi tepki verebiliriz.

But you then have a very limited amount of data to work on to construct the model

Fakat daha sonra modeli oluşturmak için üzerinde çalışılacak çok sınırlı miktarda veri var.

So there are methods that will automatically adjust the window size. So during times of drift the window size will get smaller

Bu yüzden pencere boyutunu otomatik olarak ayarlayacak yöntemler var. Bu yüzden sürüklenme zamanlarında pencere boyutu küçülecek

so we want to be very rapidly changing the model and then during times when everything is kind of very stable the

bu yüzden modeli çok hızlı bir şekilde değiştirmeyi istiyoruz ve daha sonra her şeyin oldukça sabit olduğu dönemlerde

Window will grow to be as large as possible so that we can

Pencere olabildiğince büyük olacak şekilde büyüyecek, böylece

Use as much data to construct this model as possible

Bu modeli oluşturmak için mümkün olduğunca fazla veri kullanın.

So the problem weird sliding windows and instance weighting is that you need all of those instances available to construct the model

Öyleyse, garip sürgülü pencerelerin ve örnek ağırlığının problemi, modeli oluşturmak için mevcut tüm örneklere ihtiyaç duymanızdır.

Continuously. So every time you add a new instance and delete another one you need to reconstruct that model and

Devamlı olarak. Her yeni bir örnek eklediğinizde ve başka birini sildiğinizde, bu modeli yeniden yapılandırmanız gerekir.

So the way we can get around this is by using single pass algorithms

Bu yüzden bunu aşmamızın yolu tek geçişli algoritmalar kullanmak.

So we see each instance once use it to update the model and then get rid of that instance

Bu nedenle, her bir örneği bir kez modeli güncellemek için kullanıp sonra bu örneklerden kurtulmak için kullanıyoruz.

It's probably still in long-term permanent storage, but in terms of what is being accessed to construct this algorithm

Muhtemelen hala uzun süreli kalıcı depolamadadır, ancak bu algoritmayı oluşturmak için neye erişildiği konusunda

It's gone now in that respect then you've got information out of the instance, but you don't need the instance itself. Yeah, exactly

Şimdi o açıdan gitti, o zaman bu durumdan bilgiyi aldın, ama örneğe ihtiyacın yok. Evet kesinlikle

So we see the instance we incorporate what we can from it into the current model

Dolayısıyla, elimizden gelenleri mevcut modele dahil ettiğimiz örneği görüyoruz.

We get rid of it and that instances impact is still in the model an example would be a decision tree

Ondan kurtulduk ve örnek etkisinin hala modelde olduğu bir örnek karar ağacı olacak

So decision trees are kind of constructed by splitting nodes where we're going to get a lot of information gained

Dolayısıyla karar ağaçları bir çok bilgiyi elde edeceğimiz düğümleri bölerek oluşturuyor.

from making a split on a certain attribute

belirli bir öznitelikte bölünme yapmaktan

So as the data stream changes the information gained that we might get and some of these nodes may change

Böylece veri akışı değiştikçe elde edebileceğimiz bilgiler değişebilir ve bu düğümlerin bazıları değişebilir.

So if we say get a new instance and it will say okay

Öyleyse yeni bir örnek alırsak tamam diyecek

Now this actually makes this a split worth making

Şimdi bu aslında bunu yapmaya değer bir bölünme yapıyor

We can make that split continue growing the tree and then that instance can go we don't need it anymore

Bu bölünmenin ağacı büyütmeye devam etmesini sağlayabiliriz ve sonra bu örnek gidebilir, artık ihtiyacımız yok

But we still have the information from it in our model

Ama yine de modelimizde ondan bilgi var.

So we've got our implicit and explicit drift handling appro. You can also have hybrids approaches

Bu nedenle örtük ve açık sapma yönetimi onayımızı aldık. Ayrıca melez yaklaşımlara sahip olabilirsiniz.

So the explicit drift handling is very good at spotting sudden drift. So anytime there's a sudden change

Bu yüzden, açık sapma yönetimi, ani sapmaların tespitinde çok iyidir. Yani her zaman ani bir değişiklik var

There'll be a sudden drop in performance that's very easy to pick up on with a simple statistical test

Basit bir istatistiksel testle elde edilmesi çok kolay olan performansta ani bir düşüş olacak

But when we then add in the implicit drift handling on top of that

Fakat bunun üzerine örtük sapma işlemine eklediğimizde

It means that we can also deal very well with gradual drift

Bu, kademeli kayma ile de çok iyi başa çıkabileceğimiz anlamına geliyor.

So gradual drift is a bit more difficult to identify

Bu yüzden kademeli kayma tanımlamak biraz daha zor

Simply because if you look at the previous instance or like say that 10 previous instances

Sadece önceki örneğe bakarsanız ya da önceki 10 örneğe benziyorsanız

With a gradual drift, you're not going to see a significant change

Aşamalı bir kayma ile, önemli bir değişiklik görmeyeceksiniz

So it's a lot harder to detect by combining the implicit and explicit

Öyleyse, üstü kapalı ve açık biçimini birleştirerek algılaması çok daha zor

Drift timing methods we end up with a performance plot. That would look something like this

Sürüklenme zamanlaması yöntemleri, bir performans grafiği ile sonuçlanır. Bu böyle bir şey olurdu

We maintain pretty good performance for the entire duration of the data that's arriving the problems of a changing data distribution

Değişen veri dağıtım sorunlarına ulaşan verinin tamamı boyunca oldukça iyi performans gösteriyoruz

And not the only problems with streams

Ve akışlardaki tek sorun değil

and

so if you can imagine a very high volume stream and

çok yüksek hacimli bir akış hayal edebiliyorsanız,

high-speed got a lot of data arriving in a very short amount of time if

yüksek hızda çok kısa sürede çok miktarda veri geliyorsa

You take a single instance of that data stream and it takes you like five seconds to process it

Bu veri akışının tek bir örneğini alırsınız ve işlemden geçirilmesi beş saniye sürer

But in that 5 seconds, you've had 10 more instances arrive. You're going to get a battery of instances very very quickly

Fakat bu 5 saniyede, 10 tane daha vaktin varmış. Çok hızlı bir örnek bataryası alacaksınız

So you need to be the model update stage needs to be very quick to avoid getting any backlog. The second problem is that with?

Bu nedenle, model güncelleme aşamasına geçmeniz gerekiyor, herhangi bir işlem yapmamak için çok hızlı olmanız gerekiyor. İkinci sorun bu mu?

These algorithms we're not going to have the entire history of the stream available

Bu algoritmalar akışın tüm geçmişine sahip olamayacağız

To create the current model

Mevcut modeli oluşturmak için

so the models need to be

bu yüzden modeller olmalı

For example the single path algorithms that can say we don't need the historical data that we have the information we need from it

Örneğin, ondan ihtiyacımız olan bilgiye sahip olduğumuz geçmiş verilere ihtiyacımız olmadığını söyleyebilecek tek yol algoritmaları

But we don't need to access these

Ancak bunlara erişmemize gerek yok

Because otherwise, you just end up with huge huge data sets

Çünkü aksi halde, sadece devasa büyük veri kümeleriyle bitiyorsunuz.

Having to be used to create these models all the time

Bu modelleri her zaman oluşturmak için kullanılmak zorunda

And again these streams of potentially infinite

Ve yine bu sonsuz potansiyel akışları

We don't know when they're going to end and we don't know how much data they're going to end up containing

Ne zaman biteceklerini bilmiyoruz ve ne kadar veri toplayacaklarını bilmiyoruz.

Most of the kind of and well-known machine learning algorithms have been adapted in various ways to be suitable for streams

Tür ve tanınmış makine öğrenme algoritmalarının çoğu, akışlara uygun olacak şekilde çeşitli şekillerde uyarlanmıştır.

So they now include update mechanisms. So they're more dynamic methods. So this includes but decision trees neural networks

Bu yüzden şimdi güncelleme mekanizmaları içeriyorlar. Bu yüzden daha dinamik yöntemler. Bu da buna ek olarak karar ağaçları sinir ağlarını da içeriyor

K nearest neighbors. There's also clustering algorithms have also been adapted. So basically any classic algorithm you can think of there's

K en yakın komşular. Ayrıca kümeleme algoritmaları da uyarlanmıştır. Yani temelde bir klasik algoritma olduğunu düşünebilirsiniz.

Multiple streaming versions of it now. So if you are interested in these streaming algorithms

Şimdi birden fazla akış sürümü. Bu akış algoritmaları ile ilgileniyorsanız

There's a few bits of software that you could look at

Bakabileceğiniz birkaç yazılım var

for example, there's the

örneğin, orada

Mower suite of algorithms which interfaces with the worker data mining tool kit

Çalışan veri madenciliği araç seti ile arayüz kuran algoritmalar takımı

This is free to download and use and includes implementations of a lot of popular streaming algorithms it also

Bu indirmek ve kullanmak ücretsizdir ve bir çok popüler akış algoritmasını da içerir.

Includes ways to synthesize data streams so generate essentially a stream of data

Veri akışlarını sentezlemenin yollarını içerir, böylece temel olarak bir veri akışı oluşturur

That you can then run the algorithms on

Daha sonra algoritmaları çalıştırabilirsin.

and you can control the amount of drift that you get how certain it is and things like that and

ve ne kadar kesin olduğunu ve bunun gibi şeyleri elde ettiğiniz sapma miktarını kontrol edebilirsiniz.

that's quite good to play around with to see the effects that

etkilerini görmek için uğraşmak oldukça iyi

Different kinds of drift can have on accuracy in terms of big data streams

Büyük veri akışları açısından farklı türdeki sürüklemeler doğrulukta olabilir

Specifically there's software such as the spark streaming module for Apache spark

Spesifik olarak, Apache spark için kıvılcım akış modülü gibi bir yazılım var.

well

iyi

There's also the more recent Apache flink that are designed to process very high volume data streams very quickly

Ayrıca çok yüksek hacimli veri akışlarını çok hızlı bir şekilde işlemek için tasarlanmış daha yeni Apache flink var

you just mentioned some yourself where people can download and have a play with but I mean in the real world as an industry and

az önce, insanların indirebileceği ve oynayabileceği bir yerden bahsettiniz ama ben bir endüstri olarak gerçek dünyada

Websites and things that services that we use every day

Her gün kullandığımız web siteleri ve hizmetlerimiz

He was using these streaming algorithms. And so a lot of the big companies or most companies to be honest will be generating data

Bu akış algoritmalarını kullanıyordu. Demek ki büyük şirketler veya dürüst olmak gerekirse çoğu şirket veri üretecek

Constantly that they want to model. So for example

Sürekli olarak modellemek istiyorlar. Yani

Amazon recommendations like what to watch next what to buy next they want to

Bir sonraki ne izleyeceğimiz gibi bir sonraki ne alacağınız gibi Amazon tavsiyeleri

Understand changing patterns so that they can keep updating

Değişen kalıpları anlamaya ve güncellemeye devam etmelerini sağlayın

Whatever model they have to get the best

Hangi modelden olursa olsun en iyisini elde etmek için

recommendations again

tekrar önerileri

optimizing ads to suggest based on

reklamları dayalı olarak önermek üzere optimize etmek

whatever

her neyse

Searching history you have that's another thing that is being done via this. So yeah, there are a lot of real-world applications for this stuff

Sahip olduğunuz tarihte arama yapmak, bunun üzerinden yapılan başka bir şey. Yani evet, bunun için birçok gerçek dünya uygulaması var.

Now I've got the token so I can load a value in add the value emerged or into it and store it back and hand

Şimdi belirteç aldım, böylece ortaya çıkan değeri eklemek için bir değer yükleyebiliyorum ve tekrar elimde tutuyorum

And now I've got the token again

Ve şimdi yine belirteci var

I can load something into its my register you and do the computation split across those machines

Kayıt defterime bir şey yükleyebilirim ve bu makineler arasında bölünmüş hesaplamayı yapabilirim

So rather than having one computer going through I don't know a billion database records. You can have each computer going through

Yani bir bilgisayarın geçmesinden ziyade milyarlarca veritabanı kaydını bilmiyorum. Her bilgisayarın geçmesini sağlayabilirsiniz.