Lecture 53 Business analytics & data mining Modeling using R English Gujarati

Lecture 53YouTube↗ IA↗(long shot)
People & Blogs 719 views 2 likes 0 dislikes 30 Mar 2018

Business analytics & data mining Modeling using R 1.9K subscribers N/A YouTube↗

Welcome to the course Business Analytics and Data Mining Modeling using R. So, in this particular lecture we are going to start our discussion on Artificial Neural Networks.

“આર સોફ્ટ્વેર” નો ઉપયોગ કરીને બિઝનેસ એનાલિટિક્સ અને ડેટા માઇનિંગ મોડેલિંગ કોર્સ માં આપનું સ્વાગત છે. તેથી, આ વિશેષ વ્યાખ્યાનમાં આપણે કૃત્રિમ ન્યુરલ

So, let us get this started. So, let us understand a particular background

નેટવર્ક્સ પર આપણી ચર્ચા શરૂ કરવા જઈ

about background of artificial neural networks how they were conceived, and other things

રહ્યા છીએ. તેથી, ચાલો આ પ્રારંભ કરીએ.

other details. So, first artificial neural networks they are based on human learning

તેથી, ચાલો કૃત્રિમ ન્યૂરલ નેટવર્ક્સ

and memory properties. So, they mimic the process of memorizing and learning of humans, so that is mimicked by

વિશેની પૃષ્ઠભૂમિ, કોઈ ચોક્કસ પૃષ્ઠભૂમિને સમજીએ કે તેની કેવી રીતે કલ્પના કરવામાં

these models artificial neural networks model. So, capacity is to generalize from particulars

આવી હતી અને અન્ય વસ્તુઓ, અન્ય વિગતોની

so that is also the in the one capacity of humans, third one biological activity of a brain where interconnected neurons learned from experience.

ચર્ચા કરીએ. તેથી, પ્રથમ કૃત્રિમ ન્યુરલ નેટવર્ક્સ તેઓ માનવ શિક્ષણ અને મેમરી

So, the structure the biological activity and the particular structure that is part

ગુણધર્મો પર આધારિત છે.

of the brain the similar kind of a structure is used in artificial neural network, and

તેથી, તેઓ મનુષ્યોને યાદ રાખવા અને શીખવાની

the learning a procedure the learning process is also quite similar so directly inspired

પ્રક્રિયાની નકલ કરે છે, તેથી આ મોડેલ્સ

from human brain activity. So, these particular model neural networks they mimic our human brains learning and learning process and other things. So, learning and memory properties ability to generalized from a specific things and also the overall network of neurons that is there. So, all these things are quite similar

કૃત્રિમ ન્યુરલ નેટવર્ક્સ મોડેલ દ્વારા નકલ કરવામાં આવે છે. તેથી, વિશિષ્ટતાઓને સામાન્ય બનાવવાની ક્ષમતા છે, જેથી એક તે મનુષ્યની ક્ષમતામાં છે, ત્રીજુ મગજમાં એક જૈવિક

in artificial neural networks. So, typically neural networks model they are used where

પ્રવૃત્તિ છે જ્યાં અંદરો અંદર જોડયેલા ચેતાકોષો અનુભવથી સિક્ષણ મેળવે છે.

the relationship between outcome variable, and the set of predictors is quite complex.

તેથી, મગજનો એક ભાગ જે જૈવિક પ્રવૃત્તિ

So, because of that the applications in finance and some engineer application few examples

અને ચોક્કસ માળખું છે તે સમાન પ્રકારની

are give. For example, credit card fraud, fraud as a finance application to detect whether

માળખાકીય રચના કૃત્રિમ ન્યુરલ નેટવર્કમાં

a particular whether there is some fraud in a particular gate card account and then engineering

વપરાય છે, અને શીખવાની પ્રક્રિયા પણ ખૂબ

discipline. One example is autonomous vehicle movement, so that whether movement of whether

જ સમાન છે, તેથી માનવ મગજની પ્રવૃત્તિથી

the steering has to be moved left or right, so those kind of things can also be predicted

સીધા પ્રેરિત છે. તેથી, આ વિશિષ્ટ મોડેલ

or classified using artificial neural network. So, typically here we are dealing with complex

ન્યુરલ નેટવર્ક્સ તેઓ આપણા માનવીય

relationships something for which it is difficult to difficult to use a structured or functional form or actual relationship is unknown, probably artificial neural network can be used. And

મગજમાં શીખવાની અને શીખવાની પ્રક્રિયા અને અન્ય વસ્તુઓની નકલ કરે છે. તેથી, વિશિષ્ટ વસ્તુઓમાંથી સામાન્યીકરણ અને

applications also applications of artificial neural networks also are seen in areas where

ત્યાંના ચેતાકોષ (neurons) ના સમગ્ર નેટવર્કની

the main where the main behaviour, or main phenomena or relationship is being determined is being based on how the human things are and therefore, behave.

તાલીમ અને મેમરી ગુણધર્મોની ક્ષમતા. તેથી, આ બધી વસ્તુઓ કૃત્રિમ ન્યુરલ નેટવર્ક્સમાં

So, for example, driving so one example that we have given here driving. So, driving is

સમાન છે. તેથી, સામાન્ય રીતે ન્યૂરલ નેટવર્ક્સ

essentially how a person how a driver thinks about moving their car in a congested in traffic environment. How you know people plan people plan and execute credit car, related frauds

મોડેલનો ઉપયોગ થાય છે જ્યાં પરિણામ વેરિયેબલ અને પૂર્વાનુમાનોનો સમૂહ વચ્ચેનો સંબંધ ખૂબ જટિલ હોય. તેથી, તે કારણે નાણા

so that is also how human brain thinks and plan things. So, therefore, those things are difficult to put it in a functional form; however, they can be modelled using neural network, because neural network also mimic the properties of human brain. So, as discussed they can model complex relationship, so they are flexible

અને કેટલીક એન્જીનીયર એપ્લિકેશન, અમુક ઉપયોગીતા છે જેમાં કૃત્રિમ ન્યુરલ નેટવર્ક્સ નો ઉપયોગ થાય છે. ઉદાહરણ તરીકે, ક્રેડિટ કાર્ડની છેતરપિંડી, કોઈ ખાસ ગેટ કાર્ડ ખાતામાં

data driven model. So, we are not required to specify the form of relationship so like in linear regression we assume that the relationship is going to be linear the relationship between outcome variable, and set of predictors that is going

કોઈ છેતરપિંડી છે કે કેમ તે છેતરપિંડી શોધવા માટે ફાઇનાન્સ એપ્લિકેશન તરીકે

to be linear so that is the exemption. And logistic regression we assume that you know we use that logistic function as the form of relationship.

અને પછી એન્જિનિયરિંગ શિસ્તમાં. એક ઉદાહરણ સ્વયંસંચાલિત વાહન હલન ચલન છે, તેથી

And in this particular case neural network we are not required to specify any such form linear or logistic or other forms; So, a useful technique especially useful technique when functional form of relationship is complicated or unknown.

સ્ટીયરિંગને ડાબે અથવા જમણે ખસેડવાનું છે કે નહીં તે હિલચાલ છે, તેથી કૃત્રિમ ન્યુરલ નેટવર્કનો ઉપયોગ કરીને તે પ્રકારની

So, if we do not know the actual relationship or it is quite complicated, so in such situation

વસ્તુઓની આગાહી અથવા વર્ગીકૃત કરી શકાય

artificial neural networks are quite useful as I have talked about any you know specific

છે. તેથી, સામાન્ય રીતે

areas where you know human activity the way human things becomes the core part of that big activity for example, driving or you know some of the these frauds the financial frauds that happen. So, there the applications of neural networks have been quite useful. Another important aspect of neural network is that a linear and logistic regression these

અહીં આપણે જટિલ સંબંધોનો સામનો કરી રહ્યા છીએ જેના માટે સ્ટ્રક્ચર્ડ અથવા ફંક્શનલ ફોર્મ અથવા વાસ્તવિક રીલેશનશીપ જે અજ્ઞાત હોય છે તેનો ઉપયોગ કરવો મુશ્કેલ છે, તે, કદાચ

can be conceptualized as a special cases of neural network which we will see that later in the lecture. Now, let us move to next point that is neural network architectures. So, there are various neural network architectures that are being used; however, the most popular

કૃત્રિમ ન્યુરલ નેટવર્કનો ઉપયોગ કરી શકાય છે. અને એપ્લિકેશન્સ, કૃત્રિમ ન્યુરલ નેટવર્ક્સની એપ્લિકેશન્સ જ્યાં મુખ્ય વર્તન, અથવા મુખ્ય ઘટના અથવા સંબંધ નિર્ધારિત

one that is typically used in data mining is multi layer feed forward networks. So, this is the architecture that we would be using for our discussions, and exercises modelling exercises. So, multi layer feed forward network this is the neural network architecture that is used in data mining.

કરવામાં આવે છે તે મુખ્ય વસ્તુ છે અને તેથી, વર્તન કેવી રીતે થાય છે તેવા વિભાગોમં પણ થાય છે.

So, let us understand the multi layer the architecture of multi layer feed forward networks, so they are fully connected networks, so comprising of multiple layers of nodes. So, there are

તેથી, ઉદાહરણ તરીકે, ડ્રાઇવિંગ એક ઉદાહરણ કે જે આપણે અહીં ડ્રાઇવિંગ આપી રહ્યા છીએ. તેથી,

multiple layers of nodes and there is a one way flow and no cycles we will see this through

ડ્રાઈવિંગ આવશ્યક છે કે કેવી રીતે ડ્રાઈવર

a diagram. Then we have typically we have 3 types of

ટ્રાફિક વાતાવરણમાં, ગીચતામાં તેમની કારને

layer in multi layer feed forward networks, first one is first layer is input layer, then

ખસેડવા વિશે વિચારે છે. તમે લોકો કેવી

we have a series of hidden layers and finally, we have output layers. So, a typical neuron network diagram is something like this, so, you can see first we have input layer. So, all these circles they are actually nodes this whole diagram is called a network

રીતે જાણો છો કે લોકો યોજના બનાવે છે અને ક્રેડીટ કાર્ડ સંબંધિત છેતરપિંડી કરે છે,

a specifically neural network, and these circles they represent nodes and we have 3 types of layer. As discuss input layers so we can see some you know nodes here, and these nodes are connected to you know next layer of node which are called hidden layer, so we might have one or more

જેથી માનવીય મગજ કેવી રીતે વસ્તુઓને વિચારે છે અને યોજના બનાવે છે. તેથી, તેથી, તે વસ્તુઓને વિધેયાત્મક (functional) સ્વરૂપમાં મૂકવી મુશ્કેલ છે; જોકે,

hidden layers. So, input layer nodes are going to be connected to you know to to these hidden

તેને ન્યૂરલ નેટવર્કનો ઉપયોગ કરીને મોડેલ

layer nodes in one directional sense and then these hidden layer nodes would finally, the

કરી શકાય છે, કારણ કે ન્યુરલ નેટવર્ક

last hidden layer nodes would finally, be connected to nodes of output layer right. So, this you can see one node is there in this particular output layer, so this is a typical neural network diagram, and specifically for this architecture multi layer feed forward network. So, let us go get back to our discussion. So, as I said in the diagram that we saw typical

માનવ મગજના ગુણધર્મોની નકલ કરે છે. તેથી, ચર્ચા મુજબ તેઓ જટિલ સંબંધો મોડેલ કરી શકે છે, તેથી તેઓ ફ્લેક્સીબલ ડેટા આધારિત મોડેલ

neural network diagrams we saw that all the nodes were fully connected.

છે. તેથી, આપણે સંબંધના

So, comprising of multiple layers of nodes so there were multiple layers input layer then series of hidden layers and output layer and we saw that there was one way flow, and

સ્વરૂપને સ્પષ્ટ કરવાની આવશ્યકતા નથી, તેથી રેખીય રીગ્રેશનમાં આપણે એવું માનીએ

there were no cycles, so there were no feedback loops, there were no cycles. So input layer that was the first layer of the network. So, typically the predictors the variables that are part of the modelling exercise they corresponding, so corresponding to each of those predators typically we have a node in input layer. So, we have p predictors,

છીએ કે આ સંબંધ રેખાંકિત છે, પરિણામ વેરિયેબલ અને પૂર્વાનુમાનોનો સેટ વચ્ચેનો સંબંધ છે રેખીય હોવાના છે, તેથી તેમાંથી મુક્તિ છે. અને લોજિસ્ટિક રીગ્રેશન આપણે માનીએ

typically we p nodes in input layer and then we have hidden layers. So, there can be one there can be there can be any number of hidden layer, hidden layer nodes; however, typically

છીએ કે તમે જાણો છો કે આપણે તે લોજિસ્ટિક

single hidden layer node is sufficient to model even the highly complex situations,

ફંક્શન ને સંબંધના સ્વરૂપ તરીકે ઉપયોગ

highly complex relationships. So, these hidden layers are between input

કરીએ છીએ. અને આ ખાસ કિસ્સામાં

and output layer and finally, we have the output layer which is the last layer of the

ન્યુરલ નેટવર્કમાં આપણે આવા ફોર્મ, રેખિય

network and we have nodes. So, corresponding to the output variable that is outcome variable

અથવા લોજિસ્ટિક અથવા અન્ય સ્વરૂપોનો ઉલ્લેખ

of interest. So, depending on the outcome variable we might have you know nodes there. So, one outcome very typically we have typically we have one node there, if the outcome variable

કરવાની જરૂર નથી; તેથી, ઉપયોગી તકનીક ખાસ કરીને ઉપયોગી તકનીક જ્યારે સંબંધનું

is categorical in nature. So, typically you know for binary you know variable binary variable we might still have just one node, but if the categorical variable is having m classes,

ફંક્શનલ સ્વરૂપ જટિલ અથવા અજ્ઞાત છે. તેથી, જો આપણે વાસ્તવિક સંબંધને જાણતા નથી

then we might have m nodes. So, output layer typically of a prediction there might be a single node for binary categorical they might be just single node and for a categorical variable m classes there might be m nodes so that is going to be the last layer. And so this is about the structure or architecture of multi layer feed forward networks. Let

અથવા તે ખૂબ જટિલ છે, તો આ સ્થિતિમાં કૃત્રિમ ન્યુરલ નેટવર્ક્સ ખૂબ જ ઉપયોગી છે કારણ કે મેં તમને કોઈ ચોક્કસ ક્ષેત્રો વિશે વાત કરી છે જ્યાં તમે માનવીય પ્રવૃત્તિને

us understand a few more details about these networks, so nodes as we saw in the diagram nodes receive feed from previous layer and forward it to the next layer after applying

જાણો છો કે જે રીતે માનવ વસ્તુઓ તે મોટી

a particular function. So, let us go back to this diagram so we can

પ્રવૃત્તિનો મુખ્ય ભાગ બને છે. ઉદાહરણ

see that for example, first layer is input layer. So, we do not have any previous layer

તરીકે, ડ્રાઇવિંગ અથવા તમે આમાંના

in this case. So, we just receive the input values and then they are fed to a next layer. Now when we talk about the first hidden layer you would see that they receive the feeds from the previous layer nodes. So, you can see nodes receive feed from previous

કેટલાક કપટને જાણો છો કે જેમ કે નાણાકીય કપટ થાય છે. તેથી, ત્યાં ન્યુરલ નેટવર્ક્સ

layer and forward it to next layer after applying a particular function so these nodes first hidden layers, so these nodes. So, they receive feeds these connected arrows. So, you know from every node in input layer every node in input layer is going to be connected to

ની એપ્લિકેશન્સ ખૂબ ઉપયોગી છે. ન્યુરલ નેટવર્કનું એક અન્ય મહત્વનું પાસું એ છે કે એક રેખીય અને લોજિસ્ટિક રીગ્રેસનને

every node in the next layer that is the first hidden layer. So, you can see 3 arrows emanating from this particular node and they connecting to all 3 nodes of first hidden layer then the second input node and again you can see 3 arrows

ન્યૂરલ નેટવર્કના વિશિષ્ટ કેસો તરીકે કલ્પનામાં લઇ શકાય છે જે આપણે પછીથી લેક્ચરમાં જોઈશું.

connecting to 3 hidden layer nodes, and similarly for the next node and similarly for the last

હવે, ચાલો આગળના બિંદુ પર જઈએ જે ન્યુરલ

input node. So, similarly if we look at other layers so first hidden layer, and second hidden layer as you can see from first hidden layer nodes you can see 3 arrows connecting to 3 nodes in the next hidden layer that a second hidden and second and last hidden layer. And we can see similarly from all the nodes in the last

નેટવર્ક આર્કિટેક્ચર છે. તેથી, વિવિધ ન્યુરલ નેટવર્ક આર્કિટેક્ચર છે જેનો ઉપયોગ થઈ રહ્યો છે; જો કે, સામાન્ય રીતે સૌથી વધુ લોકપ્રિય કે જે ડેટા માઇનિંગમાં

hidden layer we can see arrows connecting to a output node in the just single output

node in the output layer. So, for example, first hidden layer we can see that it is receiving feed from the previous layer nodes that is input layer nodes, and then it will apply certain function you know that certain function on that on that feed. And then the output is going to be forwarded to next layer node and for next layer node

ઉપયોગમાં લેવાય છે તે મલ્ટિ લેયર ફીડ ફોરવર્ડ નેટવર્ક્સ છે. તેથી, આ એક આર્કિટેક્ચર છે જેનો ઉપયોગ આપણે આપણી ચર્ચાઓ અને મોડેલીંગ exercise માટે કરી રહ્યા છીએ. તેથી,

it will become the input. And then again next layer node will apply

a certain function to the feed that they are receiving from previous layer, and then again the output would be computed and this output would be forwarded to the next layer that is in this case output layer. So, in this fashion the feed is computed the input values so they are used and the output is produced. So, you can see next point is

મલ્ટી લેયર ફીડ ફોરવર્ડ નેટવર્ક આ ન્યુરલ નેટવર્ક આર્કિટેક્ચર છે જે ડેટા માઇનિંગમાં ઉપયોગમાં લેવાય છે. તેથી, ચાલો મલ્ટી લેયર, મલ્ટિ લેયર ફીડ ફોરવર્ડ નેટવર્ક્સનું

function used to map input values, that is received feed to output values that is the

આર્કિટેક્ચર સમજીએ, જેથી તેઓ સંપૂર્ણપણે

forwarded feed at a node is typically different for each type of layers, to the function that are going to be used that is going to be used in input layer, you know you know that is

કનેક્ટેડ નેટવર્ક્સ છે, તેથી નોડ્સના બહુવિધ સ્તરો શામેલ છે. તેથી, નોડ્સના

going to be applied on input values that is predictors values. So, this particular function is going to be different from hidden layer and output layer a hidden layer the function that is going to be applied on the received feed is going to be different from the other two types of layers. Each type of layer will have its own

બહુવિધ સ્તરો છે અને ત્યાં એક તરફનો પ્રવાહ છે અને કોઈ ચક્રીય પ્રવાહ નથી જેને આપણે આકૃતિ દ્વારા જોઈશું.

function. So, this function typically is called transfer function as we will see later on.

પછી આપણી પાસે સામાન્ય રીતે મલ્ટી લેયર

So, a few more details about the these networks. So, each row from node i to node j has a value w ij that is the weight indicating weight of the connection so in this particular neural network. So, if this node is connected to this particular node if this is the node i and this is node j. Then the arrow this is connecting these two

ફીડ ફોર્વર્ડ નેટવર્ક્સમાં 3 પ્રકારના સ્તર હોય છે, પ્રથમ, પ્રથમ સ્તર એ ઇનપુટ લેયર છે, પછી અમારી પાસે હિડ્ડન સ્તરોની શ્રેણી છે

nodes this will represent that this will have a weight this will have a weight called w ij, and it will represent the weight of this that particular connection is strength of that particular connection. Each node in the hidden and output layer layers also has a

અને અંતે, આઉટપુટ સ્તરો છે. તેથી, એક સામાન્ય ન્યુરોન નેટવર્ક આકૃતિ કંઈક આના જેવું છે, તેથી, તમે જોઈ

bias value that is theta j equivalent to intercept term. So, we will see that these nodes hidden layer nodes first hidden layer, second hidden layer and then the output layer. So, these particular nodes they will also have a bias value right, so all these nodes will also have a bias value and which is going to be equivalent.

શકો છો કે પ્રથમ આપણી પાસે ઇનપુટ લેયર છે. તેથી, આ બધા વર્તુળોમાં તેઓ ખરેખર નોડ્સ છે. આ સંપુર્ણ આકૃતિ ને ને નેટવર્ક તરીકે

So, you can consider the scenario in this fashion like these connected arrows they are

વિશિષ્ટ ન્યુરલ નેટવર્ક કહેવામાં આવે છે,

they are bringing the feed to this particular node and the output level of the output that is going to be produced that is being controlled by these biased values which is equivalent

અને આ વર્તુળો તેઓ નોડ્સનું પ્રતિનિધિત્વ કરે છે અને આપણી પાસે 3 પ્રકારના સ્તર હોય

to what we have intercept term in linear regression. So, in this fashion these values are controlled, and the feed is forwarded to the next layer. So, next important aspect is computing output values at nodes of each layer type. So, how do these values are computed at you know each

છે. ઇનપુટ સ્તરોની જેમ આપણે ચર્ચા કરી છે, આપણે અહીં કેટલાક નોડ્સને જોઈ શકીએ અને આ નોડ્સ આગળના નોડ્સના સ્તર સાથે જોડાયેલા છે જેને

layer and nodes at each layer each type of layer. So, let us first discuss the input

હિડ્ડન સ્તર કહેવામાં આવે છે. તેથી આપણી

layer nodes so typically as I talked about number of nodes in input layer are typically equal to the number of predictors. So, if they are p predictors that we are using in our modelling exercise then we will have to in a typically we will have p number of nodes in input layer corresponding to each of the predictors. Because all the predictors

પાસે એક અથવા એક થી વધુ હિડ્ડન સ્તરો હોઈ શકે છે. તેથી, ઇનપુટ લેયર નોડ્સ એક જ તરફ આ હિડ્ડન સ્તરના નોડ્સ સાથે

values would be fed to the input layer nodes and then the output would be produced that

જોડવામાં આવશે અને પછી આ હિડ્ડન સ્તરના

would feed into the first hidden layer nodes. Now, next point is each node will receive

નોડ્સ છેલ્લે છેવટે, છેલ્લા હિડ્ડન સ્તરના

input values from its corresponding predictor as I talked about now output is same as input

નોડ્સ આઉટપુટ સ્તરના નોડ સાથે જોડાયેલા

that is predictors value. So, typically the function that we talked about the transfer

હોય છે. તેથી, તમે આ ચોક્કસ

function that you know it is called transfer function, so that we talk about typically it is the identity function or linear function in that is used an input layer; that means, whatever input is received the same input is transferred same input is fed to the next layer. So, the function is linear so there is you

આઉટપુટ લેયરમાં એક નોડ જોઈ શકો છો, તેથી આ લાક્ષણિક ન્યુરલ નેટવર્ક આકૃતિ છે, અને ખાસ કરીને આ મલ્ટી લેયર ફીડ નેટવર્ક માટેનુ આર્કિટેક્ચર છે. તેથી, ચાલો આપણે

know no effect is no factor is applied on the input values. So, now let us discuss the

આપણી ચર્ચા પર પાછા જઈએ. તેથી, જેમ મેં

next type of a layer that is hidden layer hidden layer nodes, and how values are computed.

આકૃતિમાં જણાવ્યું હતું કે આપણે લાક્ષણિક

So, hidden layer nodes what we do is we take some of bias value and weighted some of input

ન્યુરલ નેટવર્ક આકૃતિઓ જોયાં છે, આપણે જોયું

values received from previous layer so that is computed.

કે બધા નોડ્સ સંપૂર્ણપણે જોડાયેલા છે.

So, you can see here theta j so that is the equivalent of intercept term. So, this is the bias value and then we add weighted sum of input values that we received from previous layer. So, let us go back to the diagram and let us try and understand this thing again, so if we look at this particular node this node in the first hidden layer. So, this particular

તેથી, નોડ્સની બહુવિધ સ્તરો શામેલ છે તેથી બહુવિધ સ્તરો, ઇનપુટ સ્તરો પછી હિડ્ડન સ્તરો અને આઉટપુટ લેયરની શ્રેણી હતી અને આપણે જોયું કે ત્યાં એક તરફનો પ્રવાહ

node is receiving is receiving values from these nodes input layer node.

So, if there are p nodes so it will receive p values now each of these connections each

હતો અને ત્યાં કોઈ ચક્રિય પ્રવાહ નહોતા,

of these arrows will have their own weights. Now, these weights would be multiplied with the values that is being received from these input nodes.

તેથી ત્યાં કોઈ પ્રતિક્રિયા લૂપ (feedback loop) નહોતી,

So, each of these input nodes the values of that is being received from each of these

ત્યાં કોઈ ચક્ર (cycle) નહોતા .

nodes would be multiplied by the weights. And then that would be summed up summation

તેથી ઇનપુટ લેયર જે નેટવર્કનું પ્રથમ

would be performed and then the intercept term that is biased value would also be added

સ્તર હતું. તેથી, સામાન્ય રીતે આગાહી કરનાર

to this sum, so that is what you see here in this particular expression. So, you see that x i is corresponding to you can see that this summation is starts from

વેરિયેબલ જે મોડેલિંગ exercise નો છે, તે પ્રત્યેક પુર્વાનુમાંકર્તા ને અનુરૂપ સામાન્ય રીતે ઇનપુટ સ્તરમાં એક નોડ હોય છે. તેથી,

i is equal to 1 to p so; that means, for each predictor we will have a value and so that

અમારી પાસે P predictors છે, સામાન્ય રીતે આપણે ઇનપુટ લેયરમાં p નોડ્સ અને પછી હિડ્ડન

value would be fed to the node that node that we just saw when a first hidden layer and

સ્તરો છે. તેથી, ત્યાં કોઈ એક અથવા એક કરતા

node and for that matter any other nodes in the hidden layers or output layer. So, so this value then is the multiplied by the weight of the connecting arrow, and then

વધારે હિડ્ડન સ્તર હોઈ શકે છે જેમાં હિડ્ડન સ્તર નોડ્સ હોઈ શકે છે; જો કે, સામાન્ય રીતે એક હિડ્ડન સ્તરનું નેટવર્ક

we take summation and then bias value is also added to this. So, this bias value will as

પણ અત્યંત જટિલ પરિસ્થિતિઓ, અત્યંત જટિલ સંબંધોને

you can see in a way is controlling the level of the overall value of hidden layer nodes

મોડલ કરવા માટે પૂરતું છે. તેથી, આ હિડ્ડન સ્તરો ઇનપુટ અને આઉટપુટ

just like it. So, this some similarity as we can see to the linear equations linear line that we you know linear modelling that we see beta 0,

લેયર વચ્ચે છે અને અંતે, આઉટપુટ લેયર છે જે નેટવર્કનું છેલ્લું સ્તર છે

so theta theta j here is equivalent of beta 0 and then these weights multiplied to greatest

અને આપણી પાસે નોડ્સ છે. જે, આઉટપુટ વેરિયેબલ

values are equivalent of, but we have you know beta 1 x 1 and beta 2 x 2 that in linear regression. So, this formulation is equivalent to that. So, function g as we have been talking about that each layer will have its own function

સાથે સંબંધિત છે, જે રુચિના વેરિયેબલ છે. તેથી, પરિણામ વેરિયેબલને આધારે આપણી પાસે ત્યાં નોડ્સ હશે. તેથી એક પરિણામ વેરિયેબલ માટે સામાન્ય રીતે આપણી પાસે સામાન્ય

that is going to be the applied on the input values that are received at a particular node.

રીતે એક નોડ હોય છે, જો તે વેરિયેબલ સ્વભાવમાં

And using that function will get the output values that is going to be forwarded to next

કેટેગરીકલ હોય છે. તેથી, સામાન્ય રીતે

layer. So, this function g is called referred as transfer function and is applied on this sum, so for hidden layer nodes we have to compute this term. So, all the predictors values that we are receiving from p nodes they will be

તમે બાયનરી વેરિયેબલ માટે તમે જાણો છો કે બાયનરી વેરિયેબલ માટે તો ફક્ત એક નોડ હોઈ શકે છે, પરંતુ જો કેટેગરીકલ વેરિયેબલ

multiplied by their respective weights and then bias value would be added then this will have the value from you know using this expression and this value would be then passed to this transfer function and we will get the output, so this output is going to be the output of

માં m વર્ગો હોય, તો આપણી પાસે m નોડ્સ હોઈ શકે છે. તેથી, સામાન્ય રીતે પૂર્વાનુમાનની આઉટપુટ લેયર બાયનરી કેટેગરીકલ વેરિયેબલ

that hidden layer node. So, what could be the different alternatives

એક નોડ હોઈ શકે છે, તે માત્ર એક નોડ હોઈ

different options for our transfer function, so transfer function could be a monotone function

શકે છે અને એક વર્ગીકરણ વેરિયેબલમાં mવર્ગો

and these are few examples for example, linear function g x is equal to v x. So, this is

માટે ત્યાં m નોડ હોઇ શકે છે જેથી તે છેલ્લું

the function that is used in input layer where the input is transferred as is as output re

સ્તર બનશે. અને તેથી આ મલ્ટી લેયર ફીડ ફોરવર્ડ નેટવર્ક્સની રચના અથવા આર્કિટેક્ચર વિશે છે. ચાલો આ નેટવર્ક્સ વિશે થોડી વધુ વિગતો સમજીએ, તેથી આપણે

ડાયાગ્રામમાં જોયેલા નોડ્સ અગાઉના સ્તરની ફીડ પ્રાપ્ત કરે છે અને કોઈ વિશિષ્ટ ફંક્શન લાગુ કર્યા પછી તેને આગલા સ્તર

right. So, this is the function that is used in input

પર આગળ લઈ જાય છે. તેથી, ચાલો આ આકૃતિ

layer and another function that could be used is exponential function. So, e to the power

ઉપર પાછા જઈએ જેથી આપણે જોઈ શકીએ કે ઉદાહરણ તરીકે, પ્રથમ સ્તર એ ઇનપુટ લેયર છે. તેથી, આપણી પાસે આ કિસ્સામાં કોઈ પહેલાનું સ્તર નથી. તેથી, આપણે ફક્ત ઇનપુટ

bx and then another function that is that would be used is logistic or 6 model function

મૂલ્યો પ્રાપ્ત કરીએ છીએ અને પછી તે આગલા સ્તર પર આપવામાં આવે છે. હવે જ્યારે આપણે પ્રથમ હિડ્ડન લેયર વિશે વાત કરીએ છીએ ત્યારે તમે જોશો કે તે પાછલા સ્તરના

that is 1 divided by 1 plus e to the power minus v x, so this could also be used.

નોડ્સમાંથી ફીડ્સ પ્રાપ્ત કરે છે. તેથી, તમે જોઇ શકો છો કે નોડ્સ પાછલા સ્તરથી ફીડ પ્રાપ્ત કરે છે અને કોઈ વિશિષ્ટ

So, a logistic function is the typically the most you know used transfer function in multi

ફંકશન લાગુ કર્યા પછી તેને આગલા સ્તર પર ફોરવર્ડ કરે છે, જેથી આ પ્રથમ હિડ્ડન સ્તરના નોડ્સ છેછે. તેથી આ નોડ્સ, તેઓ આ જોડાયેલા તીરથી (connected arrow) ફીડ્સ પ્રાપ્ત

layer feed forward networks, in neural networks in general. So, logistic regression is typically

કરે છે. તેથી, ઇનપુટ લેયરમાં દરેક નોડ, ઇનપુટ લેયરમાં દરેક નોડમાંથી તમે જાણો છો તે આગળના લેયરમાં દરેક નોડ સાથે જોડાયેલ

used for hidden layer nodes, and as we will discuss even for output layer nodes also this

હોય છે જે પ્રથમ હિડ્ડન લેયર છે. તેથી, તમે આ વિશિષ્ટ નોડમાંથી ઉદ્ભવતા 3 તીર જોઈ શકો છો અને તે પ્રથમ હિડ્ડન સ્તરના બધા 3 નોડ્સ સાથે જોડાય છે અને

પછી બીજા ઇનપુટ નોડને ફરીથી જોડે છે અને

logistic function is typically used most use function.

ફરીથી તમે હિડ્ડન સ્તરના 3 નોડ્સ સાથે જોડતા 3 તીર જોઈ શકો છો, અને તે જ રીતે

Now, these hidden layer nodes few more points these biased values and weights theta j and

આગળના નોડ માટે અને તે જ રીતે છેલ્લા ઇનપુટ નોડ માટે હોય છે. તેથી, જો આપણે અન્ય લેયરો જોઈશું તો પ્રથમ હિડ્ડન લેયર અને બીજુ હિડ્ડન

લેયર, જેમ કે તમે પ્રથમ હિડ્ડન લેયર નોડ્સ પરથી જોઈ શકો છો, તમે 3 તીર જોઈ શકો છો જે

w ij's they are typically initialized to small random values in this range 0 to 0.05 0 to

આગળના હિડ્ડન સ્તરમાં 3 નોડ્સ સાથે જોડાયા છે જે બીજુ હિડ્ડન લેયર છે, અને પછી છેલ્લે થી બિજુ અને છેલ્લુ લેયર છે. અને આપણે છેલ્લા હિડ્ડન લેયરનાં બધા નોડ્સમાંથી સમાન

plus minus 0.05.

રીતે જોઈ શકીએ છીએ, આઉટપુટ લેયરમાં આઉટપુટ

So, typically for the first iteration as we will discuss the; you know training process

નોડમાં આઉટપુટ નોડમાં જોડાતા તીરો જોઈ શકીએ છીએ. તેથી, ઉદાહરણ તરીકે, પ્રથમ હિડ્ડન સ્તર આપણે જોઈ શકીએ છીએ કે તે પાછલા સ્તરના નોડ્સમાંથી ફીડ પ્રાપ્ત

neural network training process. So, typically these values are initialized in this range,

કરે છે જે ઇનપુટ લેયર નોડ્સ છે, અને પછી તે ચોક્કસ ફંકશન લાગુ કરશે જે તમે જાણો છો કે તે ફીડ પર તે ચોક્કસ ફંકશન લાગુ કરે છે. અને પછી આઉટપુટ આગળના સ્તર

નોડ પર ફોર્વર્ડ કરવામાં આવશે અને

and then the network will learn through different iterations. So, as you can see the next point

આગલા સ્તર નોડ માટે તે ઇનપુટ બનશે. અને પછી ફરીથી આગલું સ્તર નોડ ફીડમાં ચોક્કસ ફંકશન લાગુ કરશે જે તેઓ પાછલા સ્તરથી મેળવે છે, અને પછી ફરીથી આઉટપુટની

network updates these values. So, first they would be randomly initialized

ગણતરી કરવામાં આવશે અને આ આઉટપુટ આગળની લેયર તરફ આગળ વધશે જે આ આઉટપુટ લેયરમાં

with these small values, and in next iterations the network will update these values after

છે. તેથી, આ રીતે ફીડના ઇનપુટ મૂલ્યોની ગણતરી કરવામાં આવે છે જેથી તેનો ઉપયોગ કરવામાં આવે અને આઉટપુટ ઉત્પન્ન થાય. તો, તમે જોઈ શકો છો કે આગામી બિંદુ

learning from data during each iteration or round off training. So, these values theta

એ ઇનપુટ વેલ્યુને મેપ કરવા માટે ઉપયોગમાં લેવાતું ફંક્શન છે, જે આઉટપુટ વેલ્યુને ફીડ પ્રાપ્ત થાય છે જે નોડ પર ફોર્વર્ડ

j's theta theta j's which are biased values which are going to be you know each for each

કરેલી ફીડ છે, તે દરેક પ્રકારના સ્તરો માટે સામાન્ય રીતે અલગ હોય છે, જેનો ઉપયોગ કરવામાં આવશે ઇનપુટ લેયરમાં ઉપયોગમાં લેવાશે, તમને ખબર છે કે તમે જાણો છો

hidden layer or and output layer nodes and then weights which are going to be there for each of the connection from input layer nodes to output hidden layer nodes to output layer node. So, each of those connection will have these

કે તે ઇનપુટ મૂલ્યો પર લાગુ થશે જે predictors મૂલ્યો છે. તેથી, આ વિશિષ્ટ ફંક્શન હિડ્ડન સ્તરથી અલગ હશે અને આઉટપુટ લેયર

weights they would be in initialised to some values for first iteration and after that

એક હિડ્ડન સ્તર છે જે પ્રાપ્ત થયેલ

these particular values theta j's and w ij's they would be continuously updated after each iteration, after each pass through the network. So, for each observation in the training partition all the or the sample that is these weights, these values are going to be updated. So, let us move forward. So, now let us talk about the next type of

ફીડ પર લાગુ કરવામાં આવશે તે ફંક્શન અન્ય બે પ્રકારના સ્તરોથી અલગ હશે. દરેક પ્રકારની લેયર પાસે તેનું પોતાનું ફંક્શન હશે. તેથી, આ ફંકશનને સામાન્ય રીતે ટ્રાન્સફર ફંક્શન

layer that is output layer, so output layer nodes as you can see in the first point is steps are quite similar same as we just discussed for hidden layer nodes except that the fact

કહેવામાં આવે છે જે આપણે પછીથી જોઈશું. તેથી, આ નેટવર્ક્સ વિશે થોડી વધારે

that input values are received from last hidden layer right. So, when we talked about hidden layers to the previous layer whether it is the hidden layer or input layer the values were received. And then those fields then they were using that expression those that value was computed weighted value weighted value was computed

વિગતો. તેથી, નોડ i થી નોડ j ની દરેક પંક્તિ એક મૂલ્ય Wij છે જે આ વિશિષ્ટ ન્યુરલ નેટવર્કમાં જોડાણ માટે weight નું સૂચન કરે છે. તેથી,

and that was then used in the function transfer function. A similar process is used in output

જો આ નોડ આ વિશિષ્ટ નોડ સાથે જોડાયેલ હોય તો આ નોડ i છે અને આ નોડ j છે. પછી તીર આ બે નોડોને જોડે છે તે દર્શાવશે કે આ weight ધરાવશે, આને Wij તરીકે ઓળખાશે, અને

for output layer nodes as well. However, the values that we receive they come

તે તેના weight પ્રતિનિધિત્વ કરશે, તે ચોક્કસ કનેક્શન,

from the last hidden layer and using the same expression that we used for hidden layer nodes,

એ ચોક્કસ જોડાણની શક્તિ છે. હિડ્ડન લેયર અને આઉટપુટ લેયર માં દરેક નોડ

the weighted value is going to be computed and then that is going to be used in transfer

બાયાસ મૂલ્ય (Bias value) ધરાવે છે જે થિટા

function and the output value is going to be produced. So, typically the transfer function that is used in the hidden layer nodes the same transfer

(theta) છે, જે ઇન્ટરસેપ્ટ પદ ની સમકક્ષ છે. તેથી, આપણે જોશું કે આ નોડસ, હિડ્ડન

function is used in output layer nodes as well. So, typically the same function same

લેયર નોડ્સ, પ્રથમ હિડ્ડન લેયર, બીજુ હિડ્ડન લેયર અને પછી આઉટપુટ લેયર.

transfer function is used. So, as I talked about that most used function most used transfer function is logistic function, but that is mainly for out hidden layer node hidden layer

તેથી, આ વિશિષ્ટ નોડ્સમાં તેમની પાસે બાયાસ વેલ્યુ પણ હશે, તેથી આ બધા નોડ્સનું બાયાસ મૂલ્ય હશે અને જે દરેક માટે સમાન હશે.

nodes and output layer nodes. So, typically logistic function is used for hidden layer

તેથી, તમે આ ફેશનમાં આ જોડાયેલા તીરોની

nodes, and output layer nodes. And linear or identity function used for input layer

જેમ વિચારી શકો છો કે તેઓ આ ખાસ નોડને

nodes. Now, output values that are produced by output layer nodes they are used as predictions, because that is the final layer last layer that we have in a network. So, the output that is produced out of these nodes output

ફીડ લાવી રહ્યા છે અને આઉટપુટનું આઉટપુટ લેવલ જે ઉત્પન્ન થાય છે તે આ બાયાસા મૂલ્યો દ્વારા નિયંત્રિત કરવામાં આવે છે જે રેખીય રીગ્રેશનમાં આપણી પાસે રહેલા

layer nodes, so they are going to be used as a predictions and in a in a in a prediction task. And also they are going to be used as this course for example probabilities values

ઇન્ટરસેપ્ટ પદ સમાન છે. તેથી, આ ફેશનમાં આ મૂલ્યો નિયંત્રિત થાય છે, અને ફીડ આગલા સ્તર પર મોકલવામાં આવે છે.

and that are going to be used to classify record in a classification task. So, this

તેથી, આગામી મહત્વપૂર્ણ પાસું દરેક પ્રકારના લેયર માટે નોડ્સ પર આઉટપુટ મૂલ્યોની

is how the computations happen computations are performed in a typical neural network

ગણતરી કરવાનુ છે. તેથી, આ મૂલ્યોની ગણતરી કેવી રીતે કરવામાં આવે છે, દરેક

architecture. Now, if we talk about the neural network training process so a steps that we have discussed for computation for whether it was for input

લેયર અને નોડ્સ, દરેક સ્તરના દરેક નોડ્સ પર તમે જાણો છો. તેથી, ચાલો પહેલા ઇનપુટ લેયર નોડ્સની ચર્ચા કરીએ જેથી સામાન્ય રીતે મેં ઇનપુટ લેયરમાં નોડ્સની સંખ્યા વિશે

layer, or hidden layer, or for the output layer. So, these steps are going to be repeated

વાત કરી હતી તેમ તે સામાન્ય રીતે પૂર્વાનુમાનોની

for all the records in the training partition. So, for each so each whenever I know for each

સંખ્યા જેટલી જ છે. તેથી, જો આપણે p predictors

observation when these particular steps are repeated that is called one iteration.

આપણા મોડેલિંગ exercise માં ઉપયોગ કરી રહ્યા છીએ, તો પછી આપણી પાસે સામાન્ય રીતે ઇનપુટ સ્તર માં p નોડસ હશે જે દરેક predictors અનુરૂપ હશે. કારણ કે તમામ પૂર્વાનુમાનકારોના

So, each observation will go through this neural network and all those computations

મૂલ્યો ઇનપુટ સ્તર નોડ્સને આપવામાં આવશે અને પછી આઉટપુટ બનાવવામાં આવશે જે પ્રથમ હિડ્ડન સ્તરના નોડ્સમાં આપવામાં આવશે. હવે, આગળનો મુદ્દો

એ છે કે દરેક નોડ તેના અનુરૂપ આગાહીકર્તા પાસેથી ઇનપુટ મૂલ્યો પ્રાપ્ત કરશે જેમ

in input layer, and then hidden layer and then the output layer are going to be performed

મેં આ વિશે વાત કરી હતી કે આઉટપુટ એ ઇનપુટ જેટલું જ છે અને તે predictors મૂલ્ય છે. તેથી, સામાન્ય રીતે તે ફંક્શન કે જે આપણે ટ્રાન્સફર ફંક્શન વિશે વાત કરી તે ટ્રાન્સફર

ફંક્શન કહેવામાં આવે છે, જેથી આપણે સામાન્ય રીતે વાત કરીએ છીએ તે Identity function અથવા linear ફંક્શન છે જેનો ઇનપુટ લેયરમાં

and for each record this process will continue. Now, for each observation therefore, will

ઉપયોગ થાય છે; એટલે કે, જે ઇનપુટ પ્રાપ્ત થાય છે, તે જ ઇનપુટ ટ્રાન્સફર થાય છે, તે જ ઇનપુટને આગલા સ્તર પર આપવામાં આવે છે. તેથી, ફંક્શન રેખીય

છે તેથી ત્યાં તમને ખબર છે ત્યાં કોઇ અસર નથી કે ઇનપુટ મૂલ્યો પર કોઈ પરિબળ લાગુ પડતો નથી. તેથી હવે ચાલો આપણે આગામી

have a predicted value and therefore, we will have you know predicted error.

પ્રકારના સ્તરની ચર્ચા કરીએ જે હિડ્ડન લેયર, હિડ્ડન સ્તર નોડ્સ છે, અને ત્યાં મૂલ્યો કેવી રીતે ગણવામાં આવે છે. તેથી, હિડ્ડન લેયર નોડ્સ પર આપણે જે કરીએ છીએ

તે એ છે કે આપણે કેટલાક બાયાસ મુલ્યો લઈએ છીએ અને પાછલા લેયરમાંથી મળેલા કેટલાક ઇનપુટ

Now, these errors are later on going later on are going to be used to learn for example,

મુલ્યોને વેઇટેડ કરીએ છીએ, જેથી તેની ગણતરી થાય છે. તો, તમે અહીં જોઈ શકો છો તેથી તે intercept પદ ની સમકક્ષ છે. તો, આ બાયાસ વેલ્યુ છે અને પછી આપણે ઇનપુટ

વેલ્યુના વેઇટ્ડ સરવાળાને ઉમેરીએ છીએ જે આપણને પાછલા સ્તરથી પ્રાપ્ત થાય છે. તેથી, ચાલો આકૃતિ ઉપર પાછા જઈએ અને

each error as we will discuss later that in coming lecture that these errors for each

ચાલો આ વસ્તુ ફરીથી સમજવાનો પ્રયાસ કરીએ, તેથી જો આપણે આ નોડને પ્રથમ હિડ્ડન લેયરમાં જોશું. તેથી, આ વિશિષ્ટ નોડ પ્રાપ્ત કરી રહ્યો

છે, આ નોડ્સ ઇનપુટ સ્તર નોડમાંથી મૂલ્યો પ્રાપ્ત કરે છે. તેથી, જો p નોડ્સ હોય તો તે હવે p મૂલ્યો પ્રાપ્ત કરશે, હવે આ દરેક જોડાણોમાંના દરેક તીરમાં પોતાનું

observation these errors are then used to update the neural network to update the weights

weight હશે. હવે, આ weight ને આ ઇનપુટ નોડ્સથી મેળવવામાં આવતી કિંમતો સાથે ગુણાકાર કરવામાં આવશે. તેથી, આ દરેક ઇનપુટ નોડ્સ, તેમાંથી દરેક મૂલ્યો પ્રાપ્ત થાય

છે તે મૂલ્યો weight દ્વારા ગુણાકાર કરવામાં આવશે. અને પછી તેનો સરવાળો કરવામાં આવશે,

w ij's and theta j's. And from each observation that is you know each observation and the

આવશે અને પછી બાયાસ પદ નુ મૂલ્ય છે તે પણ આ સરવાળામાં ઉમેરાશે, તેથી તમે આ વિશેષ સમીકરણ અહીં જોઇ શકો છો. તેથી, તમે જોયું કે xi એ અનુરૂપ છે કે તમે

જોઈ શકો છો કે આ સરવાળો શરૂ થાય છે i=1 થી i=p; તેનો મતલબ, દરેક પુર્વાનુમાંકર્તા માટે આપણી પાસે મૂલ્ય હશે અને તેથી તે મૂલ્ય નોડને આપવામાં આવશે

computations that are performed in the neural network that duration that happens are going

જે નોડ કે જે આપણે જોયું છે જ્યારે પ્રથમ હિડ્ડન સ્તર અને નોડ અને તે કોઇ પણ હિડ્ડન સ્તરો અથવા આઉટપુટ સ્તરમાં કોઈપણ અન્ય નોડ્સ માટે હોઇ શકે છે.

તો, તેથી આ મૂલ્ય પછી કનેક્ટિંગ એરોના

to be used as a part of learning process. So, more about this process we will discuss

weight થી ગુણાકાર થાય છે, અને પછી આપણે સરવાળો લઈએ છીએ અને પછી બાયાસ મૂલ્ય પણ તેમાં ઉમેરવામાં આવે છે. તેથી, આ બાયસ વેલ્યુ જે રીતે તમે જોઈ શકો છો તે રીતે હિડ્ડન લેયર નોડ્સના

કુલ મૂલ્યને નિયંત્રિત કરી રહ્યું છે. તો, આ રેખા સમીકરણ, રેખીય સમીકરણને સમાન છે, આપણે જોઈ શકીએ છીએ કે આપણે રેખા

through an example in a next lecture. Thank you.

મોડેલિંગને જાણીએ છીએ જે રેખીય સમીકરણમાં β0 ને જોઇએ છે, તેથી જે અહીં β0 ની બરાબર છે અને પછી આ વેઇટ્સ વેલ્યુમાં ગુણાકાર થાય છે, પરંતુ આપણે અહીં અમે તમને β1*x1

અને β1*x2 ને જાણીએ છીએ જે રેખીય રીગ્રેશનમાં છે. તેથી, આ સમીકરણ તેના સમકક્ષ છે. તેથી, ફંક્શન G આપણે જે વિશે વાત કરી હતી કે દરેક લેયર પાસે તેનું પોતાનું ફંક્શન

હશે જે ચોક્કસ નોડ પર પ્રાપ્ત થયેલ ઇનપુટ મૂલ્યો પર લાગુ થશે. અને તે ફંક્શનનો ઉપયોગ કરીને આઉટપુટ વેલ્યુ મળશે જે આગળની લેયર પર મોકલવામાં આવશે.

તેથી, આ ફંક્શન G ને ટ્રાન્સફર ફંક્શન તરીકે ઓળખવામાં આવે છે અને આ સરવાળા પર લાગુ કરવામાં આવે છે, તેથી હિડ્ડન લેયર નોડ્સ માટે આપણે આ પદની ગણતરી કરવી

પડશે. તેથી, દરેક પુર્વાનુમાંકર્તા મુલ્યો જે આપણે p નોડ્સ માંથી પ્રાપ્ત કરીએ છીએ, તેઓ તેમના સંબંધિત weights દ્વારા ગુણાકાર કરવામાં આવશે અને પછી બાયાસ મૂલ્ય ઉમેરવામાં આવશે પછી

આ અભિવ્યક્તિનો ઉપયોગ કરીને તમે જાણો છો તે મૂલ્ય હશે અને આ મૂલ્ય પછી આ ટ્રાન્સફર ફંક્શનમાંથી પસાર કરવામાં આવશે, અને આપણને આઉટપુટ મળશે, તેથી આ આઉટપુટ તે

હિડ્ડ્ન લેયર નોડનું આઉટપુટ બનશે. તેથી, આપણા ટ્રાન્સફર ફંક્શન માટેના વિવિધ વિકલ્પો, વિવિધ વિકલ્પો શું હોઈ શકે છે, તેથી ટ્રાન્સફર ફંક્શન એક મોનોટોન ફંક્શન

હોઈ શકે છે અને આ ઉદાહરણ તરીકે થોડા ઉદાહરણો છે, રેખીય ફંક્શન G(x) = V(x) છે. તો, આ તે ફંકશન છે જે ઇનપુટ લેયરમાં વપરાય છે જ્યાં ઇનપુટ ટ્રાન્સફર થાય છે જે આઉટપુટ હોય છે.

તો, આ એ ફંક્શન છે જેનો ઉપયોગ ઇનપુટ લેયર માટે થાય છે અને અન્ય ફંક્શનનો ઉપયોગ પણ કરી શકાય છે તે ઘાતાંકીય ફંક્શન (exponential function) છે. તેથી, exp(vx) અને પછી બીજા ફંક્શન

જેનો ઉપયોગ કરવામાં આવશે તે લોજિસ્ટિક અથવા logit મોડેલ ફંક્શન છે જે [1/1+exp(vx)] છે, તેથી તેનો ઉપયોગ પણ થઈ શકે છે. તેથી, સામાન્ય રીતે ન્યુરલ નેટવર્કમાં,

મલ્ટિ લેયર ફીડ ફોર્વર્ડ નેટવર્ક્સમાં લોજિસ્ટિક ફંક્શનનો ટ્રાન્સફર ફંક્શન તરીકે સૌથી વધુ ઉપયોગ થાય છે. તેથી, લોજિસ્ટિક રીગ્રેશન સામાન્ય રીતે હિડ્ડન સ્તરના

નોડ્સ માટે ઉપયોગમાં લેવાય છે, અને આપણે આઉટપુટ લેયર નોડ્સ માટે પણ ચર્ચા કરીશું કે આ લોજિસ્ટિક ફંક્શન સામાન્ય રીતે મોટાભાગે ઉપયોગમાં લેવાય છે. હવે, આ હિડ્ડન સ્તરના

નોડ્સ માટે વધુ મુદ્દ્દઓ કે આ બાયાસ મૂલ્યો અને weights Wij છે, તે સામાન્ય રીતે આ રેન્જ 0 થી 0.05, 0 થી પ્લસ અથવા માઇનસ 0.05 સુધી, નાના રેન્ડમ મૂલ્યોથી પ્રારંભ કરવામાં આવે છે.

તેથી, સામાન્ય રીતે પ્રથમ પુનરાવર્તન માટે આપણે ચર્ચા કરીશું; તમે તાલીમ પ્રક્રિયા, ન્યુરલ નેટવર્ક તાલીમ પ્રક્રિયા જાણો છો. તેથી, સામાન્ય રીતે આ મૂલ્યો આ રેન્જમાં

પ્રારંભ કરવામાં આવે છે, અને પછી નેટવર્ક વિવિધ પુનરાવર્તન દ્વારા શીખશે. તેથી, તમે જોઈ શકો છો કે આગામી બિંદુ નેટવર્ક આ મૂલ્યોને અપડેટ કરે છે.

તેથી, પ્રથમ આ નાના રેન્ડમલી પસંદ કરેલા મૂલ્યોને પ્રારંભ કરવામાં આવશે, અને આગામી પુનરાવર્તનમાં, નેટવર્ક દરેક પુનરાવર્તન અથવા રાઉન્ડ ઑફ ટ્રેનિંગ દરમિયાન ડેટામાંથી

શીખ્યા પછી આ મૂલ્યોને અપડેટ કરશે. તેથી, આ જે બાયાસ મૂલ્યો છે જે દરેક હિડ્ડન સ્તર અને દરેક આઉટપુટ લેયર નોડ્સ માટે છે અને પછી weights જે ઇનપુટ લેયર નોડ્સથી

હિડ્ડન લેયર નોડ્સથી આઉટપુટ નોડ્સ સુધી દરેક કનેક્શન માટે ત્યાં છે. તેથી, પ્રત્યેક કનેક્શનમાં આ weights ને પ્રથમ પુનરાવર્તન માટે કેટલાક મૂલ્યો સાથે પ્રારંભ કરવામાં

આવશે અને તે પછી, આ વિશિષ્ટ મૂલ્યો અને Wij ને દરેક પુનરાવર્તન પછી, દરેક વખતે નેટવર્કમાંથી પસાર કરી સતત અપડેટ કરવામાં આવશે. તેથી, પ્રશિક્ષણ પાર્ટિશનમાં દરેક અવલોકન માટે

બધા અથવા નમૂના કે જે આ weights છે, આ મૂલ્યોને અપડેટ કરવામાં આવશે. તેથી, ચાલો આગળ વધીએ. તો, ચાલો હવે આગળના સ્તર વિશે વાત કરીએ જે આઉટપુટ લેયર છે, તેથી આઉટપુટ લેયર

નોડ્સ જેમ કે તમે પ્રથમ બિંદુમાં જોઈ શકો તેમ સમાન સ્ટેપ છે, જેમ આપણે ફક્ત હિડ્ડન લેયર નોડ્સ માટે ચર્ચા કરી હતી સિવાય કે ઇનપુટ વેલ્યુ છેલ્લા હિડ્ડન લેયર

માંથી મેળવવામાં આવે છે. તેથી, જ્યારે આપણે હિડ્ડન સ્તરો વિશે વાત કરી હતી કે ત્યાં અગાઉના હિડ્ડન સ્તર પરથી અથવા ઇનપુટ સ્તર પરથી મૂલ્યો

પ્રાપ્ત થયા હતા. અને તે ફિલ્ડ્સ પછી તેઓ તે અભિવ્યક્તિનો ઉપયોગ કરી મૂલ્યો ની ગણતરી, તે weights મુલ્યોની ગણતરી કરવામાં આવી હતી અને તે પછી ટ્રાન્સફર ફંક્શનમાં ઉપયોગમાં

લેવાય છે. આઉટપુટ લેયર નોડ્સ માટે, આઉટપુટમાં સમાન પ્રક્રિયાનો ઉપયોગ થાય છે. જો કે, આપણે જે મૂલ્યો પ્રાપ્ત કરીએ છીએ તે તેઓ છેલ્લા હિડ્ડન સ્તરમાંથી આવે છે

અને તે જ અભિવ્યક્તિનો ઉપયોગ કરવામાં આવે છે જે આપણે હિડ્ડન સ્તરના નોડ્સ માટે કર્યો હતો, પછી weighted મૂલ્યોની ગણતરી કરવામાં આવશે અને તે પછી તેનો ઉપયોગ ટ્રાન્સફર

ફંક્શન માં ક્સરવામાં આવે છે અને આઉટપુટ મૂલ્ય મેળવવામાં આવશે. તેથી, સામાન્ય રીતે ટ્રાન્સફર ફંક્શન જે હિડ્ડન સ્તર નોડ્સમાં વપરાય છે તે જ ટ્રાન્સફર

ફંક્શન આઉટપુટ સ્તર નોડ્સમાં પણ વપરાય છે. તેથી, સામાન્ય રીતે સમાન ફંક્શન, સમાન ટ્રાન્સફર ફંક્શન નો ઉપયોગ કરવામાં આવે છે. તેથી, જેમ મેં સૌથી વધુ ઉપયોગમાં

લેવાયેલા ફંકશન વિશે વાત કરતો હતો, તેમ સૌથી વધુ ઉપયોગમાં લેવાયેલ ટ્રાન્સફર ફંક્શન લોજિસ્ટિક ફંક્શન છે, પરંતુ તે મુખ્યત્વે હિડ્ડન સ્તર નોડ્સ અને આઉટપુટ

લેયર નોડ્સ માટે છે. તેથી, સામાન્ય રીતે લોજિસ્ટિક ફંક્શનનો ઉપયોગ હિડ્ડન સ્તર નોડ્સ અને આઉટપુટ લેયર નોડ્સ માટે થાય છે. અને રેખીય અથવા આઇડેન્ટીટી

ફંક્શન કાર્ય ઇનપુટ સ્તર નોડ્સ માટે વપરાય છે. હવે આઉટપુટ લેયર નોડ્સ દ્વારા મેળવવામાં આવેલ આઉટપુટ વેલ્યુનો આગાહિ કાર્ય કરવા માટે ઉપયોગ થાય છે,

કારણ કે તે છેલ્લુ સ્તર, તે નેટવર્કમાં અંતિમ સ્તર છે. તેથી, આઉટપુટ સ્તર નોડ્સમાંથી આ નોડ્સમાંથી ઉત્પન્ન થયેલ આઉટપુટ, તેથી તેઓ પૂર્વાનુમાનો તરીકે અને આગાહી

કાર્યમાં ઉપયોગમાં લેવાશે. અને તે પણ આ કોર્સના સંદર્ભમાં ઉદાહરણ તરીકે સંભાવના મૂલ્યો તરીકે ઉપયોગમાં લેવાશે અને તે વર્ગીકરણ કાર્યમાં રેકોર્ડને

વર્ગીકૃત કરવા માટે ઉપયોગમાં લેવાશે. તેથી, આ તે છે કે કેવી રીતે ગણતરીઓ થાય છે, કેવી રીતે ન્યુરલ નેટવર્ક આર્કિટેક્ચરમાં ગણતરીનુ કાર્ય કરવામાં આવે છે.

હવે, જો આપણે ન્યુરલ નેટવર્ક ટ્રેનિંગ પ્રક્રિયા વિશે વાત કરીએ તો, આપણે જે ગણતરીના સ્ટેપ્સ ની ચર્ચા કરી તે પછી ઇનપુટ લેયર માટે હોય, અથવા હિડ્ડન સ્તર માટે

અથવા આઉટપુટ લેયર માટે હોય તે છે. તેથી, ટ્રેનિંગ પાર્ટીશનના તમામ રેકોર્ડ્સ માટે આ સ્ટેપ્સનુ પુનરાવર્તન કરવામાં આવશે. તેથી, પ્રત્યેક અવલોકન માટે જ્યારે આ દરેક

વિશિષ્ટ સ્ટેપ્સનુ પુનરાવર્તન થાય છે ત્યારે તેને એક પુનરાવર્તન (iteration) કહેવામાં આવે છે. તેથી, દરેક અવલોકન આ ન્યુરલ નેટવર્કમાંથી પસાર થશે અને ઇનપુટ

લેયરમાં તે બધા ગણતરીઓમાંથી પસાર થશે અને પછી હિડ્ડન સ્તર અને પછી આઉટપુટ લેયર ગણતરી કરવામાં આવશે અને પ્રત્યેક રેકોર્ડ માટે આ પ્રક્રિયા ચાલુ રહેશે.

હવે, દરેક અવલોકન માટે, એક અનુમાનિત મૂલ્ય હશે અને તેથી, આપણે અનુમાનીત ભુલો (prediction error) મેળવીશુ. હવે, આ ભૂલો પછીથી આગળ વધવાની છે, ઉદાહરણ

તરીકે જાણવા માટે ઉપયોગમાં લેવાશે, ઉદાહરણ તરીકે, દરેક ભૂલ જે આપણે પછીથી ચર્ચા કરીશું કે આગામી પ્રવચનમાં કે દરેક અવલોકન માટે આ ભૂલો છે, પછી આ ભૂલોનો

ઉપયોગ ન્યુરલ નેટવર્કને અપડેટ કરવા માટે, અને Wij મુલ્યોને અપડેટ કરવામાં આવે છે. અને દરેક અવલોકનથી તમે જાણો છો કે દરેક અવલોકન અને ન્યુરલ નેટવર્કમાં કરવામાં આવતી ગણતરીઓ

કે જે થાય છે તે સમયગાળા દરમિયાન શીખવાની પ્રક્રિયાના ભાગ રૂપે ઉપયોગમાં લેવાશે. તેથી, આ પ્રક્રિયા વિશે વધુ ચર્ચા આપણે આગળના ભાષણમાં ઉદાહરણ દ્વારા કરીશું.

આભાર.