All-round programmer

참고할만한 사이트 기본 개념 http://takinginitiative.wordpress.com/2008/04/03/basic-neural-network-tutorial-theory/ 기본 구현 http://www.cs.bham.ac.uk/~jxb/NN/nn.html http://takinginitiative.wordpress.com/2008/04/23/basic-neural-network-tutorial-c-implementation-and-source-code/ 돌아가는거랑 기본 개념 참고.. http://www.ibm.com/developerworks/library/l-neural/ 그리고 위키피디아 http://en.wikipedia.org/wiki/Back-propagation

필요한건..노드..링크.. 노드에는 확률 테이블이 들어있고.. 부모노드에 따라 확률 테이블은 가변적으로 변한다.. 작동이 어떻게 돌아가는지는 나중에 생각하자.. 일단은 틀을 만들고 나중에 수정하지뭐.. 클래스는 Node, Link, ConditionalProbabilityTable 3개.. typedef로 ConditionalProbabilityTable을 CPT로 정의.. 클래스 관계는.. 노드 -> 링크 -> 노드 의 레퍼런스 참조..(NN) 나머지는 확률테이블이 있으니 ParentNodeList와 ChildNodeList로.. 노드는 여러개의 상태를.. 링크다수, 하나의 확률테이블을 가지고 있다. 일단 그런 관계만 설정하고.. Node는 AddLink(Node*), DelLink(Node*)이런것도..

Ch3. Single-Layer perceptron 2/27 3.1 Introduction - NN이 형성되는 1943~1958에서는, 3명의 연구자들이 있었다. (1) McCulloch and Pitts(1943)은 NN을 computing machine으로 소개를 했다. - (2) Hebb(1949)은 1st rule for self-organized learning을 가정했다. - (3) Rosenblatt(1948)는 Perceptron을 learning with a teacher의 첫번째 모델로 제안했다. 3/27 - Perceptron은 NN의 가장 간단한 형태이다. linearly separable 패턴을 분류하는데 쓰인다. - 이것은 single neuron과 adjustable synap..

챕터 2의 두번째...43쪽이다 되네 ㅠㅠ 리뷰 시작! 1/43 2.9 Learning without a teacher - teacher가 없다는 것은 NN이 학습하는데 예제에 대한 label이 없다는 것이다. - 2가지 방법이 있다 : reinforcement learning이나 neurodynamic programming and unsupervised learning - (1) reinforcement learning : 입출력 매핑으로 환경과의 지속적인 상호작용을 통하는 learning으로 scalar index를 최소화 함으로써 성능을 개선하는 것 - Fig 2.7은 한가지 'critic' 이 'primary reinforcement signal'을 'heuristic reinforcement s..

chap2a.ppt 자료를 바탕으로 정리... 2장의 제목은 Learning process. 지금 알고 있는 수준은 그냥 에러율을 계속 웨이트에 더해서 바꾸는것 정도...그럼 이제부터 시작.. 2/38 2.1 Introduction - 뉴럴네트워크(이하 NN)의 중요한 속성이 환경에서 'learn'하고 성능을 'improve'하는 것 - NN은 환경과의 상호작용을 통해서 그 synaptic weight와 bias를 조절하는 것이 learn이다. - learn의 정의 : 환경의 자극요소들에 의해서 NN의 파라미터들이 적응되어가는 것. learning의 종류는 파라미터가 어떠한 방법으로 바꾸는지에 따라 정한다. 3/38 * 위의 정의는 다음을 의미한다. (1) NN은 환경에 의해 'stimulated'된다(..

Dynamic Bayesian Network(DBN) - 위키피디아 왈... A dynamic Bayesian network is a Bayesian network that represents sequences of variables. These sequences are often time-series (for example in speech recognition) or sequences of symbols (for example protein sequences). The hidden Markov model can be considered as the most simple dynamic Bayesian network. /* 뭐야 이게! -_- 고작 내용이 이것 뿐이더냐~ */ - DBN은 변수들의 순서를..

Markov chain(model)

Markov process(property) - 확률이론에서 현재와 과거의 상태들을 주어지고 미래의 상태에 대해 추론을 하고자 한다면 Markov property가 있다. Markov property를 이용하는 처리 과정을 Markov process라고 하고 Markovian이라고 표현될 수도 있다. - 수학적으로 만약 X(y), t > 0 이 확률적이라면 Markov property를 이용해서 다음과 같이 표현한다. 만약 아래와 같다면 Markov process는 일정한 시간 간격을 가지게 된다(homogeneous) 이외에는 nonhomogeneous이다. homogeneous Markov process들은 보통 inhomogeneous 보다 간단하다. non-Markovian문제들도 Markovia..

Using hidden Markov models - 3가지 대표적인 문제들은 아래와 같다. 주어진 파라미터들로 특정한 출력 순서의 확률 값을 구하는 것.(forward-backward algorithm) 주어진 출력 순서들을 통해서 hidden 상태에 대한 문제를 푸는 것(Viterbi algorithm) 주어진 출력 순서 또는 순서의 집합들을 통해서 가장 적합한 상태 변환와 출력 확률을 구하는 것, 즉, HMM의 파라미터들을 추론하는 것. (Baum-Welch algorithm) A concrete example - 멀리 살고 있는 친구와 매일 전화로 그날 무엇을 했는지 대화하고 있다고 하자. 그 친구는 3가지 행동만 좋아한다. "공원 산책", "쇼핑", "아파트청소". 무엇을 할 것인지는 날씨에 따라..

Architecture of a hidden Markov model - 그림이 일반적인 HMM의 구조이다. 각 타원형은 일정 수의 랜덤 값들을 받을 수 있는 변수들을 나타낸다. x(t)는 시간 t에 hidden 변수들이 가지고 있는 값들이다. y(t)는 시간 t에 관측 가능한 변수들이다. 화살표는 의존성을 나타낸다. 그림에서 hidden 변수 x(t)는 다른 hidden 변수인 x(t-1)으로 부터만 영향을 받는 것을 볼 수 있다.(Markov property라고 한다) 똑같이 y(t)는 x(t)의 값에 대해서 영향을 받는다. Probability of an observed sequence - Y = y(0), y(1), ... , y(L-1) 의 관측 순서, L은 관측 길이에서 확률은 아래와 같다. s..

일단 기본 바탕 지식으로 HMM에 대해서 부터 정리! 정리한 사이트는.. http://en.wikipedia.org/wiki/Hidden_Markov_model Hidden Markov Model(HMM) - HMM 은... - 알려지지 않은 파라미터들을 Markov 프로세스를 이용해서 설계되는 통계적 모델! // Markov 프로세스가 뭐지? - 알려지지 않은 파라미터들은 관측 가능한 파라미터들을 통해서 추론한다. - 패턴인식과 같은 분야에서 활용 될수 있다. - 가장 간단한 DBN이다. // 뭐 개념은 무언가 심오한듯하다. 역시 일단 이해하려면 그림부터 봐야된다.. /* 그림을 보면 뭔가 노드가 동그라미랑 사각형이 있고 에지도 a랑 b가 따로 있다..(X들 사이는 a, X->Y는 b의 에지..) 동그..

다이나믹 베이지안 네트워크? 들으면 그냥 동적이라니깐 뭔가 베이지안 네트워크가 변하고 그럴거 같다... 베이지안 네트워크가 막 휙휙 바뀌고 그런거라면 내가 처음 베이지안 네트워크에 대해 배웠을때 생각해봤던 모습 중 하나이기도 하다.. 지금 아주 얄팍한 지식이 쌓이고 나니 대충 들은 바로는 각 상태 별로 시간의 변화에 대해서 추론을 할 수 있는 BN이라고 들었는데... 이번 수업 내용의 일부이기도 하고 관련해서 개발도 해야할 것 같으니 미리미리 공부!

베이지안 네트워크?! 처음 들었을 때는 이게 도대체 뭔가? 라고 밖에 생각할 수 밖에 없다... 베이지안은 무슨 인종의 이야기 같고...(베이지'안' 이니깐-_-;;) 네트워크이니 뭐 노드+선의 구조일 듯 하기도 하고.... 6월.. 베이지안 네트워크라는 단어를 처음 듣고 나서 지금껏 간단하게 라이브러리도 써보고 직접 확률 구하는 것도 구현해보고... 돌아가는거는 대충 알았으니 원론적인 이야기로 들어가보고 싶어서 BAI책을 가지고 스터디를 하려 했지만 스터디는 무산 되고... 공부도 하고 정리를 할 겸 혼자서 그냥 BAI책을 읽으면서 정리해봐야겠다.. 이제부터 일주일에 한번씩은 챕터 반개 또는 한개 정도씩 요약하기! 목표는 중간고사 전까지 DBN + Structure Learning 개념도 하는것.. 앞..