MATH & ML

원래 이걸 먼저 글을 써야 했던거 같은데...ㅎㅎspiking neural network라는 걸 이런저런걸 찾아가며 제일 먼저 공부하고그 후에 이 snn 을 이용한 논문 중에 가장 이해하기 쉬웠던 논문을 리뷰해보았다. [2015] A Minimal Spiking Neural Network to Rapidly Train and Classify Handwritten Digits in Binary and 10- Digit TasksBy by Amirhossein Tavanaei , Anthony S. Maida 지난snn관련 논문들에서는 새로운 learning alogrithm을 만들고 이를 이용하여 가장 기본적인 dataset MNIST를 이용하여 다른 snn algorithm들과 결과를 비교하는게 보아하니..

[2017.12] STDP-based spiking deep convolutional neural networks for object recognitionSaeed Reza Kheradpisheh, Mohammad Ganjtabesh, Simon J. Thorpe and Timoth ee Masquelier 지난번에도 정리했듯이 spiking neural network란 기존의 nn에 더 생물학적인 개념을 도입하여 실제 뉴런이 보내는 spike를 이용하여 시간적, 공간적으로 텀을 두어 신호를 내보내고 받고 하는 nn이다. 따라서 이에 맞게 nn을 학습하는 러닝방법도 새로운 방법들이 제시되고 있는데 그중 가장 유명한 unsupervised learning 중 하나가 STDP rule을 기반으로 한 방법이다..

(Qianxiao Li, Long Chen, Cheng Tai, and Weinan E) 이 paper를 읽기 전에 먼저 dynamical system이 어떻게 machine learning에 쓰이는지 감을 잡기 위해 다음 논문을 참고하였다 [2017.03] A Proposal on Machine Learning via Dynamical Systems(Weinan E)여기서 대충 감을 잡고 원래의 paper를 읽었다.deep learning model을 효율적으로 training하는 방법으로는 stochastic gradient desecnt와 그 응용된 것들이 최근 많이 쓰인다. 하지만 크게 두 가지 문제가 있는데 첫째, 업데이트가 많고 오래 iteration이 돌아야 할 수가있고 둘째, back pr..

(Dauphin, Y.N., Pascanu, R., Gulcehre, C., Cho, K., Ganguli, S., Bengio, Y) 사실 이 paper는 거의 동일한 저자분들이 2014년 5월에 내셨던 [2014.05] On the saddle point problem for non-convex optimization(Razvan Pascanu, Yann N. Dauphin, Surya Ganguli, Yoshua Bengio) 에서 몇 가지 실험결과가 더 추가되어 나온 업그레이드 된 paper이다. 이 논문을 간단히 요약하자면 1. 우리가 결국 관심있는 딥러닝 문제들은 고차원(차원이 높다는건 hidden layer가 많다는건가??) 문제들이고 따라서 우리는 고차원 문제들에서의 성질들이 궁금하다2. ..