MATH & ML

앞에 썻던 글에서 처럼 네이버 d2 영상을 보다보면 차원축소와 관련된 영상을 볼 수 있는데이에서 언급한 새로들은 차원축소와 관련된 관점들을 써보려고한다.0. 차원축소란 고차원에 존재하는 데이터들을 잘 담고(포함?어우르고?)있는 그 고차원에 있는 submanifold(저차원)를 찾는 것이라고도 볼 수 있다. 1. 차원축소가 필요한 이유 중 visualization도 물론 있지만, 고차원에서의 데이터들은 차원이 높은곳에 있어 데이터들이 너무 희박하게 존재해서 문제이다. 예를들면 그림 rgb 200*200 그림을 보면 랜덤으로 아무거나 뽑으면 거의 절대로 우리가 알아볼수 있는 그림이 나오기가 힘들다. 즉 Random image is just noisy일 뿐이다.2. 차원의 저주 : 같은 메져에 대해서도 고차원..

네이버 d2에서 이활석님께서 아주아주 최근에 발표하신 영상과 슬라이드를 공유해 놓으셨다.(링크는 맨아래)목적은 autoencoder를 설명하기 위함인데 이를 위해 초반부분에 deep Neural Network와 관련된 기초적인 내용을 먼저 설명해주셨는데영상을 보면 볼수록 설명을 쉽게 정리잘되게 해주셔서!머신러닝의 전반적인 내용을 이곳저곳 찾아보고 영상도 보며 큰 그림을 정리해보려 한다. 먼저 머신러닝에서 하는 건 큰 그림으로 볼때 다음 사진처럼 정리 할 수 있다.데이터가 주어지면 그걸로 어떤 알고리즘, 즉 모델을 학습하고, 이제 그 학습된 모델을 실제 정답의 모델과 거의 미슷하다고 가정하고 거기에 test data를 넣어서 나온 결과가 우리가 원하는 결과이다. (보니까 이건 supervised learn..

원래 이걸 먼저 글을 써야 했던거 같은데...ㅎㅎspiking neural network라는 걸 이런저런걸 찾아가며 제일 먼저 공부하고그 후에 이 snn 을 이용한 논문 중에 가장 이해하기 쉬웠던 논문을 리뷰해보았다. [2015] A Minimal Spiking Neural Network to Rapidly Train and Classify Handwritten Digits in Binary and 10- Digit TasksBy by Amirhossein Tavanaei , Anthony S. Maida 지난snn관련 논문들에서는 새로운 learning alogrithm을 만들고 이를 이용하여 가장 기본적인 dataset MNIST를 이용하여 다른 snn algorithm들과 결과를 비교하는게 보아하니..

[2017.12] STDP-based spiking deep convolutional neural networks for object recognitionSaeed Reza Kheradpisheh, Mohammad Ganjtabesh, Simon J. Thorpe and Timoth ee Masquelier 지난번에도 정리했듯이 spiking neural network란 기존의 nn에 더 생물학적인 개념을 도입하여 실제 뉴런이 보내는 spike를 이용하여 시간적, 공간적으로 텀을 두어 신호를 내보내고 받고 하는 nn이다. 따라서 이에 맞게 nn을 학습하는 러닝방법도 새로운 방법들이 제시되고 있는데 그중 가장 유명한 unsupervised learning 중 하나가 STDP rule을 기반으로 한 방법이다..

기존의 cnn의 문제점을 개선하여 나온 새로운 모델.cnn은 마지막 layer로 갈수록 더 복잡한 특징들(complex feature)을 나타내게 되는데 이는 단순히 이전 낮은 layer들의 가중치합을 이용하였다. 이러한 합은 기존의 simple feature와 complex feature사이의 위치관계를 전혀 고려하지 않아 문제가 된다. 예를들어 사람얼굴을 인식할 때에 사람눈이 이마에 2개 붙어있는 얼굴도 얼굴로 인식한다는 것이 문제이다.cnn에서는 이 문제를 해결하기위해 max pooling이라는 방법을 사용하여 size를 줄여주면서 높은 layer의 시야를 넓혀 줌으로서 공간적인 정보들까지 얻을 수 있도록 했다.하지만 힌튼은 맥스 풀링이 invariance를 보존 할 뿐 우리가 필요한 equivar..