MATH & ML

앞에 썻던 글에서 처럼 네이버 d2 영상을 보다보면 차원축소와 관련된 영상을 볼 수 있는데이에서 언급한 새로들은 차원축소와 관련된 관점들을 써보려고한다.0. 차원축소란 고차원에 존재하는 데이터들을 잘 담고(포함?어우르고?)있는 그 고차원에 있는 submanifold(저차원)를 찾는 것이라고도 볼 수 있다. 1. 차원축소가 필요한 이유 중 visualization도 물론 있지만, 고차원에서의 데이터들은 차원이 높은곳에 있어 데이터들이 너무 희박하게 존재해서 문제이다. 예를들면 그림 rgb 200*200 그림을 보면 랜덤으로 아무거나 뽑으면 거의 절대로 우리가 알아볼수 있는 그림이 나오기가 힘들다. 즉 Random image is just noisy일 뿐이다.2. 차원의 저주 : 같은 메져에 대해서도 고차원..

네이버 d2에서 이활석님께서 아주아주 최근에 발표하신 영상과 슬라이드를 공유해 놓으셨다.(링크는 맨아래)목적은 autoencoder를 설명하기 위함인데 이를 위해 초반부분에 deep Neural Network와 관련된 기초적인 내용을 먼저 설명해주셨는데영상을 보면 볼수록 설명을 쉽게 정리잘되게 해주셔서!머신러닝의 전반적인 내용을 이곳저곳 찾아보고 영상도 보며 큰 그림을 정리해보려 한다. 먼저 머신러닝에서 하는 건 큰 그림으로 볼때 다음 사진처럼 정리 할 수 있다.데이터가 주어지면 그걸로 어떤 알고리즘, 즉 모델을 학습하고, 이제 그 학습된 모델을 실제 정답의 모델과 거의 미슷하다고 가정하고 거기에 test data를 넣어서 나온 결과가 우리가 원하는 결과이다. (보니까 이건 supervised learn..

[2017.12] STDP-based spiking deep convolutional neural networks for object recognitionSaeed Reza Kheradpisheh, Mohammad Ganjtabesh, Simon J. Thorpe and Timoth ee Masquelier 지난번에도 정리했듯이 spiking neural network란 기존의 nn에 더 생물학적인 개념을 도입하여 실제 뉴런이 보내는 spike를 이용하여 시간적, 공간적으로 텀을 두어 신호를 내보내고 받고 하는 nn이다. 따라서 이에 맞게 nn을 학습하는 러닝방법도 새로운 방법들이 제시되고 있는데 그중 가장 유명한 unsupervised learning 중 하나가 STDP rule을 기반으로 한 방법이다..

기존의 cnn의 문제점을 개선하여 나온 새로운 모델.cnn은 마지막 layer로 갈수록 더 복잡한 특징들(complex feature)을 나타내게 되는데 이는 단순히 이전 낮은 layer들의 가중치합을 이용하였다. 이러한 합은 기존의 simple feature와 complex feature사이의 위치관계를 전혀 고려하지 않아 문제가 된다. 예를들어 사람얼굴을 인식할 때에 사람눈이 이마에 2개 붙어있는 얼굴도 얼굴로 인식한다는 것이 문제이다.cnn에서는 이 문제를 해결하기위해 max pooling이라는 방법을 사용하여 size를 줄여주면서 높은 layer의 시야를 넓혀 줌으로서 공간적인 정보들까지 얻을 수 있도록 했다.하지만 힌튼은 맥스 풀링이 invariance를 보존 할 뿐 우리가 필요한 equivar..

2014년 처음등장!! 불어-영어 번역을 위해!s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,디코더에서는 앞의 hidden code 값과 문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다. 참고자료 - 참고한 사이트들https://r..