MATH & ML

[2017.12] STDP-based spiking deep convolutional neural networks for object recognitionSaeed Reza Kheradpisheh, Mohammad Ganjtabesh, Simon J. Thorpe and Timoth ee Masquelier 지난번에도 정리했듯이 spiking neural network란 기존의 nn에 더 생물학적인 개념을 도입하여 실제 뉴런이 보내는 spike를 이용하여 시간적, 공간적으로 텀을 두어 신호를 내보내고 받고 하는 nn이다. 따라서 이에 맞게 nn을 학습하는 러닝방법도 새로운 방법들이 제시되고 있는데 그중 가장 유명한 unsupervised learning 중 하나가 STDP rule을 기반으로 한 방법이다..

기존의 cnn의 문제점을 개선하여 나온 새로운 모델.cnn은 마지막 layer로 갈수록 더 복잡한 특징들(complex feature)을 나타내게 되는데 이는 단순히 이전 낮은 layer들의 가중치합을 이용하였다. 이러한 합은 기존의 simple feature와 complex feature사이의 위치관계를 전혀 고려하지 않아 문제가 된다. 예를들어 사람얼굴을 인식할 때에 사람눈이 이마에 2개 붙어있는 얼굴도 얼굴로 인식한다는 것이 문제이다.cnn에서는 이 문제를 해결하기위해 max pooling이라는 방법을 사용하여 size를 줄여주면서 높은 layer의 시야를 넓혀 줌으로서 공간적인 정보들까지 얻을 수 있도록 했다.하지만 힌튼은 맥스 풀링이 invariance를 보존 할 뿐 우리가 필요한 equivar..

2014년 처음등장!! 불어-영어 번역을 위해!s2s란 RNN을 이용하여 문장을 학습할 수 있는 모델 중 하나이다.크게 2개의 RNN, 인코더-RNN-셀과 디코더-RNN-셀로 이루어져있다.(총 2개의 LSTM셀)인코더 부분에서는 입력 응답을 받아 하나의 hidden code 값으로 표현을 해주어 이를 디코더에 보내주고,디코더에서는 앞의 hidden code 값과 문장의 시작을 의미하는 tag를 입력받아 가장 적합한 결과 단어를 추출해준다. 이 이후 과정에서는 train일때와 test일때가 조금 다른데,train과정에서는 디코더의 아웃풋과는 별개로 기존 우리가 알고있는 답이 들어가고, test과정에서는 전의 디코더 아웃풋이 다음 디코더의 인풋으로 들어가게 된다. 참고자료 - 참고한 사이트들https://r..

Recurrent Neural Network(RNN)먼저 recurrent라는 단어의 뜻은 '되풀이이되는, 반복되는'이다. 즉 다시말해 기존 뉴럴네트워크에서 다음스텝으로 넘어갈때의 출력결과에 이전 계산결과에 영향을 받는=되풀이 되도록 만든 neural network이다. 따라서 RNN은 연속적인 데이터(sequential Data)를 처리하는데 적합하다. 특히 NLP라 불리는 자연어처리 문제에 아주 뛰어난 성능을 보인다고 알려져있다. 실제 구글 번역기도 이 RNN을 이용한다.Rnn의 구조는 보통 하나의 네트워크를 여러개로 복사된 형태로 표시하는데데, 즉 자신의 결과가 자기자신에 다시 영향을 주는것을 펼쳐서 나타낸다. 이러한 RNN에서 weight를 업데이트하기 위해서는 기존의 Back Propagatio..

비트코인에서 기본적으로 쓰이는 함수가 cryptographic hash function이다.(어떤 3가지 조건을 만족하는 함수) 이 함수는 avalanche effect가 있어서 인풋에 미세한 변화를 주면 아웃풋에 상당히 큰 변화가 일어난다.그 해쉬함수의 종류에는 sha-256이라는 함수가 있다. 그 중에서도 Bitcoin에서는 SHA-256^2을 사용한다.그 해쉬함수에 대해서 y가 주어졌을 때 H(x)=y를 만족하는 x를 찾는 것은 현실적으로 불가능하다. 하지만 적당한 y들에 대해서는 H(x)