MATH & ML

Autoencoder는 dimensionality reduction이면서 동시에 non-parametric Density Estimation인데기존의 dimensionality reduction과의 차이 & 기존의 density estimation과의 차이는바로 기존의 방법들이 Nerighborhood based training인데 이 Neighborhood기반의 방법들은 '고차원에서 가까운 애들은 왠만하면 manifold(저차원)에서도 가까울꺼야'라는 가정하에 진행한다. 하지만 고차원일수록 manifold를 잘 찾지 못하면 그 고차원에서의 거리는 실제 우리가 생각하는 거리와 다를 수 있다! 이것이 기존의 방법들과 autoencoder의 차이이다.2000년 초반쯤에 나온 autoencoder는 Deep ..

앞에 썻던 글에서 처럼 네이버 d2 영상을 보다보면 차원축소와 관련된 영상을 볼 수 있는데이에서 언급한 새로들은 차원축소와 관련된 관점들을 써보려고한다.0. 차원축소란 고차원에 존재하는 데이터들을 잘 담고(포함?어우르고?)있는 그 고차원에 있는 submanifold(저차원)를 찾는 것이라고도 볼 수 있다. 1. 차원축소가 필요한 이유 중 visualization도 물론 있지만, 고차원에서의 데이터들은 차원이 높은곳에 있어 데이터들이 너무 희박하게 존재해서 문제이다. 예를들면 그림 rgb 200*200 그림을 보면 랜덤으로 아무거나 뽑으면 거의 절대로 우리가 알아볼수 있는 그림이 나오기가 힘들다. 즉 Random image is just noisy일 뿐이다.2. 차원의 저주 : 같은 메져에 대해서도 고차원..

네이버 d2에서 이활석님께서 아주아주 최근에 발표하신 영상과 슬라이드를 공유해 놓으셨다.(링크는 맨아래)목적은 autoencoder를 설명하기 위함인데 이를 위해 초반부분에 deep Neural Network와 관련된 기초적인 내용을 먼저 설명해주셨는데영상을 보면 볼수록 설명을 쉽게 정리잘되게 해주셔서!머신러닝의 전반적인 내용을 이곳저곳 찾아보고 영상도 보며 큰 그림을 정리해보려 한다. 먼저 머신러닝에서 하는 건 큰 그림으로 볼때 다음 사진처럼 정리 할 수 있다.데이터가 주어지면 그걸로 어떤 알고리즘, 즉 모델을 학습하고, 이제 그 학습된 모델을 실제 정답의 모델과 거의 미슷하다고 가정하고 거기에 test data를 넣어서 나온 결과가 우리가 원하는 결과이다. (보니까 이건 supervised learn..

numba라는 library에서 jit이라는 기능을 import하여 사용하면 속도를 높일 수 있는데.jit이란 just in time의 약자로 numba는 컴파일러 기반인 덕분에프로그램을 실제 실행하는 시점에 기계어로 컴파일하여 인터프리터 속도를 향상시키는 방법이다. 즉 우리가 아는 c언어 처럼 적용 함수의 실행 코드를 미리 생성해놓는 것이다.사용방법은from numba import jit 를 위에서 선언해주고그 후에 이 컴파일을 적용하려고 하는 함수 앞에 @ jit을 추가하면 된다.코드를 수정하지 않아도 맨 앞에 이 구문만 뭍여서 시간을 아주 빠르게(거의20배?) 바꿔줄 수 있다.

원래 이걸 먼저 글을 써야 했던거 같은데...ㅎㅎspiking neural network라는 걸 이런저런걸 찾아가며 제일 먼저 공부하고그 후에 이 snn 을 이용한 논문 중에 가장 이해하기 쉬웠던 논문을 리뷰해보았다. [2015] A Minimal Spiking Neural Network to Rapidly Train and Classify Handwritten Digits in Binary and 10- Digit TasksBy by Amirhossein Tavanaei , Anthony S. Maida 지난snn관련 논문들에서는 새로운 learning alogrithm을 만들고 이를 이용하여 가장 기본적인 dataset MNIST를 이용하여 다른 snn algorithm들과 결과를 비교하는게 보아하니..