capsnet(캡스넷)

기존의 cnn의 문제점을 개선하여 나온 새로운 모델.

cnn은 마지막 layer로 갈수록 더 복잡한 특징들(complex feature)을 나타내게 되는데 이는 단순히 이전 낮은 layer들의 가중치합을 이용하였다. 이러한 합은 기존의 simple feature와 complex feature사이의 위치관계를 전혀 고려하지 않아 문제가 된다. 예를들어 사람얼굴을 인식할 때에 사람눈이 이마에 2개 붙어있는 얼굴도 얼굴로 인식한다는 것이 문제이다.

cnn에서는 이 문제를 해결하기위해 max pooling이라는 방법을 사용하여 size를 줄여주면서 높은 layer의 시야를 넓혀 줌으로서 공간적인 정보들까지 얻을 수 있도록 했다.

하지만 힌튼은 맥스 풀링이 invariance를 보존 할 뿐 우리가 필요한 equivariance 보존은 못한다고 주장했다.

"Internal data representation of a convolutional neural network does not take into account important spatial hierarchies between simple and complex objects."

그래서 나온것이 Capsnet이라는 것이고 이 모델은 enity와 그 enity의 property로 사진을 이해한다고 말할 수 있다. enity가 "자전거를 타고 있는 사람"이라고 하면 property는 "자전거, 도로위에서 달리는 모습, 속도, 사이클복장을 입은사람"등이라고 할 수 있다.

그래서 캡슐이라는 말은 하나의 enity를 나타내고 그 내용물을 enity의 property로 볼 수 있다. cnn과는 다르게 dynamic routing라는 것을 이용하여 하위캡슐과 상위캡슐사이를 연결시켜 local informtaion을 유지하고, positional onformation이 더 잘 조합되는 장점을 가진 모델이라고 할 수 있겠다.

https://jayhey.github.io/deep%20learning/2017/11/29/CapsNet_3/