[DL] Lecture5: Convolutional Networks

Objectives:

• Explain convolutional layers in a deep network, along with their hyperparameters.
• Explain pooling layers.
• Design and implement deep convolutional neural networks.

Tutorial

• Convolutional layer

---

 

그 이전에 정리한 CNN

PART1: Convolutional layers and Pooling layers

• CNN은 Grid type data에 유용하다! 그래서 이미지에 특화됨 (tutorial) 
• 한가지 명심할것은 그전에배운 fully connected layer 와 cnn은 다른것이다.

• Tutorial에 나왔던 CN의 수학적 모델 숙지.  i: index row in feature map, j: index column in feature map, m: index column in 2D filter, n: index row in 2D filter, b: bias
• filter라 함은 여러 종류가 있는데 이미지에서 특정 패턴을(edges 등)을 찾기위해 사용한다. 특징점을 찾기위해서라고도 할 수 있다. 

•  

• 하이퍼 파라미터 종류 : filter size , number of filters, stride padding 
• the number of filters는 output feature map의 depth . 이게좀 이해가안가네 ??? geometric model 이 머리속에 잘 안잡힌다! 

• pooling layer?: 피쳐맵 사이즈를 감소시켜 연산량을 감소시키고 작은 변환에 강건한 아웃풋을 만들어준다. 
• max pooling 은 가장큰 값을 반환하고 , average pooling 모든요소의 평균은 반환한다. 

• fully connected layer 전에 사실 flattening(평탄화) 작업이 잇는데 이는 3d 혹은 4d형태인 값들을 1D 형태로 바꾸 Fully connected layer에 전달해준다. FCL은 전 레이어의 뉴론과 각각의 뉴런들이 전부 연결되있는 형태로, 아웃풋과 인풋의 Non- linear relationship을 배우기위해 존재한다.   (아래그림과 같이보기)

---

PART2: ADVANCED CONVOLUTIONAL NETWORK DESIGN

 

• depth-wise pooling layer 는 computation complexity를 줄여준다( coursework에 출제됬었네)

• 구글넷 전문 설명사이트
• 구글에서 나온 백본으로 2014년도 1등..

• 이에 질세라 마이크로 소프트에서 나온것으로 2015년 1등 Resnets
• 자세한 설명 사이트

• 또 이에 질세라 구글에서 2018년 발표한 xception 
• 설명사이트

• 모바일폰 같은곳에서도 사용할 수 있는 가벼운 버전으로 depthwise separable convolution을 사용
• 설명사이트

• chatgpt로인해 가장핫해진 모델..
• 설명사이트