딥러닝비전 8. 합성곱 신경망 아키텍처 2 - ZFNet, VGG - 16

저스틴 존슨 교수님 강의 정리

ZFNet과 VGG-16

 

 

 

[컴퓨터비전과 인공지능] 8. 합성곱 신경망 아키텍처 2 - ZFNet, VGG-16 from jdo

 

 

 

 

 

Lec8_Convolution_Networks_Arcitecture2_ZFNet_VGG16.pdf

0.84MB

 

 

 

 

 

이번 자료에서 핵심 주제로 아래의 5가지를 꼽았다.

- ZFNet

- 2013, 2014년 이미지넷 분류대회
- VGG 신경망 설계 규정
- VGG 신경망 설계 규정 2

- AlexNet과 VGG-16비교

 

 

 

1) ZFNet

- 이전에 본 AlexNet의 하이퍼 파라미터들은 수많은 시행착오를 거쳐 만들었는데, 2013년도 이미지넷 분류 대회에서 우승한 ZFNet은 알렉스넷과 기본적인 구조는 같으며 다만 하이퍼 파라미터를 더 많이 조정하여 만들어진 신경망입니다. 기존의 AlexNet의 첫번째 합성곱 계층의 커널 크기와 스트라이드를 줄여 다운샘플링을 더 자주 시키고, 3~5번째 합성곱 계층의 필터 개수를 전보다 크게 늘림으로서 성능 개선을 할수 있었다고 합니다. 하이퍼 파라미터들을 이렇게 조정 시킨 덕분에 필요한 메모리 공간과 학습 파라미터 개수, 소수점연산 횟수도 크게 증가하였구요. 그래서 AlexNet을 확대시킨 신경망이라고 할수 있을거같아요.

 

 

 

2) 2013, 2014년 이미지넷 분류대회

- 2013년 기존의 AlexNet보다 크기를 키운 ZFNet이 2012년 알렉스넷이 16.4 오류율에서 11.7로 크게 줄였습니다. 하지만 두 방법은 시행착오를 여러번 겪어 만든 신경망이라 여전히 신경망을 설계하기는 어려웠습니다. 그러다가 2014년 최초로 신경망 설계 규칙/원칙을 정하여 만든 모델인 VGG가 나왔는데, 이 규칙을 따라 신경망을 더 깊이 만들수 있게 되면서 VGG-19가 7.3의 오류율로 2014년 이미지넷 분류 대회를 우승하였습니다.

 

3) VGG 신경망 설계 규정

- VGG 모델은 3가지 신경망 설계 규칙을 가진 모델로 첫 번째는 모든 합성곱 계층은 3 x 3 필터에 스트라이드 1, 패딩이 1이며, 두번째 규칙은 모든 최대 풀링 계층은 2 x 2 필터에 스트라이드 2, 세번째 규칙은 풀링 이후에 채널의 개수를 두배로 늘리는 것으로 정해져 있었습니다. VGG-16은 AlexNet이 5개의 합성곱 계층을 가졌던것 처럼 5개의 단계를 가지고 있으며, 뒤의 4,5번째 계층에는 합성곱 계층이 추가가 되긴한데 각 단계별로 2개의 합성곱 계층과 1개의 풀링 계층으로 이루어져 있습니다. 

 

 우선 첫번째 설계 규칙 모든 합성곱 계층은 3 x 3 필터, 스트라이드 1, 패딩 1 덕분에 이 계층 2개를 쌓은게 기존의 5 x 5 크기의 합성곱 계층과 비교해보면 수용장의 범위는 작지만, 학습할 파라미터의 수와 소수점 연산 횟수가 크게 줄일수 있는 장점이 있었습니다.

 

 

 

4) VGG 신경망 설계 규정 2

- 다음으로 두번째 설계 규칙은 모든 최대 풀링은 2 x 2 필터, 스트라이드는 2 그리고 세번째 설계규칙은 풀링 후에 채널을 2배로 한다가 있었는데, 이 두 규칙 덕분에 풀링 전의 연산량과 풀링 이후 다음 단계에서도 연산량이 동일하게 유지시킬수가 있는걸 볼수 있었습니다. 그래서 채널 수가 급격히 증가하더라도 소수점 연산량이 커지지 않고 이전과 똑같이 효율적으로 계산할 수 있습니다.

 

 

5) AlexNet과 VGG-16비교

- 마지막으로 AlexNet과 VGG-16을 비교해보면, AlexNet은 5개의 합성곱 계층과 3개의 완전 연결 계층을 가지고 있고, VGG-16의 경우 5개의 완전 연결 단계와 3개의 완전 연결 계층을 가지고 있습니다. 이 두 모델을 각 계층/단계 별 메모리 사용량, 학습 가능한 파라미터, 소수점 연산 횟수를 그래프로 보았을때, AlexNet보다 전체적으로 훨씬 커진 신경망 모델인걸 알 수 있었습니다.