C1W4L04 Why Deep Representations?

Why Deep Representations? (C1W4L04)

- 왜 심층 신경망이 잘 동작하는지 알아보자

 

심층 표현을 이해하기

- 얼굴 인식, 감지 시스템 구축 시 심층 신경망이 할수 있는 일을 알아보자

- 첫번째 레이어는 특징/에지 검출기 역활을 함. 아래의 그림에서 20개의 은닉층을 시각화 한 결과들을 보여주고 있다.

- 검출된 에지들을 모아 얼굴의 일부분을 찾아낼수/감지해낼 수 있다.

- 서로 다른 얼굴 일부분들을 모아 다양한 얼굴들을 구분할 수 있게 됨.

 

- 스피치 인식 시스템을 만든다고 해보자

- 신경망의 첫번째 레이어에서는 오디오의 저수준 특징들을 찾아낼 것임.

- 이러한 저수진 특징들을 모아 기본 소리 단위들을 만들어냄 -> 단어들을 인식하고 -> 문장을 인지하게 됨.

- 깊어질수록 단순한 표현에서 더욱 복잡한 표현들로 섞이게 됨.

* 사람의 뇌도 에지 단위부터 인식해서 사람의 얼굴을 구분할 수 있음.

회로이론과 딥러닝

- 왜 심층 신경망이 잘 동작하는가에 대해서 회로 이론에서 나옴.

- 회로 이론에서는 서로 다른 회로들을 조합해서 어떤 함수 역활을 수행함.

- L 레이어 작지만(은닉 유닛이 적다) 깊은 심층 신경망에 대한 함수를 얕은 신경망으로 계산하고자 한다면 지수적으로 훨씬 많은 은닉 유닛들이 필요로함.

- 모든 입력에 대한 베타적 논리합을 구하는 함수 구현시, 심층으로 구현한다면 O(log n) 복잡도를 가지나, 심층으로 구현하지 못하고 얕게 구현한다면 모든 경우의 수를 나열해야해서 은닉층이 지수적으로 증가함.

=> 회로 이론을 통해서도 깊게 쌓을수록 더 계산하기 쉽다.