C1W2L07, C1W2L08 Computation Graph, Derivatives With Computation Graphs

Computation Graph (C1W2L07)

- 계산 그래프는 순방향 연산을 통해 신경망 출력을 구하고, 역전파 단계에서 그라디언트를 구함.

- 계산 그래프는 아래의 그림에서 J와 같은 특정 출력 변수를 최적화 하길 희망할때 사용 

- 로지스틱회귀라면 J는 비용함수일 것임.

- 왼쪽에서 오른쪽으로 가면서 J를 구하였음.

 

 

 

Derivatives With Computation Graphs (C1W2L08)

- 계산그래프를 이용하여 함수 J에 대한 미분 계수를 어떻게 구하는지 알아보자

- d/dv J = 3

- 최종 출력 변수 값에 대한 각 변수들의 미분 계산들을 한 단계씩 역방향으로 나아감.

- chain rule : d/da J = 3 = d/dv J * d/da v 

- d/db J = d/dv J * d/du v * d/db u = 3 * 1 * 2 = 6