컴퓨터 비전 - 32. 옵티컬 플로우 optical flow(=광류)

광류

- 시간 t축에 인접한 두 영상 사이의 명암 변화를 다룸

-> 움직임 정보 추정

 

 

광류 추정 알고리즘

- 현재 화소가 t+1시간의 어느화소와 매칭이되는지 찾기

- 아래의 그림은 광류 지도와 광류 벡터 예시

 

https://www.researchgate.net/figure/Optical-flow-map-and-motion-vector-graph-of-the-spatial-sequences_fig11_261342598

 

 

 

광류 추정 원리

- 일반적인 영상은 매우 크며, 잡음 존재 -> 적절한 모델로 변환 필요

- 밝기 향상성 가정 활용 : 두 영상간 같은 지점은 명암이 비슷

1. 시간 간격이 짧다면 테일러 전개로 근사

2. 광류 조건식 optical flow constraint equation 취득

  광류/그라디엍트 조건식(미방) <- 영상의 y축 변화(모션벡터) * v + 영상의 x축 변화(모션벡터) * u + 영상의 t축 변화 = 0

3. 광류 추정 알고리즘(ex. Lucas-Kanade or Horn-Schunck알고리즘)으로 모션 벡터 계산

  * but. 모션 벡터들을계산해도 v, u는 결정 불가

- 아래의 그림은 광류 추정 알고리즘

https://www.researchgate.net/figure/Optical-flow-map-computed-by-different-methods-a-Lucas-Kanade-b-Horn-Schunck-c_fig3_328750324

 

 

 

 

루카스 카나드 알고리즘

- 특정 화소 주위의 윈도우의 광류는 동일함을 가정

- 루카스 카나드 알고리즘에서 광류 예시 : 윈도우 내부의 픽셀들은 동일한 모션 벡터를 가짐

 

 

 

 

루카스 카나드 알고리즘 파이썬 실습

- 아래의 링크에서 광류 추정 알고리즘 예제 제공

https://www.datasciencecentral.com/profiles/blogs/implementing-lucas-kanade-optical-flow-algorithm-in-python

 

함부르크 택시 예제

1. 입력 영상

 

2. 중간 과정 

 

3. 출력 영상 = 원본 + 옵티컬 플로우