집밖은 위험해

석촌 호수 근처에서 일할때 찍은 사진들

호수에 오리집이 떠다닌다 ..

전에 잠깐 가산디지털 단지에서 알바하러 다닌적이 있었는데

앞에서 잠깐 찍은 사진들

오랜만에 대구에 다녀왔다.

내년이면 동네가 재건축한다는데

어릴 때 살던 동네가 사라진다니

집에 내려가면서 찍은 사진들

옥상이랑 마당에 감, 사과, 키위가 많이 자랐더라

요약

- 주가는 서로 다른 거래 패턴 주기로 반영하는 단기적인, 장기적인 상업 거래 활동을 통해 형성됩니다.

- 하지만 이런 패턴은 종종 실제 세계에서의 많은 불확실한 정치적, 경제적 요인들로부터 영향을 받아 예측하기가 어렵습니다.

- 그래서 주가의 타임시리즈는 비정상적이고, 비선형적이며 미래의 주가 트렌드를 예측하는것은 더 어렵게 됩니다.

- 이런 문제를 다루고자 우리는 이전 주가 데이터로부터 장, 단기 예측을 위해 다중 거래 패턴 주기를 찾아내는 새로운 상태 주기 메모리 State Frequency Memory SFM 순환 신경망을 제안하였습니다.

- 이산 푸리에 변환 DFT에서 영감을 받아 SFM은 은닉 상태 메모리 셀을 여러 주파수 요소로 분해하여, 각 각은 특정 주파수에서 잠재적인 주가 변동 거래 패턴을 반영하게 됩니다.

- 그래서 미래 주가는 이러한 요소들을 역 푸리에 변환 IFT로 비선형적으로 맵핑하여 예측할 수가 있겠습니다.

- 다중 주기 거래 패턴을 설계함으로서 더 다양한 시간대 범위에서 정확한 예측이 가능해졌습니다. 

- 단기 예측의 경우 고주파 거래 패턴에 달려있겠지만, 장기 예측의 경우 긴 기간 동안 저주파 거래 패턴에 초점을 맞춰 볼겁니다.

- 불행히도 동적인 예측을 하기 위해 다양한 거래 패턴 주기들을 명확하게 구분하는 모델은 없었습니다.

- 실제 거래 데이터를 이용한 실험에서 기존의 최신 방법들보다 SFM을 사용한 경우 더 좋은 성능을 보였습니다.

- 위성 이미지로부터 자동으로 도로 추출하는 작업은 넓은 방면에 활용될 만큼 중요함에도 불구하고, 크게 어려운 일이 많았다. 

- 그래서 최근에 나온 오픈소스와 고품질의 스페이스넷 데이터셋을 사용해서 넓은 범위로 도로 추출 신경망을 만들었으며, 이 방법을 위성 이미지를 이용한 도시 단위 도로 추출 City-scale Road Extraction from Satellite Imagery CRESI라고 불렀습니다.

- 우리는 도시 단위 영역 이미지로 도로를 직접 추출하는 신경망을 만들었는데, 길안내 목적으로 사용할 수 있겠습니다.

- 우리가 만든 알고리즘의 성능을 APLS와 TOPO 그래프 이론 척도를 이용해 608 제곱 키로미터의 테스트 지역을 정량화시켰음.

- 집계한 결과 APLS = 0.73, TOPO 0.58로 기존의 방법들보다 크게 개선되었습니다.

- 추론 속도는 일반 하드웨어로  160제곱 키러미터이상 영역에 1시간 정도 걸렸습니다.

- 마지막으로 이 도로 추출 신경망을 최적화된 경로 찾는 것과 같은 다양한 분야에 활용될 수 있음을 보여주었습니다.

GloVe: Global Vectors for Word Representation

글로브 : 단어 표현 용 전역적 벡터

요약

- 최근의 단어 벡터 공간을 학습하는 방법들로 이런 벡터 구조를 통해 성공적으로 미세한 의미와 문법적 일관성을 이룰수가 있었다. 하지만 원래의 일관성이 유지되는지는 불투명 하였다.

- 우리는 워드 벡터 상에서 이런 일관성을 위한 명시적인 모델 설정치들을 만들고 분석하음.

-  그 결과물은 새로운 전역적인 로그 양선형 회귀 모델로 전역적 행렬 요인화와 지역적 컨텍스트 윈도우 방법에 대한 모델의 이점들을 합쳐내었다.

- 우리가 만든 모델은 희소 행렬 전체나 큰 말뭉치에서 개별적인 컨텍스트 윈도우보다 단어에서 단어에 대한 동시 존재 행렬에서 영이 아닌 원소들만으로 학습함으로서 효율적으로 통게적 정보들을 늘려내었다.

- 이 모델은 중요한 의미를 갖는 하부구조를 가진 벡터 공간을 만들어 냄으로서 단어 아날로지 작업에서 75%의 성능을 내었으며, 비슷한 작업과 유명한 엔티티 인식 모델들을 능가하는 성능을 보였다.

요약

- 합성곱 신경망은 계층적 특징을 구하는 유용한 시각 모델인데, 이번에 end-to-end로 학습시켜 pixel-to-pixel의 결과를 내는 시멘틱세그먼테이션 분야의 최신 합성곱 신경망 모델을 소개하고자 한다.

- 여기서 중요한 개념으로 "완전 합성곱" 신경망을 만들었는데 임의의 크기의 입력을 받아 그 크기에 맞는 출력을 낸다.

- 여기서는 완전 합성곱 신경망에 대해서 자세히 소개하고, 공간적인 밀집 예측(픽셀 단위)에 사용하였습니다.

- 현세대의 분류 신경망인 알렉스넷, VGG, 구글넷을 완전 합성곱 신경망에 적용시켜, 세그먼테이션 작업에 미세조정시켰습니다.

- 그러고나서 심층의 시멘틱 정보와 깊고 거친 레이어로부터 얻은 시멘틱 정보와 얕고 미세한 층으로부터 얻은 외영 정보를 혼합하여 정확하고 자세한 세그먼테이션 결과를 만드는 새로운 아키텍처를 만들었습니다.

- 우리가 만든 완전 합성곱 신경망은 PASCAL VOC 세그먼테이션에서 최신 성능으로 2012년 62.2% mean IU보다 20%정도 개선되었으며(NYUDv2, SIFT Flow 에서도), 일반적인 이미지를 추론하는데 1/5초 이하로 처리하였습니다.

요약

- 자율 주행에서부터 의학 진단까지, 이미지 세그먼테이션은 모든 곳에서 필요로 하는 컴퓨터 비전의 중요한 영역 중 하나임.

- 이미지 세그먼테이션은 저 수준의 공간적 정보를 필요로하며, 다른 비전 작업들보다 상당히 복잡한 일이라 할수 있다.

- 이 작업을 시멘틱 세그먼테이션과 인스턴스 세그먼테이션으로 분류할 수가 있다.

- 최근에는 심층 합성곱 신경망 방법의 성공으로 세그먼테이션 분야에 크게 영향을 주었으며, 좋은 모델들이 나오게됨.

- 이 서베이 논문에서는 합성곱 신경망을 기반으로한 시멘틱/인스턴스 세그먼테이션 연구 결과의 발전과정을 살펴봄.

- 추가로 최신 모델에 대해서 자세히 살펴보고, 이 모델들의 하이퍼파라미터를 어떻게 튜닝하는지 다뤄봄.

- 그리고 이 모델들을 다른 데이터셋에다가 사용하여 성능도 비교해보았다. 

- 마지막으로 최신 파노라마 세그먼테이션 모델들을 간단하게 살펴봄.

 이번에는 같이 프로젝트 하기로 한 사람들 끼리 모여서 오프라인 미팅을 하게되었다. 일단 다들 시멘틱 세그먼테이션에 대해서 잘 모르다 보니 각자 조사한 것들이 어떤게 있고, 아는 내용이 무엇인지, 앞으로 어떻게 해야할지 이야기하는 위주로 시간을 보냈다.

 우리가 하고자 하는 프로젝트는 일반 도로 사진을 세그먼테이션 하는것이 아닌 위성 사진 데이터를 이용하는 것이라 아직 자료는 많이 찾아보지는 않았는데 라벨 데이터를 처리하는 것이 생각보다 복잡해 보였다. 우선 가장 간단하게 위성 이미지로부터 빌딩만 얻어내는 경우는 이미 마스크 처리된 이미지가 있어서 이 이미지를 라벨로 사용하면 될 것 같았지만, 도로를 세그먼테이션을 하는 경우가 문제였다.

 가지고 있는 json 파일을 확인해 보았지만 도로가 폴리곤 형태로 되어있으며 실제 위경도와 이미지 상 좌표가 나와있는데, 이미지 상 좌표가 x, y 좌표값의 배열이 아닌 그저 실수의 벡터 형태로 되어 있다보니 이걸 그냥 좌표들이 그냥 나열되어있는 것인지 감이 잘 잡히지는 않았다.

 아무튼 처음 모였을 때 앞으로 어떻게 해야할지 많이 막막하긴 했는데, 막막한건 여전 했지만 모이기 전 보다는 어떤일을 할지 조금 명확해졌다. 이 과정에서 다른 사람과 의견이 안맞는 부분이 있었는데, 나는 도로 세그먼테이션의 경우 json 파일로부터 마스킹 이미지를 만들어야 하는데, 이 과정은 빌딩 세그먼테이션 조차 어떻게 하지 모르는 상태에서 하기는 힘드니 가장 간단한 것 부터 다같이 하고 차근 차근 넘어가자고 주장하였고, 다른 한 분은 한명은 도로 세그먼테이션, 다른 한명은 빌딩 세그먼테이션, 다른 한 명은 위성 정보 툴 사용법 등을 분할해보자고 하였다.

 일단 그 분의 이야기 대로 각자 역활을 분담해서 하면 가장 좋기는 했지만, 서로 다 시멘틱 세그먼테이션 자체를 모르고 빌딩 조차 못하는 상황에서 도로 세그먼테이션하고, 더 어려운걸 다른 누군가가 분할해서 한다는건 불가능 하다고 생각했다.

 하나의 책을 두고 사람들 끼리 각 장을 나눠서 발표하자고 하면 맨 앞장에 있는 사람은 앞부분만 공부하고, 뒷 부분은 설명만 듣고 제대로 공부하지 않을 것이고, 맨 뒷장을 준비하는 사람은 제한된 시간에 모든 장을 보면서 정리해야하니 엄청 힘들지 않은가. 다른 팀원들도 대체적으로 내 의견이 맞는지는 모르지만 비슷하게 공감하는 상황이었고, 절충 해서 이번주 까지는 빌딩 세그먼테이션 진행하기로 했다.

https://pallawi-ds.medium.com/semantic-segmentation-with-u-net-train-and-test-on-your-custom-data-in-keras-39e4f972ec89

 하는 방법은 각자가 찾은 방식을 활용하기로 했고, 나는 Pallawi라는 사람이 위성 데이터셋과 UNet으로 결과물은 만든걸 봐서 데이터가 있으니 이와 비슷한 방법으로 학습을 진행해보고자 한다. 여전히 어떻게 해야할지 막막한 상황이기는 하지만 잘 마무리해보자.

 이번에 프로젝트로 위성 사진을 시멘틱 분할하는 어플리케이션을 준비하게 되었다. 베이스라인 모델로 U-Net 같은 것들을 사용하면 된다고 하더라. 일단 이전에 시멘틱 분할 모델인 FCN이나 U-Net 같은 모델 논문을 잠깐 간단히 보기는 했지만 그렇게 잘 와닿지는 않았다.

 아무튼 지금나는 시멘틱 세그먼테이션을 하기 위해서 저런 모델을 사용한다는 사실만 알고, 데이터셋을 어떻게 준비하는 지 모델을 만들어서 준비한 데이터셋으로 학습하고 돌리는지 까지는 잘 모르는 상태였다. 그래서 잠깐 구글링으로 U-Net으로 별도의 데이터셋을 훈련하는 방법, 프로젝트에 관해서 검색 해보았는데 자세히 보지는 못했지만 Palliwi라는 분이 잘 정리해서 미디움에다가 올려놓으셨더라.

pallawi-ds.medium.com/semantic-segmentation-with-u-net-train-and-test-on-your-custom-data-in-keras-39e4f972ec89  

 주의 깊게 본다면 이해할 수 있을것 같긴한데 내용 앞부분을 보면서 잠시 FCN, U-Net 모델에 대해서 조금 더 깊이 이해할 필요성을 느꼈다. 이전에 여러번 초록 정도는 보고, 이해하려고 뭔가 속시원하게 파악하지는 못하다보니 이번에 다시 FCN 부터 다양한 국내 블로그 정리 글을 찾아보았는데 가장 먼저 라온 피플에서 작성한 글을 보았다. 보면서 나도 이렇게 잘 좀 정리하고 싶은데 왜 이렇게 힘들까 ㅠㅜ. 지난번에 ResNet도 깔끔하게 정리해봐야지 해놓고 계속 미뤄두네 ;;

m.blog.naver.com/laonple/220958109081

라온 피플의 FCN에 대한 설명 1

 이 글에서는 우선 FCN이 언제 나오고 얼마나 열광 받고 있는지 부터 시작하고 있다. 그리고 분류, 검출, 시멘틱 세그먼테이션과 같이 컴퓨터 비전 분야의 문제들을 소개하면서 각각 문제 모델의 특징들을 알려주는데, 이런 내용은 여러번 보았고 알곤 있었지만 뭔가 허전함? 깔끔하게 정리가 잘 안됬는데 이런 내용들 처럼 잘 정리하고싶다 ㅜㅜ

 아무튼 FCN의 Fully Convollution layer/ 1 x 1 Convolution의 장점에 대해서 소개하는데 이 방법이 나는 FCN에서 처음으로 사용된 것인줄 알았지만 이전에 잠깐 있다고만 들었던 OverFeat 모델에서 사용되었다고 하더라. 하지만 OverFeat에서는 분류, 검출에서만 사용했다 하고, FCN이 시멘틱 세그먼테이션 용도로 1 x  1 conv가 사용된 경우라고 한다.

 여기서 말하는 1 x 1 Convolution의 장점으로는 기존의 분류 모델이나 검출 모델에서는 뒤에 고정 크기의 벡터를 만드는 완전 연결 레이어가 존재하여 입력 크기의 제한을 받는다고 한다. 아마 입력 크기가 클수록 고정 크기의 입력 벡터로 정리하려고 많은 정보들을 정리할 수 없고, 완전 연결 계층에서 연산을 하기 위해 Flatten 할 필요가 없어지니 기존의 공간적 정보가 사라지는 것을 방지 한다는 점에서 영상 제한이 사라진다고 하는것 처럼 보인다. 

 이 다음으로는 디컨볼루션을 이용한 업샘플링에 대해서 설명해주고 있다. 업샘플링을 하는 이유는 여러 레이어들을 거쳐가면서 피쳐맵의 공간적 크기가 줄어드는데 이를 기존의 입력 크기와 동일하게 맞춰주기 위함인데, 간단하게 업샘플링을 한다면 opencv의 resize함수처럼 양선형 보간법을 사용하면 되겠지만, 여기서는 end-to-end 학습을 통해 구하며 backward convolution(deconvolution)을 사용한다고 말한다. 

 하지만 마지막 레이어에서 너무 작아진 피쳐맵만 가지고 deconv로 크기를 키우면 중간에 존재하던 디테일한 정보들이 사라지기 때문에 중간 레이어로부터 스킵커넥션을 통해 보강시킨다고 한다. 이걸 tf로 어떻게 표현하는지는 잘 모르겠지만 skip layer를 추가시킬수록 더 정교한 예측을 만드는 것으로 이 글이 마쳤다. 라온 피플에서 FCN 모델에 대해 추가적인 설명을 하니 다음 글도 봐야겠다.