집밖은 위험해

요약

- 주가는 서로 다른 거래 패턴 주기로 반영하는 단기적인, 장기적인 상업 거래 활동을 통해 형성됩니다.

- 하지만 이런 패턴은 종종 실제 세계에서의 많은 불확실한 정치적, 경제적 요인들로부터 영향을 받아 예측하기가 어렵습니다.

- 그래서 주가의 타임시리즈는 비정상적이고, 비선형적이며 미래의 주가 트렌드를 예측하는것은 더 어렵게 됩니다.

- 이런 문제를 다루고자 우리는 이전 주가 데이터로부터 장, 단기 예측을 위해 다중 거래 패턴 주기를 찾아내는 새로운 상태 주기 메모리 State Frequency Memory SFM 순환 신경망을 제안하였습니다.

- 이산 푸리에 변환 DFT에서 영감을 받아 SFM은 은닉 상태 메모리 셀을 여러 주파수 요소로 분해하여, 각 각은 특정 주파수에서 잠재적인 주가 변동 거래 패턴을 반영하게 됩니다.

- 그래서 미래 주가는 이러한 요소들을 역 푸리에 변환 IFT로 비선형적으로 맵핑하여 예측할 수가 있겠습니다.

- 다중 주기 거래 패턴을 설계함으로서 더 다양한 시간대 범위에서 정확한 예측이 가능해졌습니다. 

- 단기 예측의 경우 고주파 거래 패턴에 달려있겠지만, 장기 예측의 경우 긴 기간 동안 저주파 거래 패턴에 초점을 맞춰 볼겁니다.

- 불행히도 동적인 예측을 하기 위해 다양한 거래 패턴 주기들을 명확하게 구분하는 모델은 없었습니다.

- 실제 거래 데이터를 이용한 실험에서 기존의 최신 방법들보다 SFM을 사용한 경우 더 좋은 성능을 보였습니다.

- 위성 이미지로부터 자동으로 도로 추출하는 작업은 넓은 방면에 활용될 만큼 중요함에도 불구하고, 크게 어려운 일이 많았다. 

- 그래서 최근에 나온 오픈소스와 고품질의 스페이스넷 데이터셋을 사용해서 넓은 범위로 도로 추출 신경망을 만들었으며, 이 방법을 위성 이미지를 이용한 도시 단위 도로 추출 City-scale Road Extraction from Satellite Imagery CRESI라고 불렀습니다.

- 우리는 도시 단위 영역 이미지로 도로를 직접 추출하는 신경망을 만들었는데, 길안내 목적으로 사용할 수 있겠습니다.

- 우리가 만든 알고리즘의 성능을 APLS와 TOPO 그래프 이론 척도를 이용해 608 제곱 키로미터의 테스트 지역을 정량화시켰음.

- 집계한 결과 APLS = 0.73, TOPO 0.58로 기존의 방법들보다 크게 개선되었습니다.

- 추론 속도는 일반 하드웨어로  160제곱 키러미터이상 영역에 1시간 정도 걸렸습니다.

- 마지막으로 이 도로 추출 신경망을 최적화된 경로 찾는 것과 같은 다양한 분야에 활용될 수 있음을 보여주었습니다.

GloVe: Global Vectors for Word Representation

글로브 : 단어 표현 용 전역적 벡터

요약

- 최근의 단어 벡터 공간을 학습하는 방법들로 이런 벡터 구조를 통해 성공적으로 미세한 의미와 문법적 일관성을 이룰수가 있었다. 하지만 원래의 일관성이 유지되는지는 불투명 하였다.

- 우리는 워드 벡터 상에서 이런 일관성을 위한 명시적인 모델 설정치들을 만들고 분석하음.

-  그 결과물은 새로운 전역적인 로그 양선형 회귀 모델로 전역적 행렬 요인화와 지역적 컨텍스트 윈도우 방법에 대한 모델의 이점들을 합쳐내었다.

- 우리가 만든 모델은 희소 행렬 전체나 큰 말뭉치에서 개별적인 컨텍스트 윈도우보다 단어에서 단어에 대한 동시 존재 행렬에서 영이 아닌 원소들만으로 학습함으로서 효율적으로 통게적 정보들을 늘려내었다.

- 이 모델은 중요한 의미를 갖는 하부구조를 가진 벡터 공간을 만들어 냄으로서 단어 아날로지 작업에서 75%의 성능을 내었으며, 비슷한 작업과 유명한 엔티티 인식 모델들을 능가하는 성능을 보였다.

요약

- 합성곱 신경망은 계층적 특징을 구하는 유용한 시각 모델인데, 이번에 end-to-end로 학습시켜 pixel-to-pixel의 결과를 내는 시멘틱세그먼테이션 분야의 최신 합성곱 신경망 모델을 소개하고자 한다.

- 여기서 중요한 개념으로 "완전 합성곱" 신경망을 만들었는데 임의의 크기의 입력을 받아 그 크기에 맞는 출력을 낸다.

- 여기서는 완전 합성곱 신경망에 대해서 자세히 소개하고, 공간적인 밀집 예측(픽셀 단위)에 사용하였습니다.

- 현세대의 분류 신경망인 알렉스넷, VGG, 구글넷을 완전 합성곱 신경망에 적용시켜, 세그먼테이션 작업에 미세조정시켰습니다.

- 그러고나서 심층의 시멘틱 정보와 깊고 거친 레이어로부터 얻은 시멘틱 정보와 얕고 미세한 층으로부터 얻은 외영 정보를 혼합하여 정확하고 자세한 세그먼테이션 결과를 만드는 새로운 아키텍처를 만들었습니다.

- 우리가 만든 완전 합성곱 신경망은 PASCAL VOC 세그먼테이션에서 최신 성능으로 2012년 62.2% mean IU보다 20%정도 개선되었으며(NYUDv2, SIFT Flow 에서도), 일반적인 이미지를 추론하는데 1/5초 이하로 처리하였습니다.

요약

- 자율 주행에서부터 의학 진단까지, 이미지 세그먼테이션은 모든 곳에서 필요로 하는 컴퓨터 비전의 중요한 영역 중 하나임.

- 이미지 세그먼테이션은 저 수준의 공간적 정보를 필요로하며, 다른 비전 작업들보다 상당히 복잡한 일이라 할수 있다.

- 이 작업을 시멘틱 세그먼테이션과 인스턴스 세그먼테이션으로 분류할 수가 있다.

- 최근에는 심층 합성곱 신경망 방법의 성공으로 세그먼테이션 분야에 크게 영향을 주었으며, 좋은 모델들이 나오게됨.

- 이 서베이 논문에서는 합성곱 신경망을 기반으로한 시멘틱/인스턴스 세그먼테이션 연구 결과의 발전과정을 살펴봄.

- 추가로 최신 모델에 대해서 자세히 살펴보고, 이 모델들의 하이퍼파라미터를 어떻게 튜닝하는지 다뤄봄.

- 그리고 이 모델들을 다른 데이터셋에다가 사용하여 성능도 비교해보았다. 

- 마지막으로 최신 파노라마 세그먼테이션 모델들을 간단하게 살펴봄.

 이번에는 같이 프로젝트 하기로 한 사람들 끼리 모여서 오프라인 미팅을 하게되었다. 일단 다들 시멘틱 세그먼테이션에 대해서 잘 모르다 보니 각자 조사한 것들이 어떤게 있고, 아는 내용이 무엇인지, 앞으로 어떻게 해야할지 이야기하는 위주로 시간을 보냈다.

 우리가 하고자 하는 프로젝트는 일반 도로 사진을 세그먼테이션 하는것이 아닌 위성 사진 데이터를 이용하는 것이라 아직 자료는 많이 찾아보지는 않았는데 라벨 데이터를 처리하는 것이 생각보다 복잡해 보였다. 우선 가장 간단하게 위성 이미지로부터 빌딩만 얻어내는 경우는 이미 마스크 처리된 이미지가 있어서 이 이미지를 라벨로 사용하면 될 것 같았지만, 도로를 세그먼테이션을 하는 경우가 문제였다.

 가지고 있는 json 파일을 확인해 보았지만 도로가 폴리곤 형태로 되어있으며 실제 위경도와 이미지 상 좌표가 나와있는데, 이미지 상 좌표가 x, y 좌표값의 배열이 아닌 그저 실수의 벡터 형태로 되어 있다보니 이걸 그냥 좌표들이 그냥 나열되어있는 것인지 감이 잘 잡히지는 않았다.

 아무튼 처음 모였을 때 앞으로 어떻게 해야할지 많이 막막하긴 했는데, 막막한건 여전 했지만 모이기 전 보다는 어떤일을 할지 조금 명확해졌다. 이 과정에서 다른 사람과 의견이 안맞는 부분이 있었는데, 나는 도로 세그먼테이션의 경우 json 파일로부터 마스킹 이미지를 만들어야 하는데, 이 과정은 빌딩 세그먼테이션 조차 어떻게 하지 모르는 상태에서 하기는 힘드니 가장 간단한 것 부터 다같이 하고 차근 차근 넘어가자고 주장하였고, 다른 한 분은 한명은 도로 세그먼테이션, 다른 한명은 빌딩 세그먼테이션, 다른 한 명은 위성 정보 툴 사용법 등을 분할해보자고 하였다.

 일단 그 분의 이야기 대로 각자 역활을 분담해서 하면 가장 좋기는 했지만, 서로 다 시멘틱 세그먼테이션 자체를 모르고 빌딩 조차 못하는 상황에서 도로 세그먼테이션하고, 더 어려운걸 다른 누군가가 분할해서 한다는건 불가능 하다고 생각했다.

 하나의 책을 두고 사람들 끼리 각 장을 나눠서 발표하자고 하면 맨 앞장에 있는 사람은 앞부분만 공부하고, 뒷 부분은 설명만 듣고 제대로 공부하지 않을 것이고, 맨 뒷장을 준비하는 사람은 제한된 시간에 모든 장을 보면서 정리해야하니 엄청 힘들지 않은가. 다른 팀원들도 대체적으로 내 의견이 맞는지는 모르지만 비슷하게 공감하는 상황이었고, 절충 해서 이번주 까지는 빌딩 세그먼테이션 진행하기로 했다.

https://pallawi-ds.medium.com/semantic-segmentation-with-u-net-train-and-test-on-your-custom-data-in-keras-39e4f972ec89

 하는 방법은 각자가 찾은 방식을 활용하기로 했고, 나는 Pallawi라는 사람이 위성 데이터셋과 UNet으로 결과물은 만든걸 봐서 데이터가 있으니 이와 비슷한 방법으로 학습을 진행해보고자 한다. 여전히 어떻게 해야할지 막막한 상황이기는 하지만 잘 마무리해보자.

 이번 시간에는 잔차 블록을 통해 훨씬 깊게 만들어진 신경망인 ResNet에 대한 논문을 정리해보고자 합니다. 매번 논문들을 번역하는 식으로만 공부했지만 이번에는 가능한 번역보다는 내용 흐름을 정리해보겠습니다.

1. 신경망의 층을 깊게 할 때 문제점.

1.1 신경망을 깊게 만드는 것의 중요성

 우선 심층 합성곱 신경망은 이미지 분류 작업을 시발점으로 널리 사용되었는데요. 이런 심층 신경망은 저수준/중수준/고수준 특징들을 모아서, 분류기로 end-to-end 학습을 시키게 됩니다. 여기서 특징의 복잡도는 층의 깊이에 따라 다양해질수가 있어요.

1.2 깊은 신경망의 문제 1 : 그라디언트 폭증/소실과 정규화

 그래서 신경망을 깊게 만드는건 중요하지만, 몇가지 문제가 발생하게 됩니다. 신경망 모델은 학습 과정에서 그라디언트로 기존의 파라미터들을 갱신하는데, 층이 깊어질수록 그라드언트가 사라지거나  폭증해서 최적의 파라미터를 찾도록 수렴하는걸 방해하거든요. 이 문제를 해결하기 위해서 파라미터를 정규화시켜 초기화 하거나 정규화 계층을 두어 풀수 있었습니다.

1.3 깊은 신경망의 문제 2 : 디그라데이션 degradation의 발생

 정규화 방법을 통해서 깊은 신경망도 수렴할 수 있게 되었으나 디그레디에이션 문제가 생겼습니다. 신경망의 깊이가 증가할 수록 정확도가 포화/더 이상 올라가지 않고 빠르게 감소하되는 문제가 생깁니다. 이런 디그라데이션 문제는 K. He at el와 이 논문에서의 실험 결과  신경망 모델을 더 깊게 할수록 훈련 에러가 더 높게나온다는 점에서  오버피팅에 의한 것이 아닌걸 알 수 있었습니다.

* 오버 피팅의 경우 학습 데이터에 과하게 학습된 것인데, 깊은 신경망이 더 훈련 에러가 낮아야 하지만 얕은 신경망이 훈련 에러가 더 낮다는 점에서 오버피팅이 아니라고 할 수 있습니다.

1.4 깊은 신경망의 문제 3 : 층을 깊이 쌓는다고 디그라이데이션을 해결 하기 어렵다!

 위 결과를 볼때 훈련 정확도의 저하, 디그라데이션 문제를 보면 모든 시스템들을 최적화 하기가 어렵다는 것을 알 수 있습니다. 얕은 신경망 아키텍처와 동일한 모델에 층을 추가해서 깊은 모델을 만들었다고 가정하면, 당연히 깊은 모델이 얕은 모델보다 훈련 에러율이 낮아야 할거에요. 하지만 위 실험 결과를 봤을때 단순히 층을 쌓는다고 해서 더 나은 결과가 나오지 않는 걸 알 수 있어요