집밖은 위험해

arxiv.org/abs/1504.08083

1. 초록

1.1 소개

- 본 논문에서는 물체 검출을 위한 빠른 영역 기반 합성곱 신경망 Fast R-CNN을 소개합니다.

- Fast R-CNN은 심층 합성곱 신경망을 사용하여, 이전 연구 결과 보다 더 효과적으로 물체 영역을 찾아내도록 만들었습니다.

- 이전의 연구와 비교해보면, Fast R-CNN은 검출 정확도 뿐만 아니라 훈련, 테스트 속도 또한 크게 증가시켰습니다.

1.2 결과

- Fast R-CNN은 VGG16 신경망으로 학습시켰으며 R-CNN보다 9배 빨라졌고, 실행시에는 213배 더 빨라졌습니다.

- SPPnet과 비교하면, VGG16을 사용한 Fast R-CNN은 3배가 더 빨랐고, 테스트시에는 10배, 그리고 더 정확하였습니다.

arxiv.org/abs/1311.2524

1. 초록

1.1 현뢍

- 기존의 PASCAL VOC 데이터셋으로 측정한 물체 탐지 성능은 이전 몇년간 큰 변화는 없었었다.

- 최고의 성능을 보였던 방법은 고 수준 컨텍스트와 여러 저수준 이미지 특징들을 혼합시킨 복잡한 앙상블 시스템이었다.

1.2 성과

- 본 논문에서는 단순하고, 유연한(scalable) 물체 검출 알고리즘을 제안하는데, mean average precision(mAP)가 이전의 VOC 2012에서 mAP 53.3%로 최고 성능을 보였던것에서 30% 증가하였다.

1.3 특징

- 우리가 제안한 방법은 두가지 핵심 개념을 가지고 있는데, 첫번째는 제안된 영역에다가 합성곱 신경망을 적용하여 물체를 구분하고 위치를 찾아냅니다. 두 번째는 라벨링된 훈련셋 자체가 적은 경우 영역 단위로 미세조정하여 성능을 크게 끌어올릴수 있었습니다.

- 영역 제안과 CNN을 결합하였으므로 이 방법을 R-CNN이라 불렀습니다.( CNN 특징들을 가진 영역들)

1.4 결과

- R-CNN과 비슷한 CNN 아키텍처에다가 슬라이딩 윈도우 검출기를 기반으로 제안된 OverFeat를 비교하였는데, R-CNN이 ILSVRC2013 검출 데이터셋에서 훨씬 큰 격차로 좋은 성능을 내었습니다.

이번 주에는 물체 탐지에 대해서 배울건데, 컴퓨터비전의 한 분야로 최근 크게 급성장함.

물체 탐지 object detection를 구현하기에 앞서 물체 위치 추정 object localization을 먼저 해야함.

이것들이 무엇인지 알아보자

이미지 분류는 이미지가 주어지면, 라벨을 구하는게 분류

이미지 분류와 위치 추정의 경우 이미지가 주어질때, 라벨과 해당 물체가 이미지의 어디에 존재있는지 알려줌

물체 탐지의 경우, 이미지 상에 존재하는 여러 물체들을 찾아내고 위치와 라벨을 알려줌.

이미지 분류, 이미지분류 + 위치 추정 => 이미지 상의 한 물체만 찾음

물체 탐지 => 여러 물체들을 찾아낸다.

위치 추정을 배우면 물체 탐지를 공부하는데 도움 되겠다.

이미지를 합성곱신경망에다가 넣으면 특징 벡터를 구할거고, 소프트맥스 함수를 적용해서 이 이미지가 무엇인지 찾아내겠다.

일반적인 분류 파이프라인이 됨.

그러면 이미지에 있는 차량의 위치를 어떻게 추정해낼수 있을까?

신경망이 바운딩 박스를 출력하도록 고치면 되겠다. 

바운딩 박스는 4개의 수 bx, by, bh, bw로 구성됨.

bx, by는 바운딩 박스의 중심점, bh, bw는 바운딩 박스의 높이와 폭

훈련셋은 라벨 뿐만이 아니라 바운딩 박스에 대한 정보도 가지고 있어야 지도 학습에 사용할수 있겠다.

이 예시의 경우 bx = 0.5, by = 0.7, bh = 0.3, bw = 0.4

* bh는 바운딩 박스의 높이가 이미지 높이의 30%정도 되기때문 

좌측의 클래스들과 우측의 바운딩 박스와 관련된 4개의 수를 출력함.

그러면 타겟 라벨 y를 정의해보자.

가장 먼저 pc는 물체일 확률로 해당 바운딩 박스가 배경인 경우 0이 된다.

다음으로 bx, by, bh, bw로 바운딩 박스에 대한 것이 있고

마지막으로 c1, c2, c3으로 이 이미지의 클래스들이 들어가겠다.

한번 예시를 보면

위 좌측 이미지가 x로 들어가면

위 이미지의 바운딩 박스에 차가 있으므로

y = [1, bx, by, bh, bw, 0, 1, 0] 이 되겠다.

위 우측 이미지가 x로 들어가는 경우

y = [0, ? ? . .. .]로 물체가 존재하지 않음.

훈련셋의 라벨은 위와 같은 형태로 정의되어야 한다.

마지막으로 비용함수를 정리하자면

L(hat_y, y)은 어떻게될까?

y_1 = 1 인 경우(pc = 1, 해당 바운딩 박스에 물체가 존재할때)에 제곱합.

y_1 = 0인 경우 (hat_y_1 - y_1)^2이 되겠다. 

*y_1 = 0일때 나머지 원소들은 상관없기 때문.

여기서는 간단하게 설명하고자 제곱 오차를 사용했으나

실제로는 로그 가능도 비용을 c1, c2, c3 계산에 써도 되고,

바운딩 박스 좌표계들을 계산하는데 제곱오차를

pc의 경우 로지스틱 회귀 비용을 사용해서 구할수도 있겠다.

지금까지 어떻게 물체를 분류하고, 위치 추정을 하는지 다룸.

신경망이 실제 물체 위치를 출력하도록 고쳐 유용함을 알 수 있었음.

다음 영상에서는 어떻게 신경망이 회귀로 실제 수들을 출력하는지 알아보자.

지도학습이 무엇인지 알아보자.

- 지도학습은 입력 x를 받아 출력 y를 구하도록함.

- 예시 : 주택 가격 예측, 온라인 광고 클릭 여부, 이미지 태깅, 음성 인식, 이미지와 레이더 정보를 이용한 차 위치 추정

표준 신경망

CNN

RNN은 위와 같이 생김.

cnn은 이미지 데이터 처리에 좋음

rnn은 1차원 시퀀스 데이터 처리에 좋다.

지도 학습에 사용하는 데이터로

구조화된 데이터와 비구조화된 데이터가 있음

구조회된 데이터 : 데이터베이스 같은 형태. 컬럼과 행으로 구성

비구조화된 데이터 : 오디오, 이미지, 텍스트 같은 데이터들을 말함. 이들의 특징은 구조화된 데이터보다 계산하기 힘듬. 사람이 이해하기 쉽지만.

인공 신경망의 놀라운 점은 딥러닝은 이전보다 비구조화된 데이터를 더 잘 처리할 수 있게됨.

신경망은 지도 학습을 통해 수많은 경제적인 가치들을 만들어냄. 하지만 이 신경망의 개념이 수십년전에 나왔지만 왜 최근에서야 크게 유행했는지 다음시간에 알아봅시다.

 이번 강의를 통해서 신경망이 뭔지 이야기해보자

주택 가격 예측하기

- 크기

- 침실 개수

=> 가족 구성원 수

- 우편번호 => 도보가능 여부

- 부

=> 좋은 학군 여부

- 가족 구성원

- 도보가능 여부

- 좋은 학군 여부

=> 주택 가격 y

신경망은 어떻게 이런 x들을 가지고 가격 y를 예측할 수 있을까

좌측의 입력들로 

y를 예측해낸다.

중간의 세 원은 은닉 유닛이라고 부름.

은닉 유닛은 입력 특징들을 받아 결정됨

은닉층 가족 구성원 수 family size는 x1, x2로 결정

모든 입력 특징들은 중간의 은닉층들과 연결되어, 출력 y를 구함.

신경망이 지도학습 환경에서 좋은걸 알 수 있었음.

인공지능이란?

- 인공지능은 새로운 열광적인 기술

- 이 열광적인 기술을 통해 운송, 제조, 헬스케어, 통신 등 수 많은 산업에서 변혁을 이끌고 있음.

- 인공지능은 새로운 산업혁명이라 부를만함.

우리가 배울 내용들

1. 인공 신경망과 딥러닝

2. 하이퍼 파라미터 튜닝과, 규제, 최적화를 통해 인공신경망을 개선시켜보자.

3. 머신러닝 프로젝트를 만들어보자

4. 합성곱 신경망 

5. 시퀀스 모델을 통해 자연어를 처리하여보자

정리

- 이 코스 내용들을 공부하면서 좋은 모델들을 만들고 커리어 잘 준비하자

arxiv.org/pdf/2009.11189.pdf

1. Abstract

- 양적 투자 Quantitative investment는 수익을 최대화하고, 금융 거래 중에 발생가능한 위험의 최소화를 목표로 하고 있습니다.

 * Quantitative investment : 최적의 수익률을 낼 수 있도록 수학적 모델링, 컴퓨터 시스템과 데이터 분석을 활용한 투자 방법 

- 최근 양적 투자에 있어서 인공지능 기술의 거대한 잠재력과 빠른 발전으로, 인공지능을 활용한 양적 연구와 실제 투자에 사용이 증가하고 있습니다.

- 양적 투자 기법들이 활용되어 왔으나, 인공지능 기술들이 질적 투자 시스템에 도전해오고 있습니다.

- 특히 새로운 양적 투자에 대한 학습 파라다임은 혁신적인 워크 플로우를 따르도록 인프라를 개선시키고자하며, 그래서 데이터 주도 인공지능 기술은 좋은 성능을 내는 인프라를 필요로 하고 있습니다. 금융 시나리오들 중에서 다양한 문제들을 풀기 위해서 인공지능 기술을 적용시키는 것에는 몇가지 어려움들이 존재합니다.

- 이러한 어려움과 인공지능 기술과 양적 투자 사이의 갭을 다루고자, 우리는  양적 투자 분야에서 인공지능의 가치를 만들어내고 연구를 수행하며, 잠재력을 알아내고자 Qlib를 개발하였습니다.

openaccess.thecvf.com/content_ICCV_2019/html/Lin_COCO-GAN_Generation_by_Parts_via_Conditional_Coordinating_ICCV_2019_paper.html

1. Abstract

1.1 현황

- 사람은 생물학적 제한 때문에 주위 환경의 일부와만 상호작용을 할수 있다보니 주위 환경을 관척한 정보로 공간적인 관계를 추론할수 있도록 학습하였다.

1.2 소개

- 사람과 마찬가지로 기계도 연산량에 있어서 제약을 가지고 있으므로, 좌표 조건부 GAN(COCO-GAN)을 소개하는데 이 모델의 생성자는 공간적 좌표를 조건으로 하는 파츠들을 이용해서 이미지를 생성해낸다.

- 판별자의 경우 일관성과 지역적 외양, 에지 크로싱 연속성을 가지도록 패치들이 합쳐진것이 실제인지 아닌지 판별하도록 학습한다.

- 학습 과정에서 전체 이미지를 조정하지 않더라도, COCO-GAN은 최신의 고품질 이미지들을 만들어 낼수가 잇다.

- 생성시킨 이미지들을 추가하여, COCO-GAN은 기존의 훈련 샘플들보다 더 많은 이미지를 만들수가 있으며, 이를 beyond-boundary generation이라고 부른다.

1. Abstract

1.1 현황 

- 강화 학습 방법들이 만들어지면서 알고리즘 트레이딩을 포함한 다양한 방면들에서 활용되고 있다.

1.2 소개

- 본 논문에서 주식 거래는 상태, 동작, 리워드로 마르코브 성질을 가지고 있는 것들을 이용한 게임으로 보고

- 금융 상품을 거래하는 시스템을 소개하고, 실험하였다.

- 이 시스템은 다양한 비동기 actor와 critic 신경망 아키텍처를 기반으로한다.

1.3 실험

- 실제로 데이터를 익명화하여 실험을 수행함.

- 가장 좋은 주식 거래를 한 아키텍처의 경우 RTS 선물 시세엣 연간 66%의 수익을 얻을수가 있었습니다.