집밖은 위험해

sadly, i could write my dialog yesterday becasue i was too busy to solve some problems about making deep learning model that can analysis sentimental by RNN.

there was many steps i have to do, before i inputs data to rnn, the data was needed to preprocessed like delete null , duplicated data, and encoding etc.

and then i designed some rnn models for sentimental analysis.

while i build models and fiting, many error was occured, it made me spend more time. so i can't affort to write anything or practice english.

today i spend my time to relax and watch some youtubes videos. but despite today is e weekend, i have to prepare for next weekend.

becuase i will present how to optimize weight matrix w in computer vision. and how to solve some coding problems. and i was supposed to pass the programmer's coding test level 2 but i didn't try yet.

anyway, i can't postphone my english practice anymore, i watched some videos to do it. today my object is to watch video about how can i understand long and fast english sentence.

so, i searched and found one. the video was uploaded by pronounciatio pro. it was very short video but while i am writing this log, i forget what this video was saying. 

for this reason, if i summerize this video, this video gave me some solutions. first solution was "do what native speakers do", sencond was "don't listen to every word", last one ws "listen for the stressed words".

i also agreed with this solutions and already try with that. and this video commented that we can practice listening skills at esl-lab.com. the web site provided video which have a variety of accent and some problems to improve our skill by checking whether we understand well.

i watched the video episode 31 that talked about english teacher which reason he become english teacher, why he started youtube channel,  and his background etc.

after listening, i taked the exams. i answered 5 question correctly. altough it's 2 and half o'clock , i have to a lot of things, so i cannot sleep yet. what a horrible!

저스틴 존슨 교수님의 강의만 들어서는 내용을 잘 알아들을수도 없고 이해가 잘 되지 않는 부분이 많아

학습 머테리얼들을 참고해서 적는다.

aikorea.org/cs231n/linear-classify/

Softmax 분류기

- SVM이 가장 흔하게 사용되는 분류기 2가지 중 하나로 살펴보았습니다 .다른 하나는 소프트맥스 분류기인데 다른 형태의 비용 함수를 가지고 있습니다. 아마 여러분들이 로지스틱 회귀 분류기를 전에 들어보았다면, 소프트맥스 분류기는 다중 클래스의 경우로 그걸 일반화 시킨것이라 할수 있겠습니다.

 SVM이 아래의 출력을 각 클래스의 스코어, 점수로 보고있다면

 소프트 맥스 분류기의 경우 더  직관적인 출력(정규화된 클래스별 확률)을 보여주어 확률적으로 이해할수 있겠습니다. 소프트 맥스 분류기에서 또한 아래와 같은 함수 형태, 맵핑 관계 자체는 바뀌지는 않으나

 이 점수들을 각 클래스별 정규화 되지 않은 로그 확률로 볼것이며, 이 힌지 로스를 아래와 같은 교차 엔트로피 오차로 바꾸어 사용하겠습니다.

 위 형태의 교차 엔트로피 오차에서 f_j는 클래스 점수 백터 f의 j번째 요소를 의미하고 있습니다. 이전에 데이터셋의 총 손실 full loss가 모든 훈련 데이터에 대한 손실의 평균으로 구하였었습니다. 여기서 함수 f_j는 소프트 맥스 함수로 아래의 형태를 가지고 있습니다.

 소프트 맥스 함수는 실제 점수들을 입력받아 나누어 0에서 1사이의 값(확률)으로 만들어주는 함수라고 할수 있습니다. 총 교차 엔트로피 손실은 소프트 맥스 함수를 포함하고 있어 겉보기에는 복잡해보지만 쉽게 이해할수 있겠습니다.

 정보 이론적 관점

 실제 확률 분포 p와 추정 확률 분포 사이 교차 엔트로피는 아래와 같이 정리할 수 있습니다.

 소프트맥스 분류기는 추정한 클래스별 확률들과 실제 확률 분포의 교차 엔트로피를 최소화 시키는 것이고, 여기서 실제 확률 분포는 모든 가능한 경우들 중에서 올바른 클래스를 나타내는 확률 분포를 말하는데 p =[0, . . ., 1, . . ., 0] (y_i 번째 자리에만 1이 있음. 원핫 인코딩의 형태)의 형태라고 할 수 있겠습니다.  

그러므로 교차 엔트로피는 엔트로피와 쿨백-리블러 발산을 이용하여 아래와 같이 정리할수 있고,

델타 함수의 엔트로피가 0인 경우, 이는 두 분포 사이의 KL 발산 그러니까 예측 확률 분포와 실제 확률 분포사이의 거리(오차)를 최소화시켰다고 할수 있겠습니다. 다시 정리하자면 교차 엔트로피를 사용하는 목적은 올바른 대답에 속하는 모든 질량을 갖는 예측 확률 분포를 구하는 것이라 할수습니다.

엔트로피, 쿨백리블러 발산, 교차 엔트로피

- 엔트로피 : 정보의 불순도, 무질서의 정도

- 쿨백 리블러 발산 : Kullback-Leibler Divergence : 두 확률 분포 사이의 거리, 차이를 구하는데 사용

- 교차 엔트로피 : 두 확률 분포 사이의 거리

- 참조 링크 : ramees.tistory.com/64

SVM 대 소프트맥스

이 그림으로 소프트맥스 분류기와 SVM 분류기의 차이를 아라봅시다.

 이 그림은 한 데이터가 주어졌을때 SVM과 소프트맥스 분류기의 차이를 보여주고 있습니다.

계산 결과 같은 스코어 벡터 f(행렬 곱으로 얻은)가 나오고 있는데, 차이점은 점수 f를 어떻게 해석하느냐, 이용하느냐에 차이가 있다고 볼수 있겠습니다.

SVM은 이 점수를 클래스별 점수로 해석하고, 비용함수가 올바른 클래스(2번 클래스, 파란색)이 다른 클래스보다 더 높은 점수를 받을 수 있도록 마진을 사용하고 있습니다.(올바른 클래스의 점수가 클 수록 비용이 줄어들 기 때문)

 소프트맥스 분류기의 경우 점수를 각 클래스에 대해 정규화되지 않은 로그 확률로 보고 있으며, 이를 정규화를 시키고 올바른 클래스의 로그 확률이 더 높아지도록 만듭니다.(아닌 경우는 낮아지도록) 

 이 예시에서 최종 손실은 SVM의 경우 1.58, 소프트맥스 분류기의 경우 1.04지만 이 수치끼리는 비교해선 안되고 동일한 분류기와 동일한 데이터에 대해서 계산된 비용 끼리 비교할때만 의미가 있다고 할수 있습니다. 그러니까 가중치를 바꿔가면서 비용 함수로 구한 비용이 줄어드는지 전후 비교하는 것에 사용해야합니다.

이번주 공부하는 과정은 지난주와 비교하면 정말 힘들었다.

지난주에는 이번주 목표로 몇가지를 정했는데

1. 인공지능 및 딥러닝 2, 3강 정리하기

2. 프로그래머스 레벨 2 받기

3. 컴퓨터비전과 머신러닝 3, 4강 정리하기 등

4. 리트 코드 문제 풀기

이런 내용을 목표로 정했었던것 같았다.

오늘 결과적으로 본다면 아직까지 반밖에 달성 못한것 같다.

매일 영어로 일기 쓰는거 말고 내가 뭘했는지 생각해보면

일단 월요일엔 뭘했더라.

저스틴 존슨 교수님이 인공지능 딥러닝 강의 3강을 정리했었는데

저녁까지 규제를 하는 이유를 다항회귀의 예시를 들면서 PPT로 정리했던것 같다.

화요일은 영상 처리를 오랜만에 복습하면서, 이미지 좌표계와 np.where에 대한 내용들을

그림그려가면서 정리했었고 리트코드 문제를 급하게 푸는데 시간을 다써버렸다.

수요일에는

내가 6문제를 풀려고 했지만 화요일에는 2문제 밖에 풀지 못하고 급하게 준비해서

시간안에 4문제를 모두 다 통과할 수 있었다. 그러고 나서 저녁에 시간 틈틈이 나는데로

인공지능 및 딥러닝 2강 조금씩 정리해 나갔는데 아직도 1 하부 챕터를 정리하지를 못했다.

이래서 언제 3강까지 정리할까..

목표일에 처음으로 자연어 처리에 대해서 잠깐 공부했었다.

순환 신경망이라는 이름은 들어보았지만 정확히 어떤 컨샙인지는 잘 모르고 있었다.

동영상 보면서 자연어와 같은 시계열, 순차적인 데이터를 입력으로 넣는데

한층을 구성하는 노드들이 있으면, 첫 노드의 출력을 다음 층으로 넘기지만 옆 노드의 입력으로도 사용하고

이걸 순환하는 형태의 신경망임을 알고, 어떻게 단어를 벡터로 표현해서 다루는지 살펴볼수 있었다.

공부하는 건 좋은데, 오늘은 에러 케이스를 해결하는데 좀 고생했다.

자연어 처리를 하는데 konlpy라는 한국어 토큰화기?인가 사용을했는데 거기서 사용하는 MeCab이 문제였다.

konlpy에서 제공해주는데로 Mecab를 별도로 설치를 해야했는데,

설치되는 과정에서 Mecab 라이브러리를 파이썬에서 쓸수있게 해주는 바인더가 제대로 빌드되지 않아서인지

라이브러리 자체는 찾는데 특정 속성을 못찾는 에러가 났었다.

그거 해결하느라 좀 시간 오래 걸리고, __call__메소드에 대해서 공부하고

아무튼 원래 하던거는 별로 못하고 다른 문제들로 시간을 많이 써버리고 말았다.

정말 쉘 스크립트, 프로젝트 구조, 빌드 시스템 같은거를 누가 시원하게 정리해줬으면 좋는데 

그리고 오늘 이번주 동안 못한 내용들 마저 하고 있기는한데 할수 있을지 모르겠다.

공부 진도 나름대로 나가기는 하는데 다 보기도 힘들고 중간에 글쓰는데 ,다른 글쓸일이 또 생기네 O_o

이번 주말은 진짜 프로그래머스 래밸 2 도전하고, 인공지능 딥러닝 3강 마무리하고, 컴퓨터비전도 4강해야된다.

today i watched very useful video about speaking without nervousness in english

the reason why i choose this video is that i always feel nervousensess whenever i meet other person.

this is becaus everytime when i meet someone, i think that on no what i should talk about with him or she!

may he blame or tease me if i show feeling shy or nervousense?

so, i should not have to feel shy in front of them, i always lead the conversation, and i have to seems like perfect.

this thought makes me suffer, and i always avoid people to prevent me from this situation.

but, in these days, i wathed many videos about improving english skills.

and i focused on psychological factors that can affect on our speaking skills.

i found this video uploaded to youtube in 2013 gives me some insights how i can overcome this faults.

in this video, the instructor, julian northbrooks, talked about nervousness and strage fright in front of people we are speaking.

he gave me 5 tips, but i cannot remeber everythings. i will just write down here what i do not forget.

do prefare before speaking. he says if we are practice before speaking or prepared, we will be less nervousness.

but everytime we don't have to do that, because if we are relaxed, as we can get into the situation, we don't feel any nervousness and speaking freely.

another tips i can't of that exatly was that nervousness is not unique to you.

he says everyone feels nervousness and shy. so we don't have to dig ourself.

to overcome this, we should introduce ourself first to other people.

there is no one who blame you even if your speaking gramma is incorrect.

everyone will understand you becaus they also know that your are english learner

oh, my god.

i forgot writing something that i gonna write here.

this video was uploaded to answer for someone's question who feel nervousness speaking english.

in the intro, julian informs this. at that time i found interesting expressions that can be useful.

it was that you know i feel many times shy and nervouse, my mind goes blank.

yeah this is what i want to speak my feeling.

anyway today's dialog is so enough and i'm satisfied.

i hope that by keeping this phase, i want to become fluent.

한 특성만 보는게 아니라 여러개를 보는 경우 특징을 위주로 보는게 좋을까?

신용카드 발급 여부 문제에서 계속 이어나가보자

엔트로피 entropy

- 어떤 특성이 더 좋은것인가?를 보여주는 지표

 -> 아까 본 A9의 속성으로 분할한 경우 속성 값이 t일때 284개가 긍정, 77개가 긍정

    => 속성 값이 t일때 긍정이 나올 가능성이 크므로 A1보다 불확실성이 작다고 할 수 있음.

 -> A1속성으로 분할한 경우 속성 값이 a일떄 98개가 긍정, 112개가 부정.

    => 긍정과 부정이 나올 수가 비슷하므로 불확실성 uncertainty이 크다고 할수 있음.

- 불확실성의 측정 지표로서의 엔트로피

 -> 하나의 특징, 속성을 확률 변수 random variable로 볼수 있다!

    ex. 항상 3만 나오는 주사위 -> 항상 확실하므로 불확실성이 없다.

    ex. 모든 면이 1/6확률로 나오는 주사위 -> 불확실성이 존재하다.

 -> 엔트로피가 크다 = 불확실성이 크다

 -> 아래는 엔트로피를 구하는 함수.

- 조건부 엔트로피를 구하자

 -> 특징이 주어질때 해당 클래스의 엔트로피를 구하자.

정보 게인 Information Gaion

- 이제 확률변수 A1과 A9의 엔트로피를 구할수가 있겠다.

- 조건부 엔트로피를 통해 특징이 주어질때 클래스별 엔트로피를 구할수가 있다.

- Y라는 클래스의 엔트로피를 위의 엔트로피 구하는 식을 통해 구햐보자

- A1, A9 특징이 주어질때 Y가 나올 엔트로피를 구해보자

- 우리가 원하는 것은 클래스별 엔트로피를 불확실성을 없애는 방향으로, 확실한 방향으로 만들어야 한다.

 -> 어떤 정보를 추가해야 불확실성이 사라질까?를 파악하기위헤 조건부 엔트로피를 사용

    => A1의 정보를 주었을때 엔트로피가 어떻게 되는가 -> H(Y | A1)

    => A9의 정보를 주었을때 엔트로피가 어떻게 되는가 -> H(Y | A2)를 알아야 한다.

- 어떤 클래스 엔트로피가 주어졌을때, 어떤 속성 특징을 사용한 경우(조건부) 해당 클래스의 엔트로피가  클래스의 엔트로피가 얼마나 크게 변하였는가

 -> 원래 클래스 엔트로피와 특징이 주어진 경우 엔트로피가 얼마나 크게 차이나는가 = 정보 게인

=> 불확실성이 작은 A9 속성이 정보 게인이 크다.

신용카드 발급 데이터를 이용한 결정 트리 만들기

1. A1 부터 A15까지 모든 정보 게인을 측정하자

2. A9이 제일 좋구나(정보 게인이 크다)-> A9으로 트리 루트를 사용하여 분리.

3. 분리된 데이터로 다음에는 어느 속성의 정보게인이 가장 큰가를 판단하여 노드 분리

4. 3번 과정을 여러번 반복

5. 결정 트리 완성

결정 트리의 문제

- 모든 속성을 다루는 큰 결정 트리를 만든 경우의 문제

 -> 학습된 경우는 처리할수 있으나 현실에 존재하는 노이즈나 이상한 경우를 대응하지 못함.

- 아래의 그림을 보면 x축은 트리의 크기, y는 정확도를 보야주고 있음.

 -> 결정트리가 커질수록 파란선(훈련 데이터)은 높아지나, 빨간 선(테스트 데이터)은 피크를 지난 후 정확도가 내려감

  => 가지고 있는 데이터에 정확하게 만들수 있으나 학습되지 않은 세세한 경우를 다루지 못해 떨어진다.

규칙 기반 머신러닝의 한계

- 우리가 살고 있는 현실에는 노이즈가 존재하여 관측되므로 원하는 결과를 구하기 힘듬.

우리가 필요한 것들

- 노이즈가 있는 데이터에 더 강건해야하는 방법

- 가설을 더 명확하게 설명할수 있는 방법

규칙 기반 머신러닝 기법으로 나가 놀지 여부를 결정 트리로 표현 하는 경우

신용 평가 데이터셋을 사용한 머신 러닝

- 신용카드를 발급해줄지 말지를 이 데이터셋으로 판단해보자

- 690개의 인스턴스, 307개의 긍정 케이스(신용 카드 발급)

- ref : http://archive.ics.uci.edu/ml/datasets/Credit+Approval

- 신용 평가 정보 Attribute Information:

A1: b, a.
A2: continuous.
A3: continuous.
A4: u, y, l, t.
A5: g, p, gg.
A6: c, d, cc, i, j, k, m, r, q, w, x, e, aa, ff.
A7: v, h, bb, j, n, z, dd, ff, o.
A8: continuous.
A9: t, f.
A10: t, f.
A11: continuous.
A12: t, f.
A13: g, p, s.
A14: continuous.
A15: continuous.
A16: +,- (class attribute)

A1속성만으로 판단하는 경우

- A1 속성 값이 a인 경우 98개가 긍정이고, 112개가 부정

- A1 속성 값이 b인 경우 206개가 긍정, 262개가 부정

- A1 속성 값이 알수없음 ?인 경우 3개가 긍정, 9개가 부정

   => 가능한 모든 경우의 총 긍정 307, 총 부정 383

=> A1 속성만으로는 긍정과 부정 여부를 잘 분류하지 못한다고 볼수 있다. 거의 50:50 비율로 판별하므로

A9 속성 만으로 판단하는 경우

- A9 속성 값이 t인 경우 284개가 긍정, 77개가 부정

- A9 속성 값이 f인 경우 23개가 긍정, 306개가 부정

=> A9 속성이 t일때 긍정을 많이 찾고, f일때 부정을 많이 찾는다. => A1 속성보다는 잘 분류해낸다.

today i watched video about the ways to imporve english listening skills ans understand native speaker by deep english

because whenever i watch a video or listening something whose language is english,

i usulaly had hard time to understand what speaker is saying.

sometimes altough i understand some word from the speaking, i could not catch what they are saying enough.

i had no idea with this problem wheather i can not do this.

for this reason, i searched some ways for solve the problem, and then i found the one gives me some advices for that.

i already watched the video twice, during watching that i tried shadowing for my speaking practice.

i could understand the tips enough, and i'm trying to write it down but i can't remember it.

anyway, the first tip is to be stay present.

teela who is instructor of the video says when we are listening english with native speaker, we are focusing on the some words, and trying to make a reasponse.

For that reason, we are missing a lot of words that they were saying, and can not understant it.

so teela gives the advice that we need to trust our self, do not focusing on some words, and listen comfortably.

by doing that, we can catch speaker's saying, their accent, their gesture.

as a result, we can be better listener.

there were another tips, but i forgot the most of them while i'm writing here.

but the way that i rember was make learning english a necessity.

if we are going to abroad in english, we have to learn everythings to live.

we have to learn english to catch the bus and to communicate and so on.

anyway, today's video was really helpful for me.

i found not only the some reason about the problem i have, but also the solutions.

today, i could not watch any youtube video for studing english

because tomorrow, i have to participate in coding master flip shcool.

for that, i spend too much time to solve the problems whose presenter choose.

first problem was finding length of the last word, it was not difficult

but second one that simplify the absolute path of the computer was big problem for me.

there were many test cases, i had to pass all of them.

to solve that problem, i need to delete multiple slashes, delete some dots that makes me hesitate current directory or parent directory, and simplify the path with considering these things.

So that reason is why i could not watch the any type of educational video and practice speaking skills by recording my voices.

anyway i tried to write down here anything i can do, but i dont have idea.

comparing with another day's dialog, todays is much shorter, nothing comes to my mind now.

anyway after trial and error, i passed the simplied path problem at the mid night.

what a horroable day!

in the last friday, i tought that i will study machine learrning algorithms, computer vision with deeplearning, pass the programers test level 2, and etc next week.

but i am not sure wheater i can do that.

anyway, today, i spend the most time to study comparing with another day.

i'm so satisfied about that, but there are 4 problems left that i have to solve until tomorrow afternoon.

미시건대 저스틴 존슨 교수님 강의에 일부 내용을 약간 추가하여 작성하였습니다.
https://www.youtube.com/watch?v=qcSEP17uKKY&feature=youtu.be

today, i was so frustrated wtih my english skills.

altough i tried to understand lecture and repeat listening so many times, can not understand well and summarize it.

so,  i watched some youtubes video about the method of improving english skills like listening and speaking and so on.

but, The reasons that my fluency is not becoming better seems that i didn't keep it continuously.

it has been only three days that i write this english log.

it's no wonder that my skills cannot be improved so quickly.

anyway, in the flip school, i had to present about linear classifier for computer vision in the afternoon.

i had postoned preperation too much, l rushed it today morning.

Plus, i should make some answers to prior study question.

i didn't sleep enough, but made presentation material.

after lunch, in my turn to present, i was writing some description about presentation not to hesitate too much.

but it was too short to prepare for that, and then i should have to do it without my description.

i thinked that i understood about my part but anythings that i need to say did not came to my mind, i lose my pace.

fourtunately, altough my presentation was not good, i tried to make my presentation material well.

there was no one who prepared their presentation file without me.

this may be just self comport, but i show my effort to other people and i think that's better rather than do nothing.

anyway, during preparation, i have many trouble with understading what the professor say and materials, and i had spent too much times.