집밖은 위험해

 these days, i didn't write down any english dialog. after last friday, i was hurried to translate about the book, statistical learning method. becuase i had appointment for a study group, i should be prepared to participate hardly.

after i almost finished that, i feel suddenly depressed on the saturday. i think it was because the last week i did best my self, but at that time i loose my study paces. there were still many things i have to do, i had to read some scholar paper, and prepare for computer vision presentation, and attend to the statistic study group. these made me frustrate.

 so, i couldn't anything study or writing english harder than before. today also, my condition was not good enough but, from 11 pm or 12 pm, these usleness thoughs are gone, i could focus on what i do in present. i don't understand this mental phenomenon is wheter the reason is thanks to the medicne that i took, or my study pace goes well or i could concentrate on some coding examples.

 and then, i was too much postponed my writing practice. i must n't delay off this any more. but nowadays i thought about my training method. because learning english with friend is very good source to study. they gave me many defailed expressions that i can use in practical situdations. nevertheless, that point seems to be a problem for me. because i have trouble with listening english. but the most of speaking i coun't understand is not expressions about english culture, but i think it is a sentences the native speakers usually speaks. 

 in my opinion, i should practice to listen common expressions more then cultural ones. this is my conclusion that i got this by listening bbc world radio everyday, i could understand some of words, but i couln't understand what i don't know the pronunciation. wait a minite! that's it. the problem is pronuncination i nerver tried to listen.

 today i watched the video, to practice my listening skill and i choosed the another one instead of frieds because of the reason i already write. the video clip was not hard for me. most of speaker's saying was not hard to understand and pronunciation was easy as much as i could follow them. but it's a little slow.

 anyway, the reason i got a problems with english, i never tried to study several pronunciation, just only focus on anything. and then frustrated and forgive it to study. by listening bbc radio, there were serveral pronunications of people i could understand or not. that gaves me intuition about listening i have to do linsten serveral it not only one cultures. and i should not have to dig deeper too much for preventing frustration.

 theres are what i feld today. i hope today's experiences helps me. 

1월 달의 마지막 주 정리를 해보자

이번 주 동안 논문 리뷰도하고, 컴퓨터 비전 강의 정리하고, 통계 학습 이론 1강 정리하고, 프로그래머스 시험도 치고, 연결리스트 알고리즘 문제 풀고, 영어 시험도 봤다. 이렇게 보니 뭔가 참 한게 많아 보이네.

우선 지난주 토요일부터 생각해보자 그때 프로그래머스 레벨 2 시험을 봤는데, 2번 정도는 실패하고 3번째 시도에서 통과하기 직전까지 갔었지만 시간 부족으로 한 문제를 통과하지 못하고 말았다. 사실 문제를 풀긴 했는데, 속도 때문에 통과 못한거긴 하지만 이따가 한번 풀어봐야지

 이 시험을 보고 나서 논문 리뷰를 했는데, 그 뭐냐.. 초기 딥러닝 모델인 레쿤의 LeNet에 대해서 봤었다. 이 논문에서 완전 연결의 개념과 컨볼루션을 통해 특징들을 추출해내는 내용들이 나왔었던것 같다 잠깐 다시 봤는데 신경망을 구성하는 레이어를 커널로 서브 샘플링하고 컨볼루션 연산하는 이런 내용들이 나왔엇네, 하지만 이 논문에서는 LeNet의 구조에 대해서는 설명하지만 가중치가 어떻게 학습되는지에 대한 내용은 없었다. 일단 오늘이나 내일 시간 날때 역전파에 대한 논문 리뷰를 한번 해야되겟다.

 일요일에는 거의 대부분 시간을 저스틴 존슨 교수님의 신경망 강의를 정리하는데 시간을 보냈다. 맨 처음 그동안 공부한 내용들을 배웠는데, 이미지 분류 문제를 풀기위해 선형 분류기를 대수적, 시각적, 기하학적 관점으로 보았었고, 선형 분류기로 입력과 가중치의 선형 결합을 이용하여 출력을 구하였고 이를 비용함수로 어디에 속하는지 찾아냈던것 같았다.

 지난 시간 최적화를 공부하면서 가중치를 어떻게 학습하는지 배웟었다 랜덤 탐색 방법에서 시작하여, 경사 하강법에 대해서 배워가는데, 경사 하강법의 단점, 그리고 이를 보완한 SGD, SGD의 노이즈 취약과 지그제그로 수렴하는 문재를 개선하기 위해 모멘텀 개념을 사용했고, 관성에 더 가중을 준 네스트로프 관성이 있었다. SGD에서 모멘텀이 아닌 학습률을 조절하는 방향으로 나온 알고리즘이 Adagrad가 있었고, 이를 개선한게 RMSprop, RMSProp와 모멘텀을 합친 adam 최적화기에 배웟던걸로 정리할 수 있겠다.

 이번 신경망 강의에서는 선형 분류기의 단점을 보고, 왜 신경망 모델이 효과적인지 배워보는 시간을 가졌다. 처음에 선형 분류기의 단점과 선형 분리 불가 문제를 풀기 위해 특징 변환의 개념도 보고, 컴퓨터 비전에서 사용하는 특징들이 어떤것들이 있는지 보았다. 대표적으로 이미지 히스토그램, 그라디언트 방향 히스토그램, 단어 사전 등이 있었으며 이를 혼합한 특징이 2000년대 중반까지 많이 사용되고 있엇다고한다.

 그러다 2011년 알렉스넷이 등작하면서 딥러닝 기반 방법들이 많이 뜨기 시작했는데, 다양한 특징들을 추출하고, 학습을해서 분류 문제를 해결할수 있었다고 한다. 선형 분류기와 딥러닝 모델의 차이를 보자면 선형 분류기를 이용한 분류의 경우 특징 추출 파트가 나누어져 있어 이 특징 추출 시 소수의 일부 파라미터들만 조절해서 학습시켰다고 한다면, 딥러닝 모델은 학습 모델 전체의 파라미터, 가중치들을 조절시킨다고 이애할수 있었따.

그리고 신경망 구조가 어떻게 되는지, 신경망이 다중 탬플릿을 어떻게 처리하는지, 활성화 함수가 하는일, 뉴런과 비교, 공간 변환을 통한 선형 분리, 규제 강도에 따른 일반화 성능 등을 보는것 까지 정리했었다.

 화요일 날의 경우는 알고리즘 공부를 하면서 연결 리스트에 관한 리트 코드 문제들을 풀었다. 처음에 연결 리스트를 오랜만에 보다보니 손에 익지 않아 시간이 좀 걸렸었는데, 나머지 문제들은 첫 문제에 비해 빠르게 할 수 있었다.

 수요일에는 내가 뭘했나 생각해보면 통계 자료를 정리했었다. 선형 모델이든 신경망 모델이든 다 통계 기반 학습 모델인데, 이전에 방통대 수업을 들으면서 전반적으로 공부는 했으나 뭔가 시원하게 정리 되지는 않았었다. 그런 이유로 공부의 필요성을 느끼고 있었는데, 다른 분이 이해하기 쉬운 좋은 책을 추천한게 있어서 이걸 번역하면서 좀 공부했다.

 이날 본 내용들은 통계적 학습 모델이 무엇인지, 실제 결과가 나오는 법칙 참 함수 true function인 f에 가까운 함수, 추정 함수 f_hat을 구하는 문제이며 이 f를 추정해서 무엇을 할수 있는지 예측과 추론의 관점에서 보았다. 이후 모델 추정 방법에 대해 정리하면서 모수적 방법, 비모수적 방법의 개념을 전부터 알고있었지만 이번에 조금더 명확하게 이해가 되었다. 전에는 모수적 방법을 매개변수를 사용하는 방법이라 생각했는데, 모수적 방법은 그게 아니라 우리가 알지 못하는 문제 f를 특정한 함수 형태, 선형 모델이든, 비선형 모델이든 f_hat일 것이라고 정의하고 접근하는 방법이란걸 말이다.

 비모수적 방법은 이와 다르게 함수적 형태를 가정하지 않고 추정 모델을 구하는 방법인데 함수적 형태가 없는데 어떻게 추정 모델을 구한다는 것인가 아직 감은 잘 안잡힌다. 이전에 비모수적 방법으로 k means, 히스토그램, 커널 밀도 추정이 있다는건 봣엇지만, 데이터에 의존하는 방법이기도 하다는건 알겠지만 뒷 부분들을 좀 봐야 될것같다.

 수요일에는 여기까지 밖에 못하고, 나머지는 목요일까지 봤는데, 그 외에는 모델 복잡도와 정확도 사이 트레이드 오프 길항 관계, 비지도 학습과 지도 학습이 무엇인지, 회귀 문제와 분류 문제가 무엇인지, 모델 정확도 평가, 편향과 분산(모델 복잡정도?)에 따른 MSE 길항 관계, 분류 문제가 무엇인지 가장 기본적인 베이즈 분류기. 베이즈 분류기는 여러번 봤지만 여전히 햇갈리는게 아까 봣던 실제 모델을 조건부 확률로 표현한걸 베이즈 분류기라고 하는것 같긴 하다.  그거 말고는 자주봤던 최근접 이웃 분류기까지 하고 마쳤다.

 목요일에는 통계 자료 본것도 있지만 어제 영어 시험을 봤고, 시험 자체는 망친것 같았는데 생각보다 성적은 잘 받은은것 같더라 IM2, Speaking 6 ! 실제 스피킹을 보면 이만큼 되는것 같지는 않지만.. 

 아무튼 내가 지난 한주 동안 이렇게 보냈고, 이제 뭐해야하나 통계 3강 보고, 딥러닝 6강 보고, 프로그래머스 시험도 쳐보고, 그래도 개념이 정리되는것 같아서 좋긴하다.

 아 .. 오늘 비지도 학습에 대해서 공부했는데 그 중에 PCA를 보면서 이전에 공부했던 내용들이지만 잘 생각이 안들더라 선형 대수 이론에 대해서 한번 복습해야지 계속 생각은 했었는데, 그래서 잠깐 찾다보니 다크프로그래머님이 잘 정리해놓으신게 있어서 이걸 보면서 좀 정리해야할것 같다. 밑바닥부터 딥러닝은 글 쓴지 한참 됬는데 아직 까지도 정리 못하고 있는데 언젠간 할수있겟지 모르겟다.

 today was very hard for me. especially, i tried to translate the book i'm not sure this is correct title. it's name maybe  "introduction statistic learning with R". i had run out of time, i hurried to do it. the reason why i started this is i already have studied statistics and probabilitics, but most of notions about that i feels i need to practice it more. i forget many concept of theses studies and i was too hesitated becuase i am not sure the things i know can not be correct. so, from yesterday unti today's 9 pm i could wirte most of them. although i could not understand perfectly, but i can repeat broadly and it was helpful for me.

 and then i found the video to practice my english, i choose the one video clip of friends the topic was about holloween.. that video was the most shortest one that i can afford to watching. after wachting that, i have to take the english exam i reverved yesterday. so, in that video, talked about holloween cultures in the uk and us, and what people do in the holloween and how people have a fun. but i don't have enough time to repeat it, ended it quickly.

 oh i got something to write here. today's afternoone i made a recommendation system using csr_matrix, it was about matrix factorization. using matirx factorialization, we can decompose very big spares matrix into smaller ones. and then with converted matrx about users and recommend items, i could find what is the most recommend things for me. at that time, i could write any explanation of my codes in the jupyter noteboook markdown. before i started this dialog, i could not write anything easily comparing with now. but, it became not difficult works for me now! i was very satisfied with improvement of my writing skill. i know my grammar and vocabulary is terrible but i am so happy i don;t have any type of hesitation about writing.

 anyway, come back to my speaking test, i was self esteemed too much, i though that i can speak and understand english well or fluently, but it was not happend to me. serveral times i missed what theater's are saying and i was got stuck in too much. i was so depressed, It seems there was no improvement of my speaking skills compare with a week ago! but supprisingly test report was not too bad than i though, teachers gave me good points better than my though, and result of the exam seems also to be better than before.

 this is a report of the talking exame i had a week ago. at that time my english ekill was evaluated as 5 in case of toeic speaking and IL in case of OPIC.

 but in this time, i had a test in another comp, my test result was not too bad.  my speaking level was evaluated to a topeic speaking 6 and IM2 in Opic. i got a better points from 5 to 6! this result shows me that i didn't tried to practice my speaking skills with my conciousness enough, but with only shadowing training my skills become better. nevertheless, i have to do it from now. because i felt the need of it in this test.

 today i watched very funny video clips of friends. it's topic was  about joey's perverted tailer. i didn't know what the word perverted means before watching that i founds the meanings. but, i could not predict how story will be going on. before i found the learning english with tv series, i tried to understant the speaking without subtilte i think they are not helpful for me to imporve my listening skills. but after watching several videos in the channel, i realize i have to change my english practice methods. so, i watched it with subscription first and serveral times until i can hear the words without it.

 finally, i could listen and understand most of what the actor's is saying. plus, i tried to understand ameraicna culture and expressions. today's expressions that i didn't know the meaning was "crack the codes", "no way", "stop the q tips when there are registance", "peverted" like that. anyway this trainig is very good for me and i recall what we have to do thing when we want improve our english skills was to make bigger circles about speaking and linstening vocabulary not, the big vocabulary circle that means we already knows.

 yesterday, i could not write down anything because there was no time. today, it seems that i wrote more sentences comparing with before. i'm so proud of my archievements that i wrote down until now. and i hope i can understand and hear the natives speaking more and more. 

wa wa wa 

 i should hurry write today's log because i just make a phone call to let go chicken. anyway todays video clip i wathced is joey vs thanksgivingday. in that video, i could learn about some expressions of joeys challenge and american traditions. but sadly, it's too hard for me to understand the many words they are speaking.

 but after have a training, i could imporve my comprehension about that. nevertheless, without subscription or any comment it was not easy yet. what expressiosn i haver leanered? there were some expresseions like "that's what i do", "that's it" etc.

 in the video, she says they will not cook for thanksgiving day because they are still on diet and pheby? could not eat turkey the reason is turkey is anima and wise. most funny seen was here. and then joey's answer was turkey is ulgy and delicious!!

 um.. i want to write something more here. but i'm running out of time. so i have to go to get my chicken don't to be late. i don't wanna eat freezed chicken. anyway i solve many coding problems and finished my homework, so after eating that i will prepare my presetation for computervision with deeplearning

today's video that i watched is the video clips from friends "Joey doesn't share food". before i watch original video clip, i wathced this clip with subtitle and comments about the words. There were a lot of expressions i didn't know well, like "out of nowhere", "reach down/into/up", "get along", etc. it was really helpful for me to practice listenting this words.

 i was too self satisfied about my listen skills because i can understand many video uploaded by english teacher. but  desipite they speak easily to understand for students, i forgot those clips are for english learner not native and i did feel like that. this seems really ashamed.

 so, after i realized that, i tried to listen what speakers are saying in the video several times,  tried to memorize their pronounciations about the expressions i couldn't understand. and then i watched original video without any comment or any funny explain. that was too hard for me. so i also watched it repeatdly and was shadowing again, again.

 finally, I could understand most of what speakers are saying. anyway i'm not sure what is the reason of my comprehension about the video, whether i memorized all of things or i eventually become familier with native speaker's pronounciation. I think if i watch another video, i will be able to find the answer of this questions. so, there's long way to go to be a better listener yet.

 Backpropagation applied to handwritten zip code recognition

1989년 Yann LeCun은 최초의 딥러닝 모델이라 할수 있는 LeNet을 소개하였는데, 이 논문에 대해 한번 리뷰해보자.

일단 초록의 내용을 정리하면

 작업 범위에 제약을 주면 신경망의 학습 능력을 크게 높일수 있는데, 이 논문에서 그런 제약들이 어떻게 신경망 구조 전반에 역전파 과정으로 반영이 되는지 설명하려고 한다. 이 방법이 US 우편 서비스에서 제공하는 손글씨 우편번호 인식에 잘 적용되었으며, 신경망을 학습시킴으로서 정규화된 이미지를 분류할수 있게 되었다.

 다시 정리하면 신경망은 작업을 어떻게 수행할지에 대한 제약 조건을 역전파를 통해 신경망에 반영을 반영 시킴으로서 학습 능력을 줄 수 있는데, 레쿤은 정규화된 문자 이미지를 입력으로 주었을때 분류 결과를 출력할 수 있는 신경망을 만들었다. 그 결과 미국 우편 시스템에서 손으로 적은 우편 번호를 잘 인식할 수 있었다고 한다.

 이제 소개를 보면

 레쿤은 1989년 단순 순자 이미지를 인식하는 연구를 했는데, 작업에 대한 사전 지식을 가진 신경망 모델을 설계해서 다른말로 신경망을 설계하고, 학습 시킴으로서 복잡한 경우에도 좋은 결과를 얻을수 있었다고 한다.

 이 때 계산 성능이 저하되지 않을 정도로 신경망 파라미터를 줄이지 않는 것이 기본 원칙이며, 이를 지키면 올바르게 분류할 확률을 증가킬수 있었다.

 이 논문에서는 Rumelhart가 1986년에 소개한 역전파 알고리즘을 미국 우편 번호 인식에 적용한 결과를 1989년 덴버가 했던 연구와는 다르게 특징 벡터이 아닌 이미지 자체를 바로 신경망에 넣음으로서 많은 양의 저차원 정보를 어떻게 역전파 신경망이 처리하는지 보여주고자 한다.

 정리하면 1989년 레쿤은 특징이 아닌, 이미지 픽셀 같은 저 수준의 정보들을 역전파 신경망의 입력으로 사용하여 실제 우편 번호 인식에 적용하였다.

우편번호 데이터

 레쿤이 사용한 우편 번호 데이터들은 손글씨 우편 번호들을 분할한 9298개의 디지털 이미지를 사용하였는데, 크기도 다양하고, 글씨체나, 도구도 다양했다. 이 중 7291개를 훈련용으로 사용하고 2007개를 성능 평가용으로 사용해지만 여기서 중요한 점은 훈련이나 테스트 데이터 셋 둘다 애매하거나 불류할수 없거나, 오분류된 예시들도 상당히 많이 있었다.

 원래 우편 번호들은 40 x 60 정도의 크기로 다양했지만 선형 변환을 통해 16 x 16 크기의 이미지로 맞추었고, 스케일 조정이랑 중앙에 위치하도록 조정 시켰다.

 데이터를 정리하면 총 9298개의 16 x 16 크기의 숫자 이미지를 사용

신경망 설계

 신경망의 모든 층들이 완전 연결되어 있으며, 신경망의 입력은 16 x 16의 정규화된 이미지, 출력은 원핫 인코등 방식으로 10개의 데이터가 나오도록 되어있다.

 특징 맵과 가중치 쉐어링

 기존의 시각 인식 연구에서는 지역 특징을 추출하고, 그들을 조합하는것의 장점이 있었는데, 이 기법을 신경망 내부의 히든 유닛이 지역 정보들을 결합시킴으로서 쉽게 적용시킬수 있다.

 물체의 특징은 입력 이미지의 다양한 위치에 나타날수 있으니 특징 검출을 하는게 좋지만 특징의 위치 정밀도는 크게 중요하지 않으므로 좀 잃어도 괜찬다. 1980년 푸쿠시마의 연구에 따르면 정확하지는 않더라도 대략적인 위치들은 다음 층에서 더 높고, 복잡한 특징들을 구하는데 필요하다고 한다.

 입력의 어느 지점에서 특징여부를 구하는 방법으로 "가중치 공유" 기법을 사용할수 있겠는데, 1986년 rumelhart가 소개한 개념으로 여러 신경망의 연결들이 같은 가중치를 가지는것을 말한다. 가중치 공유는 파라미터 숫자를 줄일 뿐만이 아니라 기하 정보도 나타낼수 있는 장점이 있다. 이 연구에서의 첫 히든 레이어는 특징 지도라 부르는 여러 평면들로 이루어 져있는데, 한 평면의 모든 값들은 같은 가중치를 공유하고 있어 서로 다른 장소에서 같은 특징을 검출하게 된다.

 위 내용을 정리하면 고전 패턴 인식 분야에서 저수준의 지역 특징을 조합하여 복잡한 특징을 구했다고 한다. 복잡한 특징을 구하는데 있어서는 정확하지는 않더라도 대략적인 위치만 있어도 되다는것 같다. 가중치 공유에 대한 내용은 아래의 그림으로 적었다.

신경망 구조

 신경망은 H1, H2, H3이라 부르는 히든 레이어로 구성되어있으며, H1와 H2에 대한 연결이 강하게 제약되어있다. H1은 8 x 8 크기의 12개의 특징지도로 이루어져 있으며, 각 특징 지도를 H1 1, H1 2, H1 12의 식으로 부르겠다.

 특징 지도의 각 값은 이미지 평면에서 5 x 5의 이웃들로 구하는데, H1에서 한 유닛당 입력 레이어에서 두 픽셀 간격으로 이동 시키면서 구하면, 입력 이미지는 언더 샘플링되고 일부 위치 정보가 사라진다. H1에서 H2에서도 이런 연산을 하여 특징 여부는 검출하지만 특징의 위치 정확도가 동일하지 않도록 하겠다.

 커널을 스트라이드 2로 하여 슬라이딩을 시켜 16 x 16의 이미지가 8 x 8의 히든 레이어로 서브샘플링 시키고있다.

  이미지의 어느 지점에서 중요한 특징의 경우 다른 위치에서 중요할수 있다. 그러므로 특징 지도가 주어질 때, 그 특징에 해당하는 유닛들의 경우 같은 가중치를 가지게 된다. 다시 말하면 H1 1의 64개의 유닛들은 25개의 동일한 가중치 셋으로 구한것이라 할수 있겠다. 이미지의 해당 부분에서 동일한 연산을 하여 구한것이며, 특징 지도를 이용한 이 함수, 연산을 5 x 5 커널을 이용한 비선형 서브샘플된 컨볼루션이라 생각할수 있겠다.

 위 내용을 정리하면 하나의 커널로 컨볼루션 연산을 수행하여 하나의 히든 레이어를 구하므로 가중치 공유라고 부르며, 해당 커널이 가장 잘 나타내는 특징들 위주로 컨볼루션 연산 결과가 나오게 된다. 아래의 커널이 주어질때 "/"부분이 가장 잘 찾아지며, 텅빈 공간의 경우 컨볼루션을 하여도 아무것도 찾아지지않는다.

 다른 특징 맵(히든 레이어)의 유닛은 다른 25개의 가중치(커널)으로 구하며, 특징 맵 끼리는 편향 또한 구하지 않으며 각 특징맵의 유닛은 컨볼루션 연산 후 편향을 더하여 구한다. H1 레이어는 768개의 유닛( 8 x 8 x 12)과 19,968개의 연결(768 x 25 + 268 x 1[편향])으로 이루어지며, 학습 가능한 파라미터는 1068개(768 히든 레이어+ 25 커널x 12커널 개수)뿐이다. H2 레이어도 12개의 특징 지도로 이루어져, 각 특징 지도는 4 x 4 크기의 평면으로 16개의 유닛을 가지며, 입력과 H1과 동일한 방식으로 연결되어 있다.

 H2의 유닛들은 H1 특징 지도들로부터 얻은 지역적인 정보들을 가지고 있으며 5 x 5 크기의 8개의 맵(커널)로 구한다. 그래서 H2의 한 유닛의 입력은 200(5 x 5 x 8)개의 가중치와 평향들로 이루어진다. 정리하면 H2 레이어는 192개의 유닛(12 x 4 x 4)를 가지고 있고, 총 연결은 192 x 201(가중치 200+ 편향 1) = 38,592개의 연결들로 이루어 진다. 여기서 학습 파라미터 갯수는 2592개로 200개의 가중치 x 12개의 특징 지도 + 192개의 편향이 된다.

 이제 대강 이 논문 전반에 대해 본것 같으니 마치자면

LeCun은 컨볼루션 연산을 이용하여 우편 번호를 인식 가능한 신경망 모델을 만들었다.

여기서 컨볼루션에 사용하는 각 마스크들은 원본 픽셀 이미지로부터 지역 특징들을 학습(역전파 알고리즘을통해)시켜 구하고, 이 마스크들은 주어진 이미지에서 중요하다고 하는 특징들을 검출하여 은닉 층들을 만들었다. 이 은닉층에 마스크로 컨볼루션을 더 함으로서 지역적이던 특징들이 혼합되도록 하였고, 그 결과 10개의 카테고리로 줄임으로서 입력 이미지로 부터 숫자 데이터를 구할수 있게 되었다고 할수 있을 것 같다.

ref

[1] en.wikipedia.org/wiki/LeNet

[2] Backpropagation applied to handwritten zip code recognition, 1989

[3] www.hellot.net/new_hellot/magazine/magazine_read.html?code=202&idx=42061&public_date=2018-08

 yesterday, i couldn't write anything because i hang out in the moring, so i was too tired. because of that i need to write my dialog in the weekend too. anyway, today i watched the friends because it is the most popular tv show for everyone who study english so, i choosed it.

 that video was uploaded by the channel learn english with series, their views was over the 1Millons. that channels makes very good videos to study because they not only gave us a subscription, but also meanings of the words, ans some example of the expressions. that was really great to understand what the actor or acteress are saying, and by repeating them severy times, i have enough time to remebmer it.

 original video clips was short 4 to 5 minutes, but adding these materials for training the videos running times was only 15 minutes, it was not long for me. after watching that, i find the original video and watched it without subscription. also, i couldn't understand all of them, but thanks to this training i could understand some words and expression that i didn't know before.

 the day before yesterday, you know i watched the same video gaved me a big intuition of english speaking because i wanted to understand more about that. but i forgot the most thing is using another words and expression not i used before. so, this is why i choosed the video about friends. althoug the firends is too fast and hard for me because of many expressions i don't know, if i try to watch and practice it repeatedly, i hope i will be more familiar with speaking english.

 와 벌써 22일이니 1월이 얼마남지 않았다.

2021년이 되고 나서도 성장했는가? 되돌아보면 뭔가 많이는 한것 같지만 아직은 잘 모르겠다.

  이번주에 크게 컴퓨터비전 딥러닝에서 최적화 기법들이랑 배열 관련 알고리즘들, 그리고 자연어 처리하는 신경말 모델들을 공부했었는데, 지난주랑 비교했을때 나아진점은 시간 관리를 적절하게 한 점인것 같다.

에러 해결 과정에서 딥러닝 모델 입출력 구조 이해

 지난 주에는 여러 에러를 해결하는데 시간도 줄기는 했지만, 해결 과정에서 관련 있는 부분을 정리하면서 매우 유익했다. 모델 내 컨볼루션 연산 시 에러가 발생을 했는데 이 원인을 찾아가면서, 특히 신경망 모델 구현 중 각 층의 파라미터들을 설정해주는데, 어떻게 이 파라미터들을 설정하느냐에 따라 학습 파라미터 갯수가 늘어나고 줄어드는지, 출력형태가 어떻게 되는지 등을 날 잡고 보면서 이해하는데 많이 도움되었다.

다른 방식으로 정리해보자

 얼마전에 영어 공부하다가 영어 스피킹 자체는 잘 나오는데 막상 단어가 안떠올라 막히는 문제가 있었다. 잘 떠오르는 단어들로 문장을 쉽게 만들수 있지만 그렇게 다양한 단어들을 활용하지는 못하는 문제가 있었다. 그 원인은 아는 단어가 많더라도 말할때 익숙한 단어만 쓰다보니 안되던 것이었고, 지금은 잘 안쓰던 단어를 스피킹 문장을 만드는데 사용하려고 의식하고는 있는 중이다.

 이처럼 나는 전부터 공부할때마다, 내 언어로 정리하기 보다는 남의 말을 그대로 자주 반복하고 있었다. 어떻게 정리해야 될지를 몰라서. 그런데 이번에 최적화 내용을 정리하면서 신기한 일이 있었다. 시간 여유가 있는 동안은 저스틴 존슨 교수님이 말하는 모든 내용들을 내가 이해한데로 번역해서 정리하고 있었는데, 내가 이해할수 없는 표현들이 너무 많아 진행이 더디고 번역의 질이 좋지 않았다.

 그러다 시간이 부족해지자 뒷 내용은 그림이랑 설명만 몇개 붙이고, 강의 내용과 설명을 보고 내 방식대로 이해하고 끝냈었다. 그러자 발표를 하는데 앞의 내용은 내가 번역한 내용을 따라가느라 버벅였지만 뒷 내용은 내가 이해한 방식대로 말하다보니 말이 술술나오기 시작하더라. 이러면서 내 언어로 정리하는 중요성을 오랜만에 느낄수 있었다. 전에도 몇 번 경험했지만 수능 때부터 깜지식으로 복습하는게 익숙하다보니 나한태는 너무 힘들더라.

알고리즘 공부는?

 이번 주에는 알고리즘 공부로 배열 처리에 관한 내용들을 봤었다. 내가 어떤 문제를 풀었더라.

리트 코드에서 생각 나는데로 정리해보자

1. 벽으로 물을 가두고 물 량이 얼마나 되는지 구하는 문제

2. 자기 자신을 제외한 수들의 곱을 반환하는 문제

3. 가장 부유한 사람을 찾는 문제

4. 세 수의 합이 0이 되는 경우 찾기

5. 배열 파티셔닝

 하나가 더 있었는데 생각 안나니 넘어가고, 이번 주에는 시간 절약을 잘 했었다. 지난 주에는 내 방식대로 풀겠다고, 고집 부리다가 알고리즘 문제 푸는데 다풀기는 했지만 상당히 많은 시간을 허비하고 말았다. 그런데 그렇게 시간을 쓰는게 잘한 것 같지는 않더라 더 좋은 방법들이 있는데 안보고, 다른일들이 있는데 이러기가 그래서 이번에는 좀 풀어보려고 해보고 좋은 방법이 떠오르지 않는 경우 책 등을 참고해서 풀었다.

 as you know, i watched the video yesterday and i got a great insight of speaking why we got stuck. so after then i had practice to speak the words that i never used before consciously. after one day, i think this really works because after do that, i could make a sentence better than before. of course. of course, my improvement is not big enough to speak like that, but i can feel it's real helpful for me!

 anyway, for training my english skills, i searched a video how to imporve my speaking vocabulary, i found the one that i watched yesterday again! but it's really really helpful for me, i just watch it again. during wachting that, i could understand more words and do shadowing practice more than before.

 today's dialog is not longer enough. but i'm so tired becuase i participated in a meeting about mearchin learning. i tought that i already study AI, so it will be easy for me. that thoughs was really silly, the presenter was really comprehensive and gaves us many intuision about that. i was satisfied with attending that meeting.