파이토치과정 - 4. 깃랩저장소와 코랩 연동, 회귀/분류 학습, 시각화까지

이전 실습과제

1. 주가 정보 크롤링 프로그램 작성 matplotlib과 seaborn을 이용해 csv jupyter그래프 표시

2. sysstat data를 dataframe으로 바꾸어서 동일하게 분석

필드 데이터 실습

 

* sysstat 성능 상황 기록

- sar 명령어로 10분간격 확인 가능

ref : platformengineer.tistory.com/46 (sysstat 사용법)

 

 

apt --installed list | grep sysstat

apt-get install sysstat -y

vi /etc/default/sysstat

ENABLED="false" -> "true"

service sysstat restart

/var/log/sysstat에서 확인 가능

 

 

 

----

1. colab 사용

2. git repo 와 colap연동

3. ml 기본코드 이해

4. sklearn 빌트인 모델 사용 코드 작성 regression, classification

 

 

과제

1. load_boston, load_innerud, fetch_california_housing 데이터 가져와 분석, 모델 선택하여 regression 학습

2. sysstat.data 를 dataframe으로 바꿔서 동일하게 분석하기

 

 

 

 

 

colab

- gpu 무료 제공

- jupyter notebook

 

 

 

colab과 깃랩연동

- 기존 .ssh파일 모든 사용자 r권한 주기

   chmod a+r ~/.ssh/*

- .ssh 아래 파일들 가져오기

 

* filzilla 사용

-  사이트 관리자에 sftp로 추가. 구글 클라우드 인스턴스 ppk, pem 사용하여 연결

blog.naver.com/PostView.nhn?blogId=appnada&logNo=221194916635&parentCategoryNo=&categoryNo=14&viewDate=&isShowPopularPosts=true&from=search

 

 

* scp의 경우

scp -i 키 계정@구글클라우드플랫폼주소:/home/디렉토리/파일 /home/옮길디렉토리

 

 

 

 

구글 드라이브 마운트 시키기

 

from google.colab import drive

import os, sys

drive.mount("/content/mnt")

nb_path="/content/notebooks"

os.symlink("/contnent/mnt/My Drive/Colab Notebooks", nb_path)

sys.path.insert(0, nb_path)

 

 

 

 

 

!cd /content/notebooks/

!git config --global user.name "name"

!git config --global user.email "email"

 

** 나는 /content/notebooks이 안되서 심볼릭 링크가 아니라 그냥 원본 폴더로 cd했다. 아래도 동일

!cd /content/mnt/My\ Drive/Colab\ Notebooks

-> 보니까 심볼릭 링크를 만들때 /contnent/mnt/My drive/ ...로 오타를 내서 잘못됫더라 고쳤더니 기존 코드대로 동작

 

!mkdir ~/.ssh

!cp /content/mnt/"My Drive"/id_rsa ~/.ssh

!cp /content/mnt/"My Drive"/id_rsa.pub ~/.ssh

!cp /content/mnt/"My Drive"/authorized_keys ~/.ssh

!cp /content/mnt/"My Drive"/known_hosts ~/.ssh

!ls ~/.ssh

 

 

!git clone 클론할 저장소 /content/notebooks/폴더명

 

 

# -C는 저장소 명시

!git -C /content/notebooks/****** add .

!git -C /content/notebooks/****** pull

!git -C /content/notebooks/****** status

!git -C /content/notebooks/******* commit -m "message"

!git -C /content/notebooks/****** push

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

------------------

server refused 문제

- 중간에 하다가 퍼블릭키 문제로 서버 거부가 발생

- 클라이언트 ppk와 서버의 pub가 매칭이 안됨 + 서버의 공개키가 없어져있었음.

 

- 아래 링크 참고하여 해결

 1. 푸티 키젠으로 새 pub, ppk 생성

 2. 서버 ssh에 새 pub 등록

 3. 웹으로 서버 접속하여 authorized_key에 새 pub 복붙

 4. sshd restart

 

opentutorials.org/module/432/3742

serverfault.com/questions/955843/putty-server-refused-our-key-google-cloud-platform-compute-engine-instance

 

---------------

 

 

 

 

 

 

1. load_boston, load_innerud, fetch_california_housing 데이터 가져와 분석, 모델 선택하여 regression 학습

 

 

 

california housing regression

1. 라이브러리 임포트

 

2. 데이터 준비하기

 

3. 데이터 확인

 

 

 

 

 

4. 회귀 모델 생성 학습, 예측, 시각화까지

 단순 선형 회귀 모델

 

 라쏘라르 모델

 

 

 

 

 

 

 

 

 

유방암 데이터셋 SVM으로 분류하기 

1. 라이브러리 임포트

 

2. 데이터 준비

 

 

 

 

 

3. SVM 학습, 분류, 시각화