확률 이론
- 고전적 이론 classical theory
- 선험적 이론 priori theory
- 상대빈도 이론 relative frequency theory
- 주관주의 이론 subjectivist theory
확률과 통계학의 응용
- 인공지능 분야에서 불확실한 지식의 표현과 처리에 활용
- 전문가 시스템 중에 초기 시스템에 해당되는 prospector와 mycin은 각각 베이지안 확률과 확신도 certainty factor 이용
- 많은 시스템들이 zadeh의 퍼지 이론, dempster의 증거 이론 theory of evidence 등을 사용하여 불확실성 문제를 다룸
베이지안 확률 bayesian probability
- 베이즈주의 bayesianism, 주관주의 subjectivism, 개인적 확률 personal probability, 인식론적 확률 epistemic probability 모두 같은 의미
- 베이즈 주의는 수학적 확률 이론이 가능성의 정도 degree of plausibility나 진실 여부에 대한 믿음의 정도 degree of belief에 적용되는 철학적 주의 tenet
- 베이즈 주의가 베이즈 정리 bayes theorem과 함께 사용하면 베이즈 추론이 됨.
- 빈도주의와 대조되는 개념
빈도주의 frequentism
- 수학적 확률을 개인의 믿음 정도로 해석하는것이 아니라 임의의 사건에 대해 오직 그 상대적 발생 빈도에 따라 확률을 부여
확률의 베이지안적 해석
- 임의의 사건 random events 뿐만 아니라 어떤 종류의 문제 any other kind of statement에도 확률을 부여 가능
빈도주의자 frequentist와 베이즈주의자 bayesian 비교
- 동전 던지기 시 둘다 1/2 확률을 부여 할수 있음.
- 10억년전 화성에 생명체가 있었다라는 명제가 제시
-> 빈도주의자는 상대적인 빈도 frequency에 대해 확률을 줄수는 없으나
-> 베이즈주의자는 개인적인 믿음으로 확률 1/1000을 부여 가능
주관주의 확률 이론에 따른 확률
- 어떤 사람이 특정 순간에 주어진 명제나 사건에 대해 갖는 믿음의 정도 degree of belief
토마스 베이즈
- 영국의 수학자, 장로로서 베이즈 정리 bayes theorem이라는 확률 이론을 형식화 한것으로 유명해짐
forward probability
- 특정 조건의 상황에서 어떤 사건의 황률
ex. 항아리 속에 일정한 개수의 흰돌과 검은돌이 주어질때 검은돌을 꺼낼 확률?
-> 반대의 경우, 하나또는 여러개의 돌을 꺼낸 결과를 보고, 항아리 속에 흰돌과 검은돌의 수는 어떻게 알수있을까?
베이즈 확률 bayesian probability
- 단지 어느 임의의 변수 random variable을 포함하는것이 아니라 어떤 종류의 확률의 응용에서 흔하게 가지는 확률 해석과 관련되어 주어진 이름
조건명제, 함의 implication
- 어떤 사실의 인과관계를 기술시 많이 사용하며, 여러 문장으로 표현
ex. "P이면, Q이다", "P는 Q의 충분조건이다."
| 베이지안 확률(feat. 빈도주의) (0) | 2020.06.29 |
|---|---|
| 토마스 베이즈 (0) | 2020.06.29 |
| 통계학 (0) | 2020.06.29 |
| 유추 (0) | 2020.06.29 |
| 추론 규칙, 연역법, 귀납법 (0) | 2020.06.29 |
통계학 statistics에서의 인공지능
- 두 가지 접근방법으로 연구가 이루워짐
- 기호 주의 방식 : 주어진 문제에 기본이 되는 개념과 이들관의 관계와 제약조건, 사실 등을 정해진 기호체계에서 기호들의 집합으로 표현 후. 기호들을 변형 조작하여 추론, 의사 결정, 학습 등을 수행하는것
- 연결주의 방식 : 인공 신경망을 구성하여 정보 처리 최소 단위인 뉴런들의 협동적, 경쟁적 상호작용으로 정보처리하는것
=> 인공지능 연구에서 기호주의 방법에서 통계학이 많이 사용됨. 전문가 시스템에서 불확실성 처리 문제와 베이지안 학습방법, 패턴인식에서 베이즈 이론이 중요한 역활 함.
불확실성에서의 추론
- 불확실성의 표현, 결합 및 전파 방법에 따라 크게 정성적 qualitative, non-numeric 방법과 정량적 quantitative, numerical 방법으로 구분됨
- 정량적 방법에서 불확실성을 단일값, 또는 [하한, 상한] 범위로 표현하여 추론 과정을 거치면서 불확실성을 표현한 불확실도를 전파하고 결합하는 방법.
-> ex. 베이지안 방법, 확신도 certainty factor 방법, 증거 이론 evidence of theory, 퍼지 fuzzy 추론방법
인공지능 프로그램에 필요한 지식 기반
- 지식 공학자가 전문가를 인터뷰하는 과정을 통해 구축됨.
- 이러한 많은 부분을 기계학습으로 해결가능.
기계 학습 machine learning
- 주어진 예제로부터 이들이 암시적으로 표현하는 개념을 추출하는 귀납적 방법 inductive method
=> 귀납적 방법에서 확률 이론은 데이터베이스서 믿음 네트워크 belief network를 생성하는 베이지안 학습방법에 사용
- domain 이론에 근거하여 하나의 예제를 설명하면서 개념적인 domain지식을 구체적이고 활용성있는 지식으로 변화하는 연역적 방법 deductive method
- 일정 분야에 적용가능한 대표적인 사례를 기억후 새로운 문제 해결과정에 유사 사례를 이용해 해결하는 사례 기반 학습 case based learning 등
패턴인식에서의 패턴 분류
- 패턴인식의 마지막 단계로 미지의 패턴이 주어질때 그 패턴이 어디에 속하는가 결정하는것
- 통계적 방법, 구문론적 방법, 신경망을 이용한 방법이 있음
- 통계적 접근 방법 : 통계적 가정을 바탕에 두고 특징 벡터를 유한 개의 부류들 중 하나로 배정
-> 결정 함수 사용 방법, 거리 함수 방법, 베이즈 정리 이론에 의한 방법, 은닉 마르코브 모델 방법 등 있음.
유추 analogy
- 새로운 문제를 풀기 위해 다른 영역 different domain의 과거 사례를 사용하는 방법
sat에서 유추
- A is to B as C is to what?
- 손과 손바닥의 관계는 발과 무엇의 관계와 같은가? hand is to palm as foot is to what?
추론 규칙 inference rule
- 기존의 논리식으로부터 새로운 논리식을 생성하는 과정
연역법 deduction
- 전제와의 논리적 관계만으로 필연적으로 결론이 도출되는 추론을 연역 추론이라 함.
-> 연역추론시 전제는 진으로 인정하나 결론을 부정시 모순에 빠짐
=> 전제가 진이면 결론도 반드시 진이며, 결론의 모든 내용이 이미 전제속에 포함됨
연역법 예시
- A이면 B이다
- B이면 C이다
- 그러므로 A이면 C이다
* 귀납 추론이 경험을 필요로하는것과 달리 연역추론은 엄밀한 논리적 규칙만 의존함
귀납법 induction
- 귀납법 induction = 귀납 추론 inductive reasoning = 귀납 논리 inductive logic
- 전제 premise가 주어질때 그 결론 conclusion이 사실일것 같으나 사실이 아닐수도 있는 확실하지 않는 추론 과정
- 특별한 특징의 제한적 관찰을 통해 유형의 공통된 성질/관계를 이끌어내거나, 반복되는 현상 패턴의 제한적 관찰을 통해 법칙을 형식화 하는 것
귀납법의 예시
- 특별 specific 명제에서 일반 general 명제를 추론해 냄
- 이 백조는 흰색. 저 백조도 흰색 -> 모든 백조는 흰색
- 당구볼은 큐로 치면 움직임. 지나가던 행인을 치면 나도 맞음 -> 모든 행도에 동등한 반작용이 존재
귀납법의 범위
- 언표 : 사고를 언어로 표현한 것
- 명제 : 언표가 진리값을 갖는것
- 추론 : 사고의 연결은 명제의 연결로 이 명제의 연결을 추론이라 하며 연역 추론과 귀납 추론이 존재
- 연역 추론 : 논리적 필연성을 보증
- 귀납 추론 : 개연성을 보여주며 확률론으로 수렴
- 과거로 부터 미래를 추론하는것이라고 볼수 있으나 넓은 의미에서 관찰된것을 기반으로하여 관찰되지 않은것에 대한 결론에 이르는것 까지 포함.
- 귀납 추론에서 결론은 전제의 범위를 벗어나는것이며 진위를 확인하기 위해서 경험적인 관찰이 필요.
추론 reasoning, infrerence, argument
- 주어진 상황에 대한 지식을 가지고 새로운 사실을 요도하는 것
-> 이미 알고있는 명제를 기초로하여 새로운 명제를 유도하는 과정
- 전제 premise와 결론 conclusion 간의 논리적 관계를 다룸(ex. 조건명제 implication)
* 결론 conclusion : 새로 유도된 명제
* 전제 premise : 결론의 근거를 제공하는 이미 알려진 명제
추론의 영역과 유형
- 추론은 전제와 결론간의 논리적 관계가 문제. 결론이나 전제의 진위가 문제는 아님
-> 결론이 확실하더라도 추론 규칙 inferencee rule에 따라 전제와 논리적 관계에서 도출된것이 아니라면 추론은 정당 x
- 결론이 도출될 때 전제에 대해 갖는 논리적 관계가 추론의 성격을 좌우
-> 연역법 deduction과 귀납법 induction
휴리스틱 heuristic
- 이미 정립된 공식이 아니라 정보가 부족한 상황에서 시행착오나 경험을 통해 주먹구구식의 규칙(rule of thumb)을 통해 지식을 얻는 과정.
- 잘 추측하는 기술(art of good guessing)라고 하기도 한다.
휴리스틱의 예시
- 명의가 진단시 그동안 진료경험으로 진단을 한다. 하지만 조기 진단할 암을 발견하지 못해 곤란할때도 있다.
알고리즘과의 차이
- 휴리스틱은 해결책 발견을 보장하지 않음
- 하지만 알고리즘 보다 효율적임 -> 많은 쓸모없는 대안들을 실행하지 않고 배제할수 있기 때문
=> 대표적으로 순회 외판원 문제 Traveling Salesman Problem, 체스 Chess 등에서 알리고리즘은 극도의 비효율성을 보임
컴퓨터 공학에서 근본적인 목표 2가지
- 증명가능하면서도 좋은 실행시간 runtime을 가지는 알고리즘 찾는 것
- 증명 가능하면서도 (최적인) 좋은 질의 해 solution quality를 가지는 알고리즘 찾는것
휴리스틱과 컴퓨터 공학에서 목표의 차이
- 휴리스틱은 위 목표의 하나 또는 둘다 포기하는 알고리즘
-> 휴리스틱은 좋은 해를 찾지만 임의로 나쁜 해를 찾지 않는다는 증명이 없음.
-> 휴리스틱은 보통 합리적인 실행 시간을 가지지만 항상 그렇다는 추론 과정이 없음.
최단 경로 문제 shortest path problem에서 휴리스틱
- 휴리스틱은 탐색 트리 노드에서 정의된 함수 h(n)으로서 그 노드에서 목표 노드까지 가장 비용이 적게 드는 경로를 찾아 그 비용을 추정하는데 사용.
- 휴리스틱은 타색하기에 가장 좋은 노드 선택을 위해 탐욕 최우선 탐색 greedy best-first search과 A*같은 정보 탐색 informed search 알고리즘에 사용됨
- greedy best first search는 휴리스틱 함수가 가장 값싼 비용을 가지는 노드를 선택할 것임
- A*는 g(n) + h(n)이 가장 값싼 비용을 가지는 노드를 확장할것
* g(n)은 최초의 상태에서 현재 노드까지 정확한 exact 비용
=> h(n)이 받아들일만한 경우(h(n)이 목표에 이르는 비용을 과장하여 추정하지 않으면) A*는 최적 optimal 이라 증명될수있음.
컴퓨터 성능에서 휴리스틱의 효과
- 탐색 문제에서 각 노드에 대해 b개의 선택이 가능하고 d 깊이에 목표 노드가 존재 시
- 순진한 탐색 알고리즘에서 해를 찾기위해 b^d개의 노드들을 탐색해야힘.
- 휴리스틱은 branching factor를 b에서 low constant b*까지 감소시켜 탐색 알고리즘의 효율성을 증진