조건명제, 함의 implication
- 어떤 사실의 인과관계를 기술시 많이 사용하며, 여러 문장으로 표현
ex. "P이면, Q이다", "P는 Q의 충분조건이다."
| 베이지안 확률(feat. 빈도주의) (0) | 2020.06.29 |
|---|---|
| 토마스 베이즈 (0) | 2020.06.29 |
| 통계학 (0) | 2020.06.29 |
| 유추 (0) | 2020.06.29 |
| 추론 규칙, 연역법, 귀납법 (0) | 2020.06.29 |
통계학 statistics에서의 인공지능
- 두 가지 접근방법으로 연구가 이루워짐
- 기호 주의 방식 : 주어진 문제에 기본이 되는 개념과 이들관의 관계와 제약조건, 사실 등을 정해진 기호체계에서 기호들의 집합으로 표현 후. 기호들을 변형 조작하여 추론, 의사 결정, 학습 등을 수행하는것
- 연결주의 방식 : 인공 신경망을 구성하여 정보 처리 최소 단위인 뉴런들의 협동적, 경쟁적 상호작용으로 정보처리하는것
=> 인공지능 연구에서 기호주의 방법에서 통계학이 많이 사용됨. 전문가 시스템에서 불확실성 처리 문제와 베이지안 학습방법, 패턴인식에서 베이즈 이론이 중요한 역활 함.
불확실성에서의 추론
- 불확실성의 표현, 결합 및 전파 방법에 따라 크게 정성적 qualitative, non-numeric 방법과 정량적 quantitative, numerical 방법으로 구분됨
- 정량적 방법에서 불확실성을 단일값, 또는 [하한, 상한] 범위로 표현하여 추론 과정을 거치면서 불확실성을 표현한 불확실도를 전파하고 결합하는 방법.
-> ex. 베이지안 방법, 확신도 certainty factor 방법, 증거 이론 evidence of theory, 퍼지 fuzzy 추론방법
인공지능 프로그램에 필요한 지식 기반
- 지식 공학자가 전문가를 인터뷰하는 과정을 통해 구축됨.
- 이러한 많은 부분을 기계학습으로 해결가능.
기계 학습 machine learning
- 주어진 예제로부터 이들이 암시적으로 표현하는 개념을 추출하는 귀납적 방법 inductive method
=> 귀납적 방법에서 확률 이론은 데이터베이스서 믿음 네트워크 belief network를 생성하는 베이지안 학습방법에 사용
- domain 이론에 근거하여 하나의 예제를 설명하면서 개념적인 domain지식을 구체적이고 활용성있는 지식으로 변화하는 연역적 방법 deductive method
- 일정 분야에 적용가능한 대표적인 사례를 기억후 새로운 문제 해결과정에 유사 사례를 이용해 해결하는 사례 기반 학습 case based learning 등
패턴인식에서의 패턴 분류
- 패턴인식의 마지막 단계로 미지의 패턴이 주어질때 그 패턴이 어디에 속하는가 결정하는것
- 통계적 방법, 구문론적 방법, 신경망을 이용한 방법이 있음
- 통계적 접근 방법 : 통계적 가정을 바탕에 두고 특징 벡터를 유한 개의 부류들 중 하나로 배정
-> 결정 함수 사용 방법, 거리 함수 방법, 베이즈 정리 이론에 의한 방법, 은닉 마르코브 모델 방법 등 있음.
유추 analogy
- 새로운 문제를 풀기 위해 다른 영역 different domain의 과거 사례를 사용하는 방법
sat에서 유추
- A is to B as C is to what?
- 손과 손바닥의 관계는 발과 무엇의 관계와 같은가? hand is to palm as foot is to what?
추론 규칙 inference rule
- 기존의 논리식으로부터 새로운 논리식을 생성하는 과정
연역법 deduction
- 전제와의 논리적 관계만으로 필연적으로 결론이 도출되는 추론을 연역 추론이라 함.
-> 연역추론시 전제는 진으로 인정하나 결론을 부정시 모순에 빠짐
=> 전제가 진이면 결론도 반드시 진이며, 결론의 모든 내용이 이미 전제속에 포함됨
연역법 예시
- A이면 B이다
- B이면 C이다
- 그러므로 A이면 C이다
* 귀납 추론이 경험을 필요로하는것과 달리 연역추론은 엄밀한 논리적 규칙만 의존함
귀납법 induction
- 귀납법 induction = 귀납 추론 inductive reasoning = 귀납 논리 inductive logic
- 전제 premise가 주어질때 그 결론 conclusion이 사실일것 같으나 사실이 아닐수도 있는 확실하지 않는 추론 과정
- 특별한 특징의 제한적 관찰을 통해 유형의 공통된 성질/관계를 이끌어내거나, 반복되는 현상 패턴의 제한적 관찰을 통해 법칙을 형식화 하는 것
귀납법의 예시
- 특별 specific 명제에서 일반 general 명제를 추론해 냄
- 이 백조는 흰색. 저 백조도 흰색 -> 모든 백조는 흰색
- 당구볼은 큐로 치면 움직임. 지나가던 행인을 치면 나도 맞음 -> 모든 행도에 동등한 반작용이 존재
귀납법의 범위
- 언표 : 사고를 언어로 표현한 것
- 명제 : 언표가 진리값을 갖는것
- 추론 : 사고의 연결은 명제의 연결로 이 명제의 연결을 추론이라 하며 연역 추론과 귀납 추론이 존재
- 연역 추론 : 논리적 필연성을 보증
- 귀납 추론 : 개연성을 보여주며 확률론으로 수렴
- 과거로 부터 미래를 추론하는것이라고 볼수 있으나 넓은 의미에서 관찰된것을 기반으로하여 관찰되지 않은것에 대한 결론에 이르는것 까지 포함.
- 귀납 추론에서 결론은 전제의 범위를 벗어나는것이며 진위를 확인하기 위해서 경험적인 관찰이 필요.
추론 reasoning, infrerence, argument
- 주어진 상황에 대한 지식을 가지고 새로운 사실을 요도하는 것
-> 이미 알고있는 명제를 기초로하여 새로운 명제를 유도하는 과정
- 전제 premise와 결론 conclusion 간의 논리적 관계를 다룸(ex. 조건명제 implication)
* 결론 conclusion : 새로 유도된 명제
* 전제 premise : 결론의 근거를 제공하는 이미 알려진 명제
추론의 영역과 유형
- 추론은 전제와 결론간의 논리적 관계가 문제. 결론이나 전제의 진위가 문제는 아님
-> 결론이 확실하더라도 추론 규칙 inferencee rule에 따라 전제와 논리적 관계에서 도출된것이 아니라면 추론은 정당 x
- 결론이 도출될 때 전제에 대해 갖는 논리적 관계가 추론의 성격을 좌우
-> 연역법 deduction과 귀납법 induction
휴리스틱 heuristic
- 이미 정립된 공식이 아니라 정보가 부족한 상황에서 시행착오나 경험을 통해 주먹구구식의 규칙(rule of thumb)을 통해 지식을 얻는 과정.
- 잘 추측하는 기술(art of good guessing)라고 하기도 한다.
휴리스틱의 예시
- 명의가 진단시 그동안 진료경험으로 진단을 한다. 하지만 조기 진단할 암을 발견하지 못해 곤란할때도 있다.
알고리즘과의 차이
- 휴리스틱은 해결책 발견을 보장하지 않음
- 하지만 알고리즘 보다 효율적임 -> 많은 쓸모없는 대안들을 실행하지 않고 배제할수 있기 때문
=> 대표적으로 순회 외판원 문제 Traveling Salesman Problem, 체스 Chess 등에서 알리고리즘은 극도의 비효율성을 보임
컴퓨터 공학에서 근본적인 목표 2가지
- 증명가능하면서도 좋은 실행시간 runtime을 가지는 알고리즘 찾는 것
- 증명 가능하면서도 (최적인) 좋은 질의 해 solution quality를 가지는 알고리즘 찾는것
휴리스틱과 컴퓨터 공학에서 목표의 차이
- 휴리스틱은 위 목표의 하나 또는 둘다 포기하는 알고리즘
-> 휴리스틱은 좋은 해를 찾지만 임의로 나쁜 해를 찾지 않는다는 증명이 없음.
-> 휴리스틱은 보통 합리적인 실행 시간을 가지지만 항상 그렇다는 추론 과정이 없음.
최단 경로 문제 shortest path problem에서 휴리스틱
- 휴리스틱은 탐색 트리 노드에서 정의된 함수 h(n)으로서 그 노드에서 목표 노드까지 가장 비용이 적게 드는 경로를 찾아 그 비용을 추정하는데 사용.
- 휴리스틱은 타색하기에 가장 좋은 노드 선택을 위해 탐욕 최우선 탐색 greedy best-first search과 A*같은 정보 탐색 informed search 알고리즘에 사용됨
- greedy best first search는 휴리스틱 함수가 가장 값싼 비용을 가지는 노드를 선택할 것임
- A*는 g(n) + h(n)이 가장 값싼 비용을 가지는 노드를 확장할것
* g(n)은 최초의 상태에서 현재 노드까지 정확한 exact 비용
=> h(n)이 받아들일만한 경우(h(n)이 목표에 이르는 비용을 과장하여 추정하지 않으면) A*는 최적 optimal 이라 증명될수있음.
컴퓨터 성능에서 휴리스틱의 효과
- 탐색 문제에서 각 노드에 대해 b개의 선택이 가능하고 d 깊이에 목표 노드가 존재 시
- 순진한 탐색 알고리즘에서 해를 찾기위해 b^d개의 노드들을 탐색해야힘.
- 휴리스틱은 branching factor를 b에서 low constant b*까지 감소시켜 탐색 알고리즘의 효율성을 증진
시행착오 tiral and error
- 지식 (명제적 지식과 방법 propositional knowlege and know-how)를 얻는 방법의 일종
- 어떤 것이 동작하는지 하나의 옵션을 시행해보고 동작할때까지 다른 옵션을 시행하는것
시행 착오의 특징
- 해결 지향적 solution oriented : 시행착오는 왜 동작한다기 보나는 해결방법을 찾기위해 한다.
- 문제 특정 problem specific : 시행착오는 해결방안을 다른 문제로 일반화 시키지 않는다.
- 비최적화 non optimal : 시행착오는 하나의 해결방법을 찾을 뿐이지 모든 해결방법도 최고의 해결방법도 아니다.
- 적은 지식만 필요 needs little knowledge : 시행 착오는 대상에 대한 정보가 없거나 적더라도 수행할수 있다.
시행 착오의 예시
- 전통적으로 항생제와 같이 신약 발견하는 주요 방법. 원하는 효과를 찾을떄까지 무작위로 화학물질로 단순 실험 방법
시행 착오의 기본 개념을 응용한 탐색 기법
- 유전 알고리즘 genetic algorithm
- 모의 담금짐 simulated annealing
- 강화학습 reinforcement learning
인공지능의 연구 대상이 되는 문제는 해결 방법이 확립된 것은 포함하지 않음
-> 방정식 풀기, 최소공배수 구하기 처럼 알고리즘이 확정된 것은 인공지능에 포함되지 않음
-> 인공지능에서는 시행 착오를 거치며 답을 구하고, 모든 탐색을 필요로 하는 문제를 다룸
ex. 미로, 퍼증, 체스
문제 해결의 3가지 부분
1. 초기 상태 : 출발해야하는 불확실한 정보로 불만족스러운 일련의 조건
2. 목표 상태 : 결과로 나오길 바라는 정보나 상태
3. 조작들 : 초기 상태에서 목표에 이르기 위해 해야하는 단계들
문제 해결 기법 및 전략
- 시행 착오 trial and error
- 통찰 insight
- 알고리즘 algorithm
- 휴리스틱 heuristic
=> 이들 기법중 하나만 적용할 필요없이 경우에 따라 두개 이상 적용하여도 상관없음
문제 해결은 원하는 목표에 도달하는 것을 방해하는 장애를 극복하는 과정
문제는 어떤 종류의 장애를 직면했을때의 상황
-> 문제 해결은 다른 기술과 마찬가지로의 기술로 훈련과 연습을 통해 좋아질수 있으나 우리들은 이 기술을 가르치는것을 무시해옴.