본문 바로가기

분류 전체보기

3.4. Naive Bayes Classifier Application (Matlab Code) Bag of Words: 단어의 키워드를 이용하여 존재일 경우 1, 존재 하지 않을 경우 0으로 하여 벡터 형식을 만드는 방법 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
3.3. Naive Bayes Classifier assumption : naive class Prior : P(Y) 클래스 Y가 주어졌을 때 d개의 conditionally independent feautres X가 있다. 이 때의 Naive Bayes Cassifier Function은 다음과 같다. 이 함수는 Optimal classifier이다. Problems of Naive Bayes Classifier 1. Naive assumption : 현실세계와는 맞지 않는다. 2. Incorrect Probability Estimations : input case를 관측하지 못했을 때 정확히 동작하지 않는다. > MAP를 활용해야 한다. 관측되지 않은 데이터에 대해서 보완이 필요하기 때문 사실 이 문제는 확률을 다룸에 있어서 존재하는 문제이다. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
3.2. Conditional Independence Optimal Classifier Learning에서, x에 대한 확률은 다음과 같다. 여기서 P(Y=y)는 클래스 개수 k에 대하여 k-1개의 parameter만 있으면된다. 문제는 P(X=x|Y=y) for all x,y에서 parameter의 개수는 개별 input feature 마다 2개의 case가 있다면 그 개수는 (2^d-1)k이다. k를 곱하는 이유는 2^d-1에서, T or F라면 True인 case, False인 case가 필요하므로 k만큼 곱해야 한다. (d는 the source of demand) >> 문제가 된다. conditional independence assumption: 개별 input feature를 독립으로 보자. conditional indepence하다의 정의: 이.. 카테고리 없음 2021. 1. 24.
3.1. Optimal Classification Supervised Learining: 1. classification : Hit or Miss / Ranking / Types 을 다루는데 활용된다. x를 받아서 y를 반환하는 방법 f(X)는 X에 대한 y라는 확률. 이 때 y는 에러를 내포하고 있으므로 y hat이다. y hat과 Y가 같지 않을 확률을 최소화하는 f를 찾아내고 이를 f start라고 한다. 이는 X = x라는 정보가 주어졌을 때 Y = y의 확률을 최대화 하는 함수와 같은 기능이므로 다음과 같이 쓸 수 있다. Bayes Risk: decision boundary를 기준으로 급격한 확률 차이를 보인다면 두 클래스를 분리하기 쉽다. 하지만 선형으로 변화한다면 큰 확률의 차이로 분리시키기 쉽지 않다. 결국 포물선 형태(S curve)로 .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
2.5. How to create a decision tree given a training dataset Linear Regression(회기 분석) Introduction to Linear Regression Housing Information : 13개의 continuous variable(independent values), 1개의 true value(dependent value)로 이루어져있다. function approximation을 linear한 형태 function으로 approximation하는 것이 linear regession이다. 이전까지는 hypothesis를 rule로 정의했지만, 이번에는 function으로 정의한다. θ zero에 linear sum을 더한 것으로 dependent variable을 정의한다. θ를 잘 정하면 잘 approximation 될 것이다. 이 때, n .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.4. Entropy and Information Gain Etropy: Decision tree를 만들기 위해 entropy를 이해해야 한다. entropy : 어떤 attribute를 더 잘 check 할 수 있는지 알려주는 하나의 지표 불확실성을 줄여야하는데, 그렇기 위해선 이 불확실성을 판단할 수 있어야 한다. >> 불확실성을 판단하는 것이 entropy 모든 케이스에 대해서 비슷한 확률분포가 존재하면 불확실성이 큰 것이고, 케이스에 대해서 dominant한 확률을 가지고 있다면 그 불확실성은 매우 적다. 높은 엔트로피 = 높은 불확실성 엔트로피 H(x)는 확률 밀도함수를 활용하고 있다. x는 T or F 또는 a or b or ? 등이 나올 수 있다. 만약 x가 normal distribution에서 정의되고 있다면 sigma는 integral로 변환된.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.3. Introduction to Decision Tree Introduction to Decision Tree 노이즈에 대해서도 처리할 수 있는 대안이 필요한데 이 중 하나가 decision tree이다. Sunny일 때 나간다고 한다면 꼭 Sunny일 때 나가지 않을 수도 있다. >> Hypothesis를 tree로 구성하고, 자식 노드를 다른 Yes or No로 하고 만약 다른 조건을 추가하고 싶다면 Yes 대신에 다른 조건을 추가한다. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.2. Introduction to Rule Based Algorithm Find-s Algorithm : D에 있는 모든 x instance 중에서, x가 positive라고 한다면 모든 feature를 판단한다. Hypothesis의 값과 feature의 값이 다르면 아무런 행동을 하지 않지만, 두 값이 다르면 Hypothesis의 값을 수정하여 이 경우에서도 나감을 포함시켜준다. 예시) h0 = : 어떠한 경우에서도 나가놀지 않은 경우 이 때, x1 = 일 때 나가놀았다면 h0과 x1을 합집합하여 h1 = 로 변경한다. x2 = 일 때도 나가 놀았다면 h1의 Strong과 x2의 Light을 union하면 ?로 변경한다. >> 특정한 instance에 대한 coverage를 가지고 있는 특정 hypothesis를 만든다. Version Space : 특정 범위를 찾아서 .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.

티스토리툴바