본문 바로가기

컴퓨터

3.1. Optimal Classification Supervised Learining: 1. classification : Hit or Miss / Ranking / Types 을 다루는데 활용된다. x를 받아서 y를 반환하는 방법 f(X)는 X에 대한 y라는 확률. 이 때 y는 에러를 내포하고 있으므로 y hat이다. y hat과 Y가 같지 않을 확률을 최소화하는 f를 찾아내고 이를 f start라고 한다. 이는 X = x라는 정보가 주어졌을 때 Y = y의 확률을 최대화 하는 함수와 같은 기능이므로 다음과 같이 쓸 수 있다. Bayes Risk: decision boundary를 기준으로 급격한 확률 차이를 보인다면 두 클래스를 분리하기 쉽다. 하지만 선형으로 변화한다면 큰 확률의 차이로 분리시키기 쉽지 않다. 결국 포물선 형태(S curve)로 .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
2.5. How to create a decision tree given a training dataset Linear Regression(회기 분석) Introduction to Linear Regression Housing Information : 13개의 continuous variable(independent values), 1개의 true value(dependent value)로 이루어져있다. function approximation을 linear한 형태 function으로 approximation하는 것이 linear regession이다. 이전까지는 hypothesis를 rule로 정의했지만, 이번에는 function으로 정의한다. θ zero에 linear sum을 더한 것으로 dependent variable을 정의한다. θ를 잘 정하면 잘 approximation 될 것이다. 이 때, n .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.4. Entropy and Information Gain Etropy: Decision tree를 만들기 위해 entropy를 이해해야 한다. entropy : 어떤 attribute를 더 잘 check 할 수 있는지 알려주는 하나의 지표 불확실성을 줄여야하는데, 그렇기 위해선 이 불확실성을 판단할 수 있어야 한다. >> 불확실성을 판단하는 것이 entropy 모든 케이스에 대해서 비슷한 확률분포가 존재하면 불확실성이 큰 것이고, 케이스에 대해서 dominant한 확률을 가지고 있다면 그 불확실성은 매우 적다. 높은 엔트로피 = 높은 불확실성 엔트로피 H(x)는 확률 밀도함수를 활용하고 있다. x는 T or F 또는 a or b or ? 등이 나올 수 있다. 만약 x가 normal distribution에서 정의되고 있다면 sigma는 integral로 변환된.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.3. Introduction to Decision Tree Introduction to Decision Tree 노이즈에 대해서도 처리할 수 있는 대안이 필요한데 이 중 하나가 decision tree이다. Sunny일 때 나간다고 한다면 꼭 Sunny일 때 나가지 않을 수도 있다. >> Hypothesis를 tree로 구성하고, 자식 노드를 다른 Yes or No로 하고 만약 다른 조건을 추가하고 싶다면 Yes 대신에 다른 조건을 추가한다. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.2. Introduction to Rule Based Algorithm Find-s Algorithm : D에 있는 모든 x instance 중에서, x가 positive라고 한다면 모든 feature를 판단한다. Hypothesis의 값과 feature의 값이 다르면 아무런 행동을 하지 않지만, 두 값이 다르면 Hypothesis의 값을 수정하여 이 경우에서도 나감을 포함시켜준다. 예시) h0 = : 어떠한 경우에서도 나가놀지 않은 경우 이 때, x1 = 일 때 나가놀았다면 h0과 x1을 합집합하여 h1 = 로 변경한다. x2 = 일 때도 나가 놀았다면 h1의 Strong과 x2의 Light을 union하면 ?로 변경한다. >> 특정한 instance에 대한 coverage를 가지고 있는 특정 hypothesis를 만든다. Version Space : 특정 범위를 찾아서 .. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
2.1. Rule Based Machine Learning Overview 머신러닝의 특징: 경험(E)을 통해 배우고, 배운 것을 바탕으로 특정 task를 수행하는데 그 performance가 증가한다. >> more experience, more advanced machine learning 1. Instance : feautre O : 2. Training Dataset D : a collection of observations on the instance 3. Hypotheses H : 만약 Sunny하면 다른 것을 고려하지 않고도 Yes를 반환한다. 이러한 가정은 총 64개 + a(Don't care) 가 나올 수 있다. h1 : 널널한 가정 = General Hypothesis = 만족하는 instance의 넓이가 크다. h3 : 빡센 가정 = Specific Hypo.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
1.4. Probability and Distribution 조건부 확률 : 전체 확률에 조건(scope)를 만드는 것 B라는 조건(scope)안에 A가 발생할 확률은 다음과 같다. 이며, 1번식에 의해, 이므로, 2번식은 다음과 같이 정리된다. 또한 조건부 확률에는 다음과 같은 특성이 있으며 자주 쓰인다. Probability Distribution : 어떤 이벤트가 발생되었을 때 값을 할당하는 것(A function mapping an event to a probability) 이 때 x는 event가 들어간다. ex) x = 3일 때의 확률, x = 5일 때의 확률. 즉, x는 certain point. parameter나 f(x)를 바꿈으로써 확률 값을 변경할 수 있다. 이 때, normal distribution에선, 이 때, Notation = N(mu.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.
1.3. MAP MLE가 다가 아니다. 50 대 50 이라는 사전 정보를 가미한 theta를 넣으면 어떻게 될까? 데이터를 활용해서 latent factor를 알아보자. (theta가 가미되었을 때 Data가 발생될 확률) P(D) : theta가 바뀌는 것에 대해서 영향을 받지 않으므로 제외하면, 좌변과 우변이 서로 비례한다. 이 때, P(theta)는 Beta distribution에 의해, 즉, B(alpha, beta)는 alpha와 beta에 의해 영향을 받는다. 또한 위의 좌변과 우변이 비례하는 상황에서 B(alpha, beta)는 theta에 영향을 받지 않으므로 constants이다. 따라서 이를 제외하고 다시 쓰면, 가 된다. MLE에선, 이번 MAP에선, MLE와는 조금 다른 값을 가진다.(50 대 5.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 23.

티스토리툴바