본문 바로가기

컴퓨터/인공지능 및 기계학습 개론1

밑바닥부터 시작하는 딥러닝 3.6.2 신경망의 추론 처리(os.pardir이 안될 때) 3.6.2에서 MNIST 데이터셋을 가지고 추론을 수행하는 신경만을 구현하였다. 이 때, ch03 안에 있는 Python 프로그램이 부모디렉토리에 있는 Python 프로그램을 불러오기 위하여 다음과 같은 과정을 진행하였다. github.com/oreilly-japan/deep-learning-from-scratch oreilly-japan/deep-learning-from-scratch 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016). Contribute to oreilly-japan/deep-learning-from-scratch development by creating an account on GitHub. github.com 주어진 링크를 통해 포크 및 클론한 파일.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 2. 5.
4.7. Naive Bayes to Logistic Regression naive bayes 와 logistic regression의 차이점? 둘다 classcification method이고, naive bayes는 쉬운 모델이지만, 두 메소드에는 특별한 관계가 있다. 어려워서 포기 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
4.5. How Gradient method works ~ 4.6. Logistic Regression Parameter Approximation 2 itr를 조정하여 시작 지점에서 optimization 하는 지점까지 이동할 수 있다. 강의에선 900번을 하였을 때 도달했음을 알 수 있다. 만약 x를 크게한다면 걸음걸이가 크다면 itr를 낮게해줘도 도달할 수 있다. 하지만, h를 크게 한다면 gradient descent를 만들었을 때 h가 작으믈 h^2를 제거할 수 있었는데, 이를 제거하지 못함으로써 복잡해진다. θ를 업데이트해서 logistic regression을 만들어 보자. 이를 위해서 gradient ascent를 활용한다. f(theta)의 최댓값을 찾기 위하여 f(theta)를 미분하면 다음과 같다. 또한 gradient ascent는 다음과 같으므로, 이를 위의 식에 대입하면 이 때 c는 벡터의 정규화(크기 1인 벡터)를 만들기 위해.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
4.4.Gradient method. logstic regression classifier은 linear regression과는 다르게 multiple한 경우의 수에 대해서도 다룰 수 있다. >> decision boundary가 shrap하게 나누어지는 S-curve가 보기 좋다. 결국 θ를 알아야 hypothesis를 강하게 만들 수 있다. 하지만 closed form solution 형태가 나오지 않아(θ = ~ 형태로 나오지 않아) θ를 approximation하는 과정을 필요로 한다. >> 이러한 방법 중 하나가 바로 gradient descent algorithm 이다. Taylor Expansion : 테일러 급수 Gradient descent : f(x)라는 함수가 있다고 가정하자. 초기값은 x1 이다. 가능한 paramete.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
4.3. Logistic Regression Parameter Approximation 1 Maximum Conditional Likelihood Estimation(MCLE): θ를 구하기 위해 수행하는 과정 class varaiable을 모델링하는 과정과 마찬가지인데, Xi라는 주어진 컨디션이 있을 때 θ를 구한다. 이 때 N은 dataset(instance)의 개수이다. 이를 로그를 사용하고 P를 정리하면 다음과 같다. 이를 미분하여 정리하면, MLE에선 θ = 형식으로 정리했지만 이번에 θ으로 정리하기 쉽지 않다. >> There is no closed form solution. >> Open form solution -> approximate! 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
4.1 Decision Boundary ~ 4.2 Introduction to Logistic Regression Sigmoid function: 특징 : Bounded, Differentiable, Real function, Defined for all real inputs, With positive derivate(증가하는 방향) Logistic Function: f(x)가 0부터 1까지 존재. Sigmoid function 특징을 가지고 있으며, 미분을 하는데 있어 계산하기가 매우 용이하다. >> Optimization하는데 편하다. Logic function: Logistic function의 역함수 Logistic Regression: probabilistic classifier to predict the binomial or the multinomial outcome 이 때, mu(x)를 logstic f.. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
3.4. Naive Bayes Classifier Application (Matlab Code) Bag of Words: 단어의 키워드를 이용하여 존재일 경우 1, 존재 하지 않을 경우 0으로 하여 벡터 형식을 만드는 방법 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.
3.3. Naive Bayes Classifier assumption : naive class Prior : P(Y) 클래스 Y가 주어졌을 때 d개의 conditionally independent feautres X가 있다. 이 때의 Naive Bayes Cassifier Function은 다음과 같다. 이 함수는 Optimal classifier이다. Problems of Naive Bayes Classifier 1. Naive assumption : 현실세계와는 맞지 않는다. 2. Incorrect Probability Estimations : input case를 관측하지 못했을 때 정확히 동작하지 않는다. > MAP를 활용해야 한다. 관측되지 않은 데이터에 대해서 보완이 필요하기 때문 사실 이 문제는 확률을 다룸에 있어서 존재하는 문제이다. 컴퓨터/인공지능 및 기계학습 개론1 2021. 1. 24.

티스토리툴바