AI/1주차
-
1~4. AI MathAI/1주차 2021. 8. 6. 13:35
AI를 위한 기본 수학 정리 1. Vector 벡터란 공간에서의 한 점을 나타내며 원점으로부터 상대적인 위치를 표현한다. 벡터에는 덧셈, 뺄셈, 스칼라곱 등의 연산이 가능하다. 벡터의 norm은 원점에서부터의 거리를 의미하며 L1, L2-norm 등이 존재한다. Norm의 종류에 따라 기하학적인 성질이 달라진다. L1-Norm: 벡터의 각 원소들의 절대값의 합 L2-Norm: Euclidean Distance 벡터 사이의 각 제 2 코사인 법칙을 이용하여 두 벡터 사이의 각도를 계산할 수 있다. 내적을 이용하여 계산을 더 쉽게 할 수 있다. 두 벡터 x, y가 있다면 x, y의 내적은 x를 y에 정사영한 길이를 ||y||만큼 조정한 것이다. 내적을 이용하여 두 벡터간의 유사도 를 계산할 수 있다. 2. ..
-
9. CNN & RNNAI/1주차 2021. 8. 5. 13:21
Convolution 연산의 수학적인 의미는 신호를 국소적으로 증폭 또는 감소시켜 정보를 추출 또는 필터링 하는 것. CNN에서 사용되는 연산은 엄밀히 말하면 빼기를 사용하는 것이 아닌 더하기를 사용하는 cross-correlation이다. convolution 연산은 1차원뿐만 아니라 다양한 차원에서 계산 가능하다. 채널이 여러개인 2차원 입력의 경우 2차원 convolution을 채널 개수만큼 적용. Convolution 연산을 역전파를 위해 미분해도 convolution 연산이 나오게 된다. RNN은 시계열과 sequence data에 주로 사용된다. 시퀀스 데이터는 독립동등분포 가정을 잘 지키지 않기 때문에 순서를 바꾸거나, 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀐다. 시퀀스 데이터를..
-
8. 베이즈 통계학AI/1주차 2021. 8. 4. 14:01
조건부 확률: 로 사건 B가 일어났을 때 A가 발생할 확률 베이즈 정리: A라는 새로운 정보가 주어졌을 때 로부터 를 계산하는 방법 정밀도 (Precision) : 베이즈 정리를 이용하여 새로운 데이터가 들어왔을 때 정밀도 뿐만아니라 갱신된 사후확률도 계산할 수 있다. 어떤 질병에 걸릴 확률이 0.1프로, 걸렸을 때 검진될 확률이 99%, 걸리지 않았을 때 오검진 될 확률이 10%라고 하면 질병에 걸렸다고 검진결과가 나왔을 때 정말로 감염될 확률은 아래와 같다. 만약 검사를 한번 더 진행하여 사후확률을 갱신한다면 다음과 같이 계산된다. 주의할점: 인과관계를 ..
-
7. 통계 기본AI/1주차 2021. 8. 4. 13:11
통계적 모델링은 적절한 가정 위에서 확률분포를 추정하는 것이 목표이며, 유한한 개수의 데이터를 관찰하여 모집단의 분포를 근사적으로 추정한다. 모수적 방법론(parametric): 데이터가 특정 확률분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정 비모수적 방법론(non-parametric): 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 바뀜 -> 기계학습의 많이 사용, 비모수적 방법론이라고 모수가 없는것은 아니다. 확률분포 예시 데이터가 2개의 값(0 또는 1)만 가지는 경우 → 베르누이분포 데이터가 n개의 이산적인 값을 가지는 경우 → 카테고리분포 데이터가 [0,1] 사이에서 값을 가지는 경우 → 베타분포 데이터가 0 이상의 값을 가지는 경우 → 감마분..
-
6. 확률론 기초AI/1주차 2021. 8. 3. 13:28
딥러닝은 확률론 기반의 기계학습 이론에 바탕을 두고 있으며, 기계학습의 loss function들의 작동 원리는 데이터 공간을 통계적으로 해석하여 유도한다. 확률을 통해 데이터를 모델링 할 수 있다. 이산형 확률변수: 확률 변수가 가질 수 있는 모든 경우의 수를 더해서 확률을 모델링 연속형 확률변수: 데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링 주변 확률 분포: 결합확률분포를 하나의 확률변수에 대해 모두 더해주거나 적분해주어 구할 수 있는 다른 확률변수에 대한 분포 조건부 확률분포: 데이터 공간에서 입력 x와 출력 y 사이의 관계를 모델링 분류 문제에서 softmax 함수는 데이터 x로 부터 추출된 특징패턴과 가중치행렬을 통해 조건부 확률 P(y|x)를 계산. 회귀 문제의 경우 조건..
-
5. 딥러닝 학습방법 이해하기AI/1주차 2021. 8. 3. 11:29
Softmax: 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 axis는 연산을 수행할 축을 지정해준다. (3, 4, 3, 2)라는 dimension을 가지는 행렬이 있다고 치면 axis = -1은 맨 마지막 차원을 지정해준다. 연산을 하게되면 해당하는 축이 없어지는 방향으로 연산이 이루어진다 . Ex) (2,3) -> (2, ) Max값을 빼주는 이유는 값이 너무 커져 오버플로우가 일어나는 것을 방지하기 위함이다. 학습을 하는 경우에는 softmax를, 추론을 하는 경우에는 one-hot 함수를 사용. 신경망은 선형모델과 활성함수를 합성한 함수이다. 활성함수는 비선형 함수이며 대표적으로 Sigmoid, tanh, ReLU가 있다. 이러한 함수들을 여러겹 쌓아서 신경망을 구성한다. 층을 여러개 쌓..