Deep Learning8 손실 함수 손실 함수란 모델의 출력값(예측값)과 사용자가 원하는 출력값(라벨)의 오차를 의미한다.손실 함수의 값이 높을수록 모델이 성능이 떨어지는 것이므로 이 함수값이 최소화되도록 하는 가중치와 편향을 찾는 것이 학습 목표이다.평균 제곱 오차(Mean Squared Error)데이터가 신경망을 거쳐 나온 확률 벡터와 라벨을 원핫 인코딩하여 나온 확률 벡터를 고차원 공간의 점으로 이해한 후 피타고라스 정리로 거리를 측정한다. 나중에 미분 계산의 편의를 위해 제곱근은 없애고 앞에 1/2을 곱한다.데이터셋의 MSE는 각 데이터의 MSE의 평균으로 정의한다.$$E=\frac{1}{2}\sum\limits_{k}(y_k-t_k)^2$$$y_k$: 신경망이 k라고 예측한 확률$t_k$: 라벨을 원핫 인코딩한 후 k번째 좌표 .. 2024. 6. 29. 활성화 함수 활성화 함수는 인공 신경망에서 입력값을 변환하는 함수이다.신경망에서 뉴런은 입력 신호를 받아 이를 조합하고일정 전위 임계값을 넘어야만 다음 뉴런으로 신호를 보내기(=활성화) 위한 은닉층 혹은 출력층에서 사용되는 함수이다. 여러 활성화 함수들이 있지만, 이 글에서는 대표적인 함수들만 다룰 예정이다.LayerActivation Function용도Hidden LayerReLU기울기 소실 문제를 줄이고 다음 층으로 신호를 전달한다.Output LayerSigmoid, Tanh이진 분류Softmax다중 분류Sigmoid시그모이드 함수의 식은 $\frac{1}{1+e^{-x}}$이다. ($=(1+e^{-x})^{-1}$)위 식을 +무한대로 보내게 되면, $\lim_{x \to +\infty}\frac{1}{1+e^.. 2024. 6. 29. 이전 1 2 다음
