인공 신경망의 신호 전달 원리

신호를 전달할 때 사용하는 가중치와 편향

신호를 받는 뉴런은 여러 뉴런에서 신호를 전달받는다. 

이 때, 단순하게 신호를 전달하는게 아니라 신호의 세기를 바꾸어서 전달한다.

뒤쪽에서 전달되는 신호 세기는 앞쪽 뉴런에서 전달된 신호의 값에 가중치(weight)를 곱하고 편향(bius)를 더해서 다음으로 전달한다.

가중치: 심층 신경망의 각 뉴런과 뉴런을 연결하는 선에 서로 다른 값들이 있다.

편향: 각 층에 하나의 값으로 존재한다.

(인공 신경망이 학습) = (가중치와 편향 값을 각 데이터에 맞게끔 조정해 나간다.)

---

들어오는 신호 세기를 조절하는 활성화 함수

활성화 함수: 여러 뉴런에서 들어오는 신호의 세기를 특정한 값으로 바꾸기 위한 함수

                 레이어와 레이어 사이에 위치

                 여러 뉴런에서 특정한 뉴런으로 들어가는 신호를 종합해서 하나의 값으로 바꿔준다.

 

활성화 함수1. 시그모이드 함수

로지스틱 함수: 어떤 생물들이 어떤 식으로 증가하는지 설명하는 모델

시그모이드 함수: 신호 세기를 모아서 그 값이 0보다 클수록 1에 가까운 숫자로 바꾸어 주고, 0보다 작을수록 0에 가까운 숫자로 바꾸어준다.

 

활성화 함수2. 하이퍼볼릭탄젠트 함수

하이퍼볼릭탄젠트 함수: 값이 작은 신호를 -1에 가까운 숫자로 바꾸어서 내보낸다.

시그모이드 함수는 출력값이 0에 가까워지면 신경망이 잘 학습하지 못한다는 한계점이 있지만 하이퍼볼릭탄젠트 함수는 -1 값을 출력하기 때문에 시그모이드함수를 보안할 수 있다.

 

활성화 함수3. 렐루(ReLU) 함수

0보다 작은 숫자일 때는 0으로 바꾸어서 내보내고, 입력값이 0보다 클 때는 입력받는 값을 그대로 출력한다.

입력값이 음수일 때는 0으로 출력한다는 단점이 있어 이를 해결하기 위해 Leaky렐루 함수 또한 새롭게 개발되어 사용되고 있다.

Leaky 렐루 함수는 입력값이 음수일 때 0을 출력하지 않고 작게나마 음수의 값을 출력한다.

 

소프트맥스 함수

출력층에서만 사용하는 함수로, 최종 결괏값을 정규화하는 데 사용하는 함수이다.

이를 사용하면 분류 문제를 해결할 수 있다.

출력층에 따라서 분류의 개수 또한 달라진다.

이는 분류 문제에서 주로 사용되는 함수이다.