Recurrent Neural Network
-
hidden layer의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서 다시 hidden layer 노드의 다음 계산의 입력으로 보냄
-
x: input vector,y: output vector -
cell: hidden layer에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드→ 메모리 셀, RNN 셀 (일종의 메모리 역할)
- 각각의 시점(time stamp)에서 바로 이전 시점에서의 hidden layer의 메모리 셀에서 나온 값을 자신의 입력으로 사용하는 재귀적 활동
-
hidden state: 메모리 셀이 출력층 방향 또는 다음 시점(t+1)의 자신에게 보내는 값
사이클(재귀) Or 여러 시점으로 펼쳐서 표현
입력과 출력의 길이를 다르게 설계 → 다양한 용도로 사용 가능
- 활용
구조
- $h_t$: 현재 시점 $t$에서의 hidden state
hidden layer: $h_{t} = tanh(W_{x} x_{t} + W_{h}h_{t−1} + b)$input layer: $y_{t} = f(W_{y}h_{t} + b)$ $f$: nonlinear activation function- $W_x$, $W_h$, $W_y$ 값은 하나의 층에서는 모든 시점에서 동일하게 공유
코드
