파라미터(Parameter)와 하이퍼파라미터(Hyperparameter)

2020/12/04 - [데이터 분석 입문/머신러닝] - 신경망모델(Neural Networks)과 딥러닝(Deep Learning)

신경망모델(Neural Networks)과 딥러닝(Deep Learning)

#1. 파라미터(Parameter)

머신러닝 모델의 파라미터(Parameter)
- 모델의 구성 요소이자 데이터로부터 학습되는 것
- 예시) 선형 회귀 모델 (Linear Regression)

파라미터 : a, b
        ▼  학습
  a = -1, b= 10

 

- 예시 ) 신경망 : Feed-forward Network

신경망의 학습을 통해서 찾아나가는 파라미터
: 가중치들(weights, bias)

 

 

#2. 하이퍼파라미터(Hyperparameter)

머신러닝 모델의 하이퍼파라미터(Parameter)
- 모델 학습 과정에 반영되며, 학습을 시작하기 전에 미리 값을 결정하는 것
- 좋은 모델을 만들기 위해서는 하이퍼파라미터를 잘 튜닝/컨트롤 해야 함
- 학습 알고리즘, 모델의 구조 등 총체적인 이해가 필요함
- 예시 ) 여러 오븐에 각각 다른 세팅을 주어 빵을 구우면?
       ☞ 반죽을 오븐에 넣어서 모델을 만들어내기 전에 온도, 시간을 세팅을 한다 → 온도, 시간 : 하이퍼파라미터

반죽 ( 데이터 ) ▼

온도, 시간 → 하이퍼파라미터 ( 학습 ) ☞ 후보 1. 온도 : 160도, 시간 : 20분 ☞ 후보 2. 온도 : 180도, 시간 : 18분 ☞ 후보 3. 온도 : 200도, 시간 : 16분 ▼

오븐을 통해 구어진 빵의 결과 ( 모델 ) ☞ 결과 1. 익지 않은 빵 ☞ 결과 2. 잘 구어진 빵 ☞ 결과 3. 탄 빵

- 예시 ) 신경망 : Feed-forward Network

신경망 하이퍼파라미터 : 네트워크 구조
- 학습을 하기 이전에 네트워크 구조를 먼저 설정해야 되고,
   그 설정에 맞추어 네트워크 구조를 만든 후 데이터를 넣으며 학습함
- 하이퍼파라미터의 변경에 따라 모델이 달라짐
   : 은닉노드 수 증가, 은닝 층 추가