1. Hyperparameter 뜻

Machine learning에서, hyperparaemter란 러닝 과정을 조절하는 값, 매개변수를 의미한다. 
보통은 러닝 알고리즘에서 러닝 과정을 조절하는 값이다.

예1) k nearest neighbor(KNN) 알고리즘에서 에서 K 의 값은 3,5,7,9... 이 있다. K의 값을 뭐로 선택하는냐에 따라서 performance는 약간씩 달라지게 된다. 

예2) Neural Network 알고리즘에서 hidden layer 갯수.

2. 어떻게 적합한 Hyperparameter를 찾을까?



1) Grid Search
Grid 는 격자라는 뜻이다. 위의 그림을 보면 격자 모양에 점을 찍어놨는데, 위 그림처럼 
grid search는 모든 가능한 hyperparameters를 조합해서 찾는것이다. 

2) Random Search
랜덤하게 최적화 할 수 있는 hyperparameters를 찾는것이다.