하이퍼 파라미터 최적화(HPO)

Link에서는 머신러닝 모델의 성능(Model Performance)을 향상시키기 위해 하이퍼 파라미터(Hyper-Parameter)를 최적화 시킬 수 있습니다.

Hyper-Parameter Optimizer 다이얼로그

Pipeline Parameters 패널의 HPO 버튼을 클릭하면 Hyper-Parameter Optimizer 다이얼로그가 활성화됩니다.

Pipeline Parameters 패널에서 HPO 버튼을 클릭하여 진입합니다.

Pipeline Parameters 패널의 HPO 버튼

Hyper-Parameter Optimizer 다이얼로그는 하단 이미지와 같이 레이아웃이 구성되어 있습니다.

Hyper-Parameter Optimizer 다이얼로그 레이아

Hyper-Parameter Optimizer 다이얼로그 레이아웃

설정 패널(Settings Panel)에서는 하이퍼 파라미터 최적화를 위한 정보를 입력하고, 결과 패널(Result Panel)에서는 하이퍼 파라미터 최적화 결과를 확인할 수 있습니다. 그리고 결과 패널 위에서 확인할 수 있는 하이퍼 파라미터 최적화 상태(State)를 확인할 수 있습니다.

하이퍼 파라미터 최적화 상태(State)는 5가지로 구분됩니다.

Ready, Running, Stopped, Failed, Completed

Ready, Running, Stopped, Failed, Completed

하이퍼 파라미터 최적화를 위한 정보 입력

하이퍼 파라미터 최적화를 하기 위하여 설정 패널(Settings Panel)에서 필요한 정보를 입력합니다.

📘

  • Run 버튼이 활성화되려면 Early Stopping Rounds를 제외한 모든 Settings 항목이 필수적으로 입력되어야 합니다.
  • Close 버튼을 클릭할 경우, 입력한 내용이 저장되지 않습니다.
Target Component최적화 하고자 하는 대상이 있는 컴포넌트를 선택합니다.
Target Expression타겟 컴포넌트(Target Component)를 선택하면, 해당 타겟 컴포넌트의 last expression이 타겟 표현식(Target Expression)으로 지정됩니다.
Target타겟 표현식(Target Expression)의 모든 목표값(Target)이 표시됩니다.
SamplerBayesian, Grid Search, Random Search 중 하나의 최적화 방법(Sampler)을 선택합니다.
Type타겟 값을 최소화하고 싶다면 Min을, 최대화하고 싶다면 Max를 선택합니다.
Iterations반복 횟수를 지정합니다.
Early Stopping Rounds(Optional) 타겟 값이 더 이상 최적화가 진행되지 않을 때, 최적화를 중지하고자 하는 반복 횟수를 지정합니다.
Pipeline Parameters파이프라인 파라미터를 1개 이상 선택합니다. 그리고 선택한 모든 파이프라인 파라미터의 Range를 입력하고, Distribution을 선택합니다.
- Range : 타겟 값의 범위를 선택합니다.
- Distribution : Discrete Uniform, Float, Int, Loguniform, Uniform 중 하나의 분포를 선택합니다.
- Interval : Sampler에서 Grid Search를 선택하였을 경우, Distribution 대신 Interval을 입력합니다.

하이퍼 파라미터 최적화 실행 및 결과 확인

📘

  • Run 버튼을 클릭할 경우에는, Ready/Completed/Stopped/Failed 상태 관계 없이 하이퍼 파라미터 최적화가 처음부터 실행됩니다.
  • 목표값(Target Value)이 두 개 이상일 경우, Apply 버튼을 클릭하기 위해서는 Best Trials 중 하나를 선택해야 할 수 있습니다.

hpo-multiple-edited (1)

  1. Run 버튼을 클릭하여 하이퍼 파라미터 최적화를 진행합니다.
  2. 실행 횟수에 따른 묙표값(Target Value) 변화를 결과 패널(Result Panel)에서 확인할 수 있습니다.
    1. Iteration Graph: 실행 횟수에 따른 목표값 변화를 실시간 그래프로 확인
    2. Log Table: 실행 횟수에 따른 구체적인 목표값 및 파라미터 값 변화 확인
    3. Parameter Importance: (파라미터가 두 개 이상인 경우) 파라미터들 간의 상대적인 중요도를 그래프로 확인
    4. Pareto Front Plot: (목표값이 2~3개일 경우) 실행 완료 시 2차원, 3차원의 목표값 그래프 확인
  3. 하이퍼 파라미터 최적화가 성공적으로 완료될 경우, Apply 버튼을 클릭하여 최적화된 파라미터 값을 적용시킬 수 있습니다.