Bayesian Optimization 코드 (Optuna, HyperOpt)
·
ML & DL/데이터마이닝
데이터마이닝에 관한 스터디를 진행하고자 정리한 내용입니다.개인 공부 과정에서 틀린 부분이 있을 수 있습니다. (잘못된 부분은 알려주시면 수정하겠습니다!)1. Optuna 사용 가이드✅주요 개념Study: 전체 최적화 과정의 단위. (Trial을 여러 번 실행하며 최적의 하이퍼파라미터를 찾아나감)Trial: 특정 하이퍼파라미터 조합으로 모델을 평가하는 1번의 시도Objective Function: 최적화하려는 대상 함수. ( 각 Trial의 성능을 평가하고 반환함)0) 라이브러리 및 데이터 준비optuna 없으면 `pip install optuna`로 설치하고 시작import numpy as npimport pandas as pdimport optuna # Optuna 라이브러리import xgboost ..
[데이터마이닝] 하이퍼파라미터 튜닝 (Grid search, Random search, Bayesian optimization)
·
ML & DL/데이터마이닝
데이터마이닝에 관한 스터디를 진행하면서 정리한 내용입니다. 참고한 자료들은 아래에 따로 정리해두었으며, 개인 공부 과정에서 틀린 부분이 있을 수 있습니다. (잘못된 부분은 알려주시면 수정하겠습니다!) Intro.머신러닝은 인간의 개입을 최소화한 기계학습 방법이긴 하지만, 여전히 인간의 역할이 존재합니다. 인간이 통상 어떤 기계를 사용할 때도 기본적인 설정을 해줘야 하듯이, 머신러닝 모델을 구성할 때도 학습을 제어하는 데 필요한 설정을 어느 정도 직접 해주어야 하는 것이죠. 이전 포스팅에서 봤듯이, 모델에서 학습되지 않고 사용자가 직접 세팅해야 하는 설정(매개변수)을 ‘하이퍼 파라미터(Hyper-paremeter)’라고 합니다. 그리고 그러한 설정들 중 가장 성능을 좋게 만드는 설정을 찾아나가는 과정을 '..