ハイパーパラメータ最適化

概要

ここでは機械学習における代表的なハイパーパラメータ最適化手法を紹介します。
なお、ここで紹介する手法はVARISTAから試す事ができます。
ハイパーパラメータについて知りたい場合は以下を参照してください。
ハイパーパラメータとは?

Grid-Search - グリッドサーチ

探索範囲をグリッドにして、各グリッドでスコアを評価して最適な値を選ぶ手法です。
全ての組み合わせに対して、正解率を求めてもっとも正解率が高いパラメータの組み合わせを採用します。
*正解率はクロスバリデーションで求めます。

ただし探索範囲の全てのパターンを試すので計算コストが非常に高くなってしまいます。
仮にパラメータが2つ、候補が20ずつある場合は、400回の試行が必要になります。
以下はグリッドサーチのイメージです。

Hyperparameter Grid Search

  • メリット
    探索範囲内であれば、全パターンを試すので最適解を取りこぼすことがない
  • デメリット
    探索範囲のアタリがついている必要がある
    探索範囲によっては試行回数が多くなり探索に時間がかかるので大規模データには向かない

Randomized Search - ランダムサーチ

パラメータ空間からランダムにサンプリングして、スコアを評価する手法です。
乱数に基づいて評価するパラメータの組み合わせを決定するため、全ての評価を非同期に並列処理する事ができます。
グリッドサーチとランダムサーチを比較すると下図のように表す事ができます。
Hyperparameter random search

  • メリット
    調整する値が多くても探索に時間がかからない
  • デメリット
    ランダムに試行するため取りこぼしの可能性がある

Bayes Search - ベイズ最適化

ベイズ最適化はハイパーパラメータ最適化において成功を収めている手法で、近年研究が活発に進んでいます。そのため、ベイズ最適化にも様々な手法があります。

ベイズ最適化はパラメータを逐次的かつ確率的に探索する手法です。
少々あらい説明になりますが、正解率が高そうな範囲を重点的に探索し、探索が局所的にならないよう探索が少ないエリアの探索も適度に行いもっとも最適なパラメータの組み合わせを見つけます。

下図はベイズ探索のイメージです
Hyperparameter Bayesian Optimization

  • メリット
    評価回数を少なく抑えられる傾向があるため、計算時間が短くる可能性がある
  • デメリット
    並列化が難しい

ベイズ最適化の手法一例とオープンソースソフトウェア

  • MTBO: Ax
  • TPE: Optuna
  • Successive Halving: Optuna
  • GP-EI: GpvOpt
  • CMA-ES: pycma
  • Hyperband: Ray
  • PBT: Ray
  • BOHB: HpBandSter

VARISTAで行うハイパーパラメータの探索

VARISTAでは、グリッドサーチ、ランダムサーチ、ベイズ最適化(Optuna, Hyperopt) をサポートしています。

VARISTAは無料でも利用できるエンジニア向けのノーコード機械学習ツールです。
GUIで操作できるので簡単に試す事ができますので、ぜひ試してみてください。


VARISTAは機械学習モデルの開発、管理をノーコードで効率的に行うことができる新しいプラットフォームです。
データをお持ちでしたらすぐに始められますので、是非ともお試しください。

または

Made with
by VARISTA Team.
© COLLESTA, Inc. 2021. All rights reserved.