実験管理機能

VARISTAの実験管理機能がより便利になりました！
機械学習モデルの管理は面倒時間をとられます。そこでVARISTAでは学習時に使用したデータやハイパーパラメータ、出来上がったモデルの組み合わせの管理コストを下げるために実験管理機能を強化しました。

モデル一覧画面のアップデート

モデル一覧に作成したモデルのスコアやパラメータを一覧に追加しました。
一覧ではスコアやハイパーパラメータ、アルゴリズムなどでのソートやフィルタリングも可能なため、作成したモデルの性能を俯瞰してみることができ、機械学習モデルの実験管理が今まで以上に便利になりました。

モデル比較機能を追加

モデル比較機能は複数モデルの指標を比較することができる便利な機能です。
単に精度がいいモデルを採用するのか、推論速度が早いモデルを採用するのか等、どのモデルを採用すべきかを判断する際に重宝します。

リファレンス

詳しくは、以下のドキュメントを確認してください。
🔗 ドキュメント›実験管理

サンプルプロジェクト

VARISTAに登録してからすぐにモデル作成までの流れを体験頂けるように、サンプルプロジェクトを追加しました。
現在用意されているサンプルプロジェクトは、Kaggleなどでも採用されているタイタニック号の生存者を予測するモデル作成と住宅価格を予測するモデル作成の2プロジェクトです。

今後、サンプルプロジェクトは順次追加予定です。

プロダクトツアーを追加

VARISTAに登録後、プロジェクトの作成からモデル作成までの流れをチュートリアル形式で体験できる機能を追加しました。

不具合の修正

• 学習テンプレート: Ensembleの交差検証設定にデフォルト値が空になる問題を修正しました。
• 学習テンプレート: Auto Selectionにおいて、1モデルのみで保存するとSingleモデルの表記になる問題を修正しました。
• モデルレポート: メトリクスの一部の値が異なる問題を修正しました。

ハイパーパラメータの最適化履歴の表示

ハイパーパラメータの最適化を行ったときの試行履歴を確認できるようになりました。
VARISTAで利用可能な全ての手法（グリッドサーチ、ランダムサーチ、Hyperopt及びOptina）に対応します。
最適化時の各ラウンドのハイパーパラメータとスコアをチャートで確認することができますので、モデルを解釈する上でも役立ちます。

詳しくはこちらのドキュメントをご確認ください。
AutoTuneの設定

不具合修正

• パラメータ自動チューニング中にスレッドが1つになる問題の修正
• 学習時にSingleモデルの場合にメトリクスを指定できない問題の修正
• プロジェクト作成ウィザード中のデータアップロード画面において、データにエラーがあると解析が完了しない不具合の修正
• 軽微なUIの調整

モデリング

従来のAutoML機能では、細かなモデルのチューニングをすることができませんでしたが、今回新たに追加されたモデリングには新たにテンプレートの概念が追加されました。
テンプレートは、単一モデル、アンサンブル学習、オートパイロット学習などを設定する事ができ、ハイパーパラメータの設定もPythonコードと同等レベルで設定する事ができます。
これまでのVARISTAではAutoMLでモデル作成をする場合に、必ずパラメータ探索を行っていたため、学習完了までに時間がかかってしまっていました。
新しいモデリング機能はモデリングのプロセスを見直し再構築しましたので、例えばXGBoostなどの単一モデルで早く学習を終わらせたい場合などにも対応できるようになりました。
また、アンサンブル学習やオートパイロット学習では最大で32モデルを比較して融合・優秀なモデルを選択しますので、パイプラインを組みたい場合に最適です。

詳しくは、こちらのテンプレートをご確認ください。

モデル評価レポート

レイアウトの変更を行いUIを刷新し、回帰では以下のチャートを確認できるようになりました。

• Prediction And Observation
• Residual VS Fitted
• Absolute Errors
• Errors Chart
• Residual Histogram

分類では、Threshold、PrecisionRecall、ROC、Confusion Matrixを確認できるようになりました。
データ分布、相関関係だけでなく、Partial Dependency Plotも確認できるようになりました。

デプロイ機能

これまでのVARISTAでは推論をブラウザ上でのみ実行できましたが、デプロイ機能が新しく追加され、作成したモデルをワンクリックでデプロイしてAPI経由で推論を利用できるようになりました。

また、デプロイしたAPIのオン・オフもGUI上から簡単に行えます。

詳しくは、こちらのデプロイをご確認ください。

その他

• ダッシュボード
  ダッシュボードを追加し、プロジェクトの状態が把握しやすくなりました。
• フォーム推論
  ブラウザ上からフォームを使って推論を行う事ができるようになりました。
  フォームには自動で特徴量が表示されますので、CSVでテストデータを作成するのが面倒な場合にもすぐに推論を行う事ができます。

データエディタ

データ前処理もGUIベースでできるようにと、VARISTAに強力な加工ツールが加わりました。
VARISTAデータエディタは、VARISTAにアップロードしたデータに用意されたフィルタを適用してデータを加工するツールです。

フィルタを追加するとステップごとに実行してデータを加工します。
用意されているデータは今後も随時追加されます。

外れ値除去なども視覚的に行う事ができます。

データ管理の強化

データ管理を行う際に、右クリックメニューを導入し各アクションにアクセスしやすくしました。
また、複数データのアップロードにも対応しました。

ワークスペースとチーム機能

これまではプロジェクトが最上位概念でしたが、プロジェクトのさらに上にワークスペースを追加しました。
ワークスペース上には共有プロジェクト、プライベートプロジェクトを作成する事ができます。
またチームメンバーを招待して、より情報共有がしやすくなりました。