BIGDAT@Viewer 機能紹介

BIGDAT@Viewer(ビッグデータビューアー)は、直感的なユーザーインターフェースによって、統計解析や多変量解析の高度な専門知識がない方でも、簡単な操作でtoorPIAを活用したビッグデータの可視化・分析を行うことができるアプリケーションです。

主な機能

  • データの取り込み(CSV)及びtoorPIAによる可視化結果(マップ)の表示
  • マップ操作(移動/拡大/縮小/クラスタサイズ、表示色の変更)
  • 選択した属性による色付け(フィルタリング)
  • 日付属性・数値属性の範囲指定
  • 選択領域に含まれるクラスタの特徴属性の表示
  • 選択領域に含まれるデータのエクスポート(CSV)
  • 属性の重み変更による再マップ
  • 選択領域、色付けされたクラスタのみを対象とした再マップ
  • ユーザー、グループ管理
  • マップ共有管理

toorPIA

toorPIAとは

BIGDAT@ViewerにおけるデータのMAP化処理には、株式会社toor(トア)が開発したビッグデータ可視化エンジン「toorPIA(トピア)」を採用しています 。 これにより、従来の統計的手法の限界といわれていた処理量をはるかに超えた大規模データのクラスタリング処理が可能になりました。

toorPIAの機能

  • 高速なMapReduce&KVS生成機能を提供する。
  • 高次元データ(属性の多いデータ)の類似性を評価しクラスタリングする
  • 情報間の類似性を距離で表現することにより可視化(MAP化)する。

従来分析手法とtoorPIAの違い

ビッグデータ解析の課題:高次元相関の発見が難しい
「toorPIAならその発見・気付きが可能に!」

【既存手法=仮説と証明】

  1. 仮定できない事実は見つからない
    →「意外性」がない
  2. 高度なデータ分析専門スキルが必要
    →課題提供者自身での分析が難しい

【toorPIA=高次元相関の可視化】

  1. 仮定が難しい潜在的事実(高次元相関)も見つかる
    →「意外な発見」も期待できる『教師なし手法』
  2. データを読み込ませるだけでデータ全体を俯瞰でき、直感的な分析が可能
    →課題提供者自身での分析が可能

MAP分析 (0次分析)

膨大なデータを、BIGDAT@Viewer(ビッグデータビューアー)でMAP化する事により、
データの構造、特徴が見えてきます。
簡単な操作でMAPを探査する事により、気付き、発見が得られ、要因の解明、
対策立案につなげる事が可能です。

着目する属性に色を付ける事で、MAP上での偏在、分散などを把握し、数値幅を持つデータは、スライダー操作で数値の変化をMAP上で確認できます。
画像の中に円で囲われている部分があります、マウスで領域選択すると、その領域に含められるデータの持つ特徴がスコアとして表示可能です。
また、属性毎にヒートマップで分布を可視化する事も可能です。
MAPでの0次分析は、更に解析ツールで分析する際の軸決め、仮説立案に繋がり、異常値や外れ値が可視化でき、目的に対して必要な学習データだけを分別する事で、AIの精度向上に役立ち、MAP分析が可能になります。

異常監視への活用

分析の結果、作成されたMAPを活用して、異常検知を行い日々の運用、監視に活かせます。
単純な検知だけでなく、異常が発生した際はMAP分析に戻ることで、要因分析、対策立案につながります。

  • 作成したMAPを利用した予兆監視(モニタリング)への活用
    • 製品不良に関わる予兆
    • 機器不良に関わる予兆
    • 経年による変化
  • AI等と異なり、分析/判断が判り易い(ホワイトボックス)
    • MAPで可視化し判定要因が明確
    • 分析/アラートエリアの設定は、簡単な操作でユーザ自らが行える
  • 少ない故障データ(又は正常データのみ)のケースにも対応
    • 過去に経験のないデータの発生にも対応

動作環境

サーバ
OS CentOS 7.x
※GNOMEデスクトップもインストールしてください。
CPU Intel系 (Xeon, Core iシリーズ)
メモリ 8GB以上
ストレージ 500GB以上
操作クライアント
OS Windows7 以上
Webブラウザ Google Chrome Ver.42 以上
Firefox Ver.60以上
※Chromeの方が高速動作します