HOME

ビッグデータが「見える!」
〜可視化ミドルウェアの実現〜(2/3)

1 2 3

可視化ミドルウェアへの必要条件

データ間の「類似度」あるいは「距離」の指標化機能

データの属性に応じたモデル化と、低コストで高速に指標化計算ができるビッグデータのフレームワークが必要です。フレームワークとしてはHadoopなどがよく知られていますが、企業内で利用するには、その環境に合ったより低コストのフレームワークが有用になるでしょう。

クラスタリング

膨大な量のデータを、互いに類似したデータ同士を一つのグループにまとめるクラスタリングにより、分析に適した対象数にします。この際、「次元の呪い」を解決する必要があり、そのための新しいアルゴリズムが必要です。

マップ化アルゴリズム

クラスタ間の「類似度指標」を使って、全データのマップを作成します。広範な情報の場合には、「情報の縁」が定義できないので、球面上に上記クラスタをプロットしマップ化するのが適当でしょう。限定された領域の情報であれば、平面上にプロットした平面マップの方が見やすいでしょう。ちょうど世界地図とシティマップの関係に似ています。

以上を踏まえたミドルウェアの構成例を図2に示します。


図2.ミドルウェアの構成例

実際のマップの例とその特徴

ツイートの平面マップの例を図3に示します。
互いに近い内容のツイート同士が近くにプロットされます。多くの人がつぶやく話題は中央に大きな「島」を形成します。サッカーのワールドカップに関連した話題などが該当します。一方で、周辺部に小さな「島」が多数見られます。これらは、マイナーな話題で、多くは時間とともに消えてしまいます。ただ、なかには急速に成長してメジャーな話題になるものもあります。例えば北米で問題になった自動車の不具合問題などです。当初は一部の人々の間の話題だったのが時間と共に大きな話題になりました。もし、当該メーカーが自社関連のツイートをマップ化してモニターしていれば、相当早い時期にこの問題に気づき、早期に対策を打つことができたかも知れません。

従来の手法では、想定していないような新しい話題を見つけることは困難でしょう。データをマップにして「見える」ようにすることで、初めて想定していないことも発見できるようになります。また、時間変化やデータの属性と対応づけることで、いろいろな「気づき」が生まれるでしょう。

データのマップ化がミドルウェアにより自動化されることで、現場を一番よく知る実務の担当者が直接ビッグデータを分析できるようになります。


図3.ツイートのマップ化の例

さまざまなビッグデータの種類とアプリケーション

以上説明しましたミドルウェアにより、図4に示しますように、様々なタイプのビッグデータに対して、類似情報の検索(ミクロ分析)や傾向分析(マクロ分析)、あるいは最新情報(リアルタイム分析)や蓄積情報(経験分析)などが可能となります。

  1. 長文データ市場
    • 既に、特許情報を使って、研究開発者向けに新たなアイデアの特許性を簡単迅速にチェックできる「R&D Navi」サービスが、既にサイバネットシステム社からリリースされています。
    • 同様のサービスは、医学情報、受験問題情報、判例情報、犯罪手口情報、などを対象に実現できるでしょう。
  2. 短文データ市場
    • ツイッターやブログなどの短文テキスト情報を使った、マーケティングやリスクマネージメントサービスも非常に有力なアプリケーションです。特に想定していない問題が発見できることから、「テールリスクマネジメント」も可能となります。
  3. POS/販売データ市場
    • スーパーマーケットのPOSデータをマップ化すると、購買傾向による顧客グループの分析が可能になります。マップ化はリアルタイムで可能ですので、販売イベントやちらし、品揃えの時間帯ごとの変更などの効果がすぐに分かり、有効な方策を絞り込むことも可能となります。
    • オンラインの販売データのマップ化からも同様の分析が可能であり、one-to-oneマーケティングに反映することができるでしょう。
  4. ログ・センサーデータ市場
    • リース機器のログ分析から顧客の利用方法が分析でき、利用拡大の提案に反映できます。また、機器の劣化診断や故障予防にも役立ちます。
    • 他にも、ウェブサイトへの顧客のアクセスログや、工場設備や通信ネットワークのログなど、様々なログ情報を対象に同様の分析が可能です。
    • 建物の温度センサーや、車両の振動センサーなども可視化でき、エネルギー利用効率の向上や、道路や車両の様々な劣化分析も可能となります。
    • リアルタイム分析による事故防止も有力なアプリケーションになるでしょう。

図4.ビッグデータの種類とアプリケーション例
1 2 3