ビッグデータについて簡単に説明します。

ビッグデータ

2020.10.9

ビッグデータとは？

ビッグデータとは、莫大な量の複雑なデータセットを指し、伝統的なデータ処理やデータ管理アプリケーションでは対処できないものです。構造化データか非構造化データを問わず、ビジネスの現場に溢れている莫大なデータを意味します。

2013年7月に、Oxford English Dictionaryが「ビッグデータ」という言葉を採用しました。

ただし、この名称は、第二次世界大戦当時から使われていました。ビッグデータが一般的になった要因として、人々が、モバイルテクノロジーとIoTテクノロジーを活用することによって、大量のデータを生み出し、デバイスのデジタルデータにアクセスすることができるようになったためです。

また、一方で、定義として、業務改善のために莫大な量のデジタル情報を収集、分析、使用することを指すこともあります。

データセットが増大し続け、アプリケーションがより一層リアルタイムになるにつれて、ビッグデータとその処理はクラウドに移行していくと考えられます。

ビックデータの重要性とは？

ビッグデータの活用を考える上で、その重要性は、どれほど大量のデータを持っているかではなく、それを使って何をするかにあります。

あらゆるソースからデータを取得して分析することで、目標達成に繋がる答えを見つけることができます。

主な目標としては、

1)コスト削減

2)時間の節約

3)新製品の開発と市場投入の最適化

4)意思決定のスマート化

などが挙げられます。

ビッグデータを強力なアナリティクス機能と組み合わせると、ビジネスに関連する種々のタスクを達成できます。

例えば、障害、問題、欠陥の根本原因をほぼリアルタイムで特定したり、顧客の購入傾向にもとづき、販売時点で割引クーポンを発行したり、総合的なリスク・ポートフォリオをごく短時間で再計算したり、組織に悪影響が及ぶ前に不当な行動を検出したりすることです。

このようにビッグデータを分析すると、より優れた意思決定や戦略的なビジネス行動へと繋がる洞察を導き出すことができます。

ビックデータの特徴とは？

ビッグデータの特長を「5つのV」として表現することがあります。Volume、Variety、Velocity、Veracity、Valueです。下記に示します。

Volume-使用するデータの量/格納方法/場所について計画を策定します。

Variety-エコシステム内の使用する多様なデータソースをすべて特定し、それを取り込むための適切なツールを取得します。

Velocity-ビッグデータから得られるビューがリアルタイムに可能な限り近い速度で開発されるように、適切なテクノロジーを調査/導入します。

Veracity-データが正確でクリーンであることを確認します。

Value-わかりやすい方法で実用的なビジネスインテリジェンスを導くビッグデータ環境を構築します。

ビックデータとDXの関係とは？

DX時代におけるビッグデータの活用から価値を生み出す仕組みについて、説明します。ビッグデータ活用の本質的な面とは下記の3点に集約できます。

1. 可視化

2. 予測

3. 最適化

　ビッグデータ活用ソリューションは、いずれも上記3点のいずれかに当てはまります。

まず、「可視化」とは、ユーザーが欲しい情報をユーザーが理解出来る形で提示することです。

「予測」とは、「可視化」と併せ、「予測」もまた知見による差別化で競争優位を得るための方法論のことです。

「最適化」とは、技術領域でいうと機械学習やオペレーションズリサーチなどが当てはまります。

ビックデータの活用メリットとは？　

ビッグデータの活用について考察し、述べてきましたが、再度、ビッグデータの活用のメリットに関して述べます。

基本的には三つのメリットがあります。

一点目は、現状を正確に把握することです。過去、企業は人の勘と経験に頼り、ビジネスの状態を把握することが多かったです。

ビッグテータの活用に伴い、様々なデータの収集や格納が容易になり、分析が可能になります。現状把握に必要な情報をデータ分析や可視化ツールでわかりやすいレポートに転換すれば、経営層が組織全体の経営状況を、現場職員が特定の業務の進捗状況を知るようになります。

二点目は、課題の解決策を導き出すことです。ビッグテータ活用はデータの収集にとどまらず、データ分析やデータマイニングを介して事物の法則や異常を見出すことできます。

そうすると、抱えている課題の原因を特定し、迅速に適切なアクションを取ることが可能です。また、施策の効果をデータ分析によって検証し、施策を繰り返して改善することができます。

三点目は、新たなビジネスチャンスを発見することです。ビッグテータ活用のもう一つのメリットは、既存製品とサービス、バイヤーとサプライヤ、消費者の好みに関する情報を収集して統合的な分析を行うことで、企業が新たなビジネス機会を発見し、まったく新しいカテゴリの商品とサービスを創出することです。

このようなメリットがあるので、ビッグデータの活用に関しては、多くの業界で進んでいます。

ビッグデータの活用が進んでいる業界とは？　

ここでは、ビッグデータの活用が進んでいる業界として、製造業と小売業にフォーカスをあてて、ビッグデータの活用の仕方を述べます。

製造業では？

まず、製造業に関してですが、データがERPやMES、CMMSなどの数多くのシステムに散在し、データを一元的に利用できないので、工場の稼働状況を全般的に把握するのが実に困難です。

IoT/ビッグデータの高度活用により、製造プロセスを改善できるだけでなく、生産性向上や品質安定などに役立てることができます。ビッグデータの主な活用のシーンですが、下記のようなものが挙げられます。

1. 設備の予知保全：センサーデータの可視化により、工場全体、ラインごとの設備稼働状況、故障の多い設備を把握し、設備の異常を早期に発見できる。

2. 予実管理：当初の計画に対して実績が合致しているか、目標と実績の差を認識し、徹底的に原因を分析し、来期からの改善に活かすことができる。

3. 製品トラッキング：バーコードスキャナーと無線デバイスを利用し、原材料の調達から生産、そして消費または廃棄まで追跡可能な状態にする。

小売業では？

次に、小売業界における、ビッグデータの活用の方法を述べます。ビッグデータは市場と顧客関心の分析により、小売業の発展に絶好の機会を提供します。

さまざまな市場情報を収集し、ビッグデータの解析をもとに、顧客エンゲージメントと満足度を判断したり、新製品の開発に役立てたり、市場に投入するタイミングを計ったりするなどの活用が広がっています。

ビッグデータの主な活用シーンですが、下記のようなものが挙げられます。

1. 売上データ、顧客データなどを統合したビッグデータを駆使することで、顧客をパターン別にこまかく分類し、セグメント毎に最適なマーケティング施策を行う。

2. 予測分析の助けを借り、商品の需給予測の精度を向上させ、市場に受け入れられない製品の投入を避ける。

3. 売れ筋や死に筋商品を分析することで、商品の在庫範囲を決定し、在庫の保有コストの影響を最小限に押さえる。

ビックデータの取り扱いに関する技術について

つづいて、ビッグデータの取り扱いに関する技術について採り上げたい。データを加工して蓄積するのか、あるいはデータは生のまま蓄積しておくのかという違いによって、ビッグデータを分析するための基盤アーキテクチャには大きく２つのタイプに分けることができます。

従来からのDWH/BIの流れを汲むものとHadoopを中心にしたものです。データウェアハウス（DWH）中心のアーキテクチャでは、業務データベースからのデータはETLツールによって変換され、DWHに蓄積されます。

また、時系列データはCEPエンジンなどにより、そのまま処理されて活用されることもありますが、CEPエンジンによって収集されたデータをDWHに蓄積することもあります。

そして、非構造化および半構造化データに対してはHadoopをETLツールのように使って、生のデータから意味付けすることにより構造化してから、DWHに蓄積します。

こうすると、すべてのタイプのデータはDWHの中に構造化されて蓄積されるため、OLAPやデータマイニングやテキストマイニングなど従来のBIツール群を使って、データアナリストによる従来通りの分析が可能になります。

一方、Hadoop中心のアーキテクチャでは、業務データベースからのデータはSqoopなどを使って、時系列データはStormやS4などを使って、非構造化データはFlumeやfluentdなどを使って、HDFS（Hadoop分散ファイルシステム）やHBaseなどに、前もって意味付けせずに生のまま蓄積できます。

使っているソフトウェアはすべてオープンソースですので経済的なアーキテクチャと言えます。この方式の最大の特長は、生のままのデータが蓄積されているので、データ分析時にいろいろな意味付けを試してみる探索的なデータマイニングができるところにあります。

また、従来のBIツールで用意されているアルゴリズムだけではなく、最新の統計理論をベースにゼロからプログラミングできる自由度をもっています。そのため、データアナリストというよりデータサイエンティストに向いたアーキテクチャと言えます。また、必要ならば、HDFSやHBaseから何らかの意味付けをした後のデータをDWHにロードすることによって、従来タイプのBIツール群も使うこともできます。

以上のように大きく見ると２つのアーキテクチャがありますが、実際にはこれらを組み合わせたアーキテクチャをとる場合があります。

ビックデータを取り扱う上での課題とは？

最後に、ビッグデータを取り扱う上での課題を述べます。効率よくビッグデータ分析をするためには、主にデータ整備、データ保管、データ分析の3つの課題をクリアすることが必要です。

1. データ整備

ビッグデータの整備のためには、効率よくデータ収集をするためのシステムやプラットフォームが必要です。そして、それらのデータは基本的に社内全体にわたって必要なものといえるでしょう。日本の企業においては、情報システム部門や、営業部門、技術部門、そしてマーケティング部門など部門間で壁ができている傾向が多くなっており、一つの企業として、ビッグデータを活用するためには、効率が良いとはいえません。ビッグデータを整備するためには、これらの壁を取り払って、全社的にデータ整備をしていく必要があるでしょう。

2. データ保管

企業が活用するビッグデータは、顧客情報であることが多い傾向があります。情報を収集したとしても、情報漏えいなどのトラブルを引き起こさないように注意する必要があるでしょう。情報を漏えいされてしまうと、顧客に対して迷惑をかけてしまうだけではなく、顧客からの信頼を損ねてしまうリスクがあるからです。最悪の場合、事業運営を継続することが困難になる恐れもありますので、収集したビッグデータの情報セキュリティ対策には十分な注意が必要です。セキュリティ対策を強化しつつ、必要なときに使うことができるような利便性を兼ね備えていかなければなりません。

3. データ分析

ビッグデータとは、文字通り膨大な情報量となります。そして、その量は日を追うごとに増加していきます。もし、このビッグデータ分析をマンパワーの手法を用いて分析しようとした場合、非常に多くの人員を投入したうえで、時間をかけて分析しなければなりません。だからといって、むやみに人員を増やすのは得策ではありません。ビジネスにおいて、情報は鮮度が重要です。人が多いと、データ処理の時間は短くなるかもしれませんが、最終的にそれを取りまとめる労力が必要となります。必要な情報をリアルタイムに分析することができなければ、他社と大きな差をつけられてしまうリスクがあります。また、分析にかかるコストも非常に大きなものとなってしまいます。