特集：データ作り・準備・活用の苦労を解決する

皆さんの組織にはどんなデータがありますか？それらはすぐにビジネスに活かせるようになっていますか？これはデータ活用を開始する前によく問いかけられる質問です。いかがでしょうか、皆さんは即答できるでしょうか。

実はこの質問にハッキリと答えるのは難問です。そもそも、どんなデータがあれば組織の役立つのかという議論の前に、どんな事をしたいのか、現状はどうなっているかを把握しておかないと、やりたい事と現状とのギャップがわからず、どんな解決方法が適当であるかの議論にたどり着けません。ここまでの議論ができると、やっとその解決方法をとるために必要なデータは組織内にあるだろうか。あるいは現状はデータがないとしても、これから取得、あるいは生成可能だろうか、という検討へ進みます。

組織の中はデータ発生源が無数にあります。必要そうなデータが特定できても、それらが実際問題として生成可能かという問題があります。例えば、何かの製造装置の状態を把握する必要があるが、この装置がとても古くアナログメーターしかないような場合はどうでしょうか。アナログメーターをカメラで常時観測して、そのデータを画像解析する必要があるかもしれません。
また部署によって、同じような記録でも、まったく別々のExcelの形式で保存されているようなケースも多くみられます。ご存じのように、基本的にはデータ解析などを行う場合には、データはなるべくたくさんあったほうが解析結果の精度向上が期待できます。ところが、同じExcelでも記載のしかたがバラバラだと、それらを統一することが必要になります。そして、その作業は人間が行うには量の多さから、限界があります。

こうした背景の中、近年では様々なデータを使えるデータに変換するための作業を一括で行える自動化ツール（RPA：Robotic Process Automation）なども登場しています。
この特集では、データ生成から、データの欠損などを補完するデータ整備を行い使えるデータにするための事例や支援サービスをご紹介しています。

事例概要

この事例で取り扱った課題は、
・営業リストの重複チェックや複数のリストの統合を自動化する
・文字列が完全一致しなくても類似度スコアで重複を判定可能に
する
・データの入力不備による目視作業が必要だった点の効率化を実
現する
というものでした。名寄せ処理に使用するデータは、顧客管理マスタの元となる名刺情報データ（22.5万件）と国税庁にて公開されている法人情報（約448万件）を利用。さらに、独自の名寄せエンジンを活用することで、これまで特定の難しかった“OCRで正しく読み取りができていないデータ”の処理において、従来の方法よりも優位であることを実証しました。

事例概要

マテリアルインフォマティクス（MI）を進めるためには膨大な過去の実験データを取り込んで学習させる必要がありました。そこでこの組織では、まず膨大なデータがどのような形式で保存されているかを調査し、それらをどのように変換すれば形式を統一できるか、ということに取り組みました。人間であれば目視で異なる表に記載された項目が同じ意味なのかを瞬時に判断できますが、自動的に行うが困難であったが、最終的にはデータを統一する独自のプログラムを作成し、統一化を行う作業を効率的に実施できるようになりました。

サービス概要

データ解析の時間よりも、データを準備する時間や、整備する時間の方が長くかかることもしばしばです。そこで、解析プロジェクトのマネージャークラスのスタッフによるヒアリング、顧客企業に訪問する現地でのクレンジング作業により、安心・スピーディに作業を実施。また、実際のクレンジング作業を見ながら進められるので、教育要素も含まれているサービスです。

サービス概要

このサービスでは、人的に行っているタグ付け作業をシステム化したり、人間による恣意的なタグ付けではなく、恣意性のない合理的なタグ付けを実現することを支援してくれます。

サービス概要

大量のデータから、データ項目の識別と、適宜の数値等への変換、出力といった一連の作業を自動的に行うシステムを構築するサービスです。

本HPに関する使い方の動画です。是非こちらもご覧下さい。