English
技術研究
様々な技術研究をご紹介します。
| 複合語解析 ｜株式会社アイズファクトリー | |
| 特徴度解析 ｜株式会社アイズファクトリー | |
| 主文抽出 ｜株式会社アイズファクトリー | |
| 主文章抽出 ｜株式会社アイズファクトリー | |
| ポジネガ判定 ｜株式会社アイズファクトリー | |
| 文章可視化 ｜株式会社アイズファクトリー | |
| 名寄せ ｜株式会社アイズファクトリー | |
| グラフコメンテーター ｜株式会社アイズファクトリー |
| OMOデータ名寄せ ｜株式会社アイズファクトリー | |
| 他社スコア予測アルゴリズム構築 ｜株式会社アイズファクトリー | |
| リコメンドエンジン ｜株式会社アイズファクトリー | |
| 技術調査 ｜株式会社アイズファクトリー | |
| 文字識別 ｜株式会社アイズファクトリー | |
| インシデント発見 ｜株式会社アイズファクトリー | |
| アンサンブル学習 ｜株式会社アイズファクトリー |
形態素解析と複合語解析
テキストマイニングでは、日本語をコンピュータが扱える情報に変換するため、「形態素解析」と呼ばれる技術が使われます。
形態素解析とは、自然言語で書かれた文を形態素(言語で意味を持つ最小単位)の列に分割し、品詞を見分ける作業のことです。一般的には参照する情報源として対象言語の文法の知識（ここでは文法のルールの集まり）と辞書（品詞等の情報付きの単語リスト）を用いることになります。これにより、単語の単位で頻度を集計し、文章の特徴を把握することができるようになります。
特徴文（特徴センテンス）抽出
一つの文書は文の集合体で構成されており、それぞれの文には、文書の主張を伝える上で重要な役割をもつものもあれば、本題とは関連性の薄い文もあります。
テキストの内容を俯瞰的に捉える際には、単語レベルの解析では主題語と特徴語の抽出が大いに役立つのと同様に、文の単位でも主題に関わる文と、主題の中でも主張に関わる特徴的な文とに分類することで要点把握を簡易に行うことができます。
主題語を多く含む文を抽出することでその記述分野を象徴（代表）するような文を抽出したり、特徴語を多く含む文を抽出することで、その文書の主張（要点）に関わる特徴的な文（特徴文）を抽出します。
特徴文抽出はこれら主題や特徴のバランスを考慮して、文書の要点把握につながる文を抽出する技術と言えます。
主文章（メインテキスト）抽出
文章の構成単位は大きく、単語、文（単語の集合）、文書（文の集合）のような要素で捉えることができます。
文章における単語の特徴を捉えるのに特徴度、文書に書かれた文の特徴を捉えるのに特徴文の概念が役立つように、主文章とは文章を比較単位としてどの文章が代表的あるいは特徴的なのかを表す文章を言います。
主題語を多く含む文章を抽出することで記述分野を象徴（代表）するような文章を抽出したり、特徴語を多く含む文章を抽出することでその文書の主張（要点）に関わる文章を抽出します。
主文章抽出はこれら主題や特徴のバランスを考慮して、特徴や要点の把握につながる文章を抽出する技術と言えます。
ポジネガ分析
ポジネガ分析とは、与えられたテキストにどのような感情特性があるのか（ポジティブな発言が多いのか、ネガティブな発言が多いのかその度合い）を分析することを言います。最も簡単な方法では、形態素解析によって単語に分割した後、単語の感情極性値（感情極性分類）に従ってスコアを算出し、ポジネガ度合いを算出します。感情極性とは、その単語が良い印象を持つか、悪い印象を持つかを数値で表現したものです。「美しい」「奇麗な」「素敵な」「嬉しい」などはポジティブの極性を、「悪い」「醜い」「汚い」「悲しい」などはネガティブな極性を持ちます。
ただ、この方法では必ずしも正しいポジネガ判定を行うことができません。
例えば、ノートPCの厚みが「薄い」のはポジティブと考えられますが、ステーキの厚みが「薄い」は、ネガティブであると考えられます。また、「ない」のような否定語を伴う場合に極性が逆転することを考慮しなければなりません。
これらの場合には、共起する語の頻度を見るコロケーション分析を併用することになります。
文章可視化
文章可視化とは、テキストマイニングは大量の文章から有益な情報を抽出するための技術で、その解析手法は様々ですが、大別するとスコアリング系のものとポジショニング系のものに分類することができます。
特徴語、特徴文、ポジネガ分析などは単語のもつスコア情報を表現のベースとするスコアリング系の技法であり、複数の単語の配置から視覚的に概要把握を行うものがポジショニング系の技法です。
ポジショニング系の技法はテキスト可視化とも呼ばれ、単語の分析では共起ネットワーク（Key Graph、KH Coderなど）や、出現頻度に応じて色や大きさを変えて配置する Word Cloud などがあります。
名寄せ
名寄せとは、企業が営業活動を行ったり、システムの改善を行ったりすると、システム上に重複したデータが生まれます。「名寄せ」とは、データの重複をなくし、データを正確に保持するための技術です。
「顧客データが大量にあって手がつけられない」「顧客データの重複をなくしたい」「M&Aをしたので、データの統合がしたい」などの悩みを解決することができます。
名寄せを行うことで、正確な顧客データ分析、データ利用の効率化、リスク管理のためのデータクレンジング処理等が可能です。
一般的には、辞書を用いた「完全一致」のマッチング結果で重複を判定します。 しかし、辞書を使った「完全一致方式」の名寄せでは、結果の精度に限界が生じます。例えば、入力ミスの多いデータでは、名寄せは上手く機能しません。また、辞書に依存するため、特殊なデータ項目には対応することが難しくなります。
グラフコメンテーター
グラフコメンテーターとは、入力された「項目名」と「値」からできるグラフに対して、あたかも分析者がコメントをしたような文章を、自動で作成する技術です。
例えば、アクセス解析やアンケート解析等のグラフに、コメント付与を自動で行うことができます。
「グラフはあるけれど、コメントがなくてわかりづらい。」
「コメントを手作業で打っていて時間がとてもかかってしまう。」
といった悩みを、グラフコメンテーターが解消してくれます。
傾向スコアによる調査データ補正
近年、インターネットの普及により低コストでの大規模調査が実施できる反面、こうしたネット調査データは、代表性が担保されずデータ分布の偏りを含んでいるとの問題点が指摘されている。偏りのあるネット調査データを従来の無作為抽出調査の結果に近づける有力な方法として、傾向スコア（propensity score）が注目を集めている。本レポートでは、この技術に関する解説と具体的な適用事例を引用して紹介する。
書誌情報：自社技報
ROC 解析によるモデル精度評価
ダイレクトメールの効率化のために顧客データから予測入会率の高い顧客を抽出したり、医療診断において、Ｘ線画像から陽性部位を判別するなど、正解と不正解の混在するデータから効率よく正解を拾い出す技術が重要となってきている。その際、抽出技術の精度を評価する手法として重要なのが ROC 解析である。本レポー トでは、ROC 解析による精度評価手法を説明し、その適用事例を紹介する。
書誌情報：自社技報
ロジスティック回帰分析
ロジスティック回帰分析は、結果が 2 値の場合に、その結果の起きる確率を予測できる統計的回帰モデルである。例えばダイレクトメールの反応では、結果が反応の有無という 2 値で測られる。サンプル（DM 配送先）には、反応の有無の他に、例えば性別、年齢、収入等の属性情報があるとする。過去実績データにて反応の有無を属性情報で回帰することにより、各サンプルの反応確率を予測するモデルを作成する。このモデルによって、反応の有無が未知である新規データの各サンプルに対して反応確率を予測することができる。本レポートでは、ロジスティック回帰分析についての基本的な解説と、実際の使用上での留意点について紹介する。
書誌情報：自社技報
クラスタ分析によるデータ分類
クラスタ分析とは、様々な性質を有したデータの集合から、類似性を持った複数の小集団（クラスタ）に分類分けを行う手法である。この手法を様々な顧客情報（年代・性別・職業など）を含むアンケート結果等に適用すると、クラスタごとに特徴を見出すことができる。例えば、あるクラスタに「20 代」「女性」「既婚」という属性を持つサンプル（顧客）が多く集まっていれば、そのクラスタは、「若い主婦層」といった特徴づけが 可能となる。このようなサンプル間の類似性をデータ間の距離や相関係数として定量化し、分散など所定の統 計的基準を用いて分類計算を行うのがクラスタ分析である。本レポートでは、クラスタ分析の代表的手法とその用途について説明する。
書誌情報：自社技報
機械学習による 機械学習による 機械学習による判別分析
企業の日々の営業活動において、多くの履歴が残されている。このデータをもとに、将来の営業活動として取るべき行動の示唆を得ることが、判別分析の利用方法の一例として挙げられる。近年、判別分析の手法として、サポートベクターマシン（SVM）が注目されてい る。本稿では、SVMの利用されるビジネスシーンとロジックについて解説し、決定木を使った画像解析の結果と比較して、SVMの判別能力の高さを示す。
情書誌情報：自社技報
大規模データの解析手法
インターネット技術、センシング技術の発達などにより、日々膨大なデータが生成・蓄積され、ビッグデータと呼ばれている。このビッグデータを処理・分析する手法としては、どのようなものが存在するのであろうか。本稿では、大規模データの処理手法について、基本的な手法であるサンプリングについて解説したのち、近年主流となっている分散処理について概説する。
書誌情報：自社技報
過去のデルファイ調査に見る研究開発のこれまでの方向性
1971年から2010年の40年間に実施された「デルファイ調査」（科学技術発展の将来展望を専門家に問うアンケート）で取り上げられた「トピック（実現が期待される科学技術等の記述）」を対象として、我が国の研究開発の方向性変化の例証を試みた。トピック中で用いられた名詞の出現頻度の推移を見ることにより、専門家の注目点の変化を分析した。
文科省科学技術政策研究所（技術提供isF）
情報：NISTEP DISCUSSION PAPER no.86 (2009)
社会技術研究開発センター（RISTEX）における報告書の俯瞰的公開と分析の試み
社会技術研究開発センター（R I S T E X）は、これまでに終了した研究開発支援プロジェクトの報告書を、テキストマイ ニングを用いて俯瞰的に公開できるシステムを構築した。誰でも研究開発領域内の複数の報告書にビジュアルにアクセスできるような仕組みが試みられた。これらを領域の枠を超えた俯瞰的な分析や従来とは異なる視点からの類型化分析と併用することで、今後の領域設計などの議論の際に新たな視点が加えられようとしている。過去の知的資産を総合的に可視化することは、研究支援組織の知的継承を助け、組織の将来につながる議論を引き出すことができる。
RISTEX（技術提供isF）
情報：情報管理（2015）vol.58 no.7
社会分析におけるオープンデータの可能性～医療費に関する九州の特徴把握を事例として
本稿は、オープンデータを活用して、医療費に関する九州各県の特徴の把握を行い、そこから導かれる医療費を削減するために有効に機能する手段を明らかにすることを目的とする。同時に、分析結果を基にした考え方の広がりと、活用の初期で陥りやすいデータ活用の罠についても触れる。
情報：九州経済調査月報（2015）vol. 69
予測システム
予測システムは第１、第２の団体それぞれから、各々の対象データ（顧客属性データと評価データ）とを受け付け、両方に含まれる第３の対象を抽出する。予測システムは、前記第３の対象データに基づいて所定事象を予測するための関数のパラメータを算出する。予測システムは、前記第１の対象データに含まれ且つ前記第２の対象データに含まれない対象データについての前記所定事象を予測する。
情報：特許6158464
有望顧客予測装置、有望顧客予測方法及び有望顧客予測プログラム
営業戦略的に意味のあるまとまりで顧客を分類し、有望な顧客を予測する。顧客情報記憶手段には、公開された企業情報である顧客企業情報だけでなく、営業担当者が営業活動を通じて顧客との接点から個別に入手した営業活動情報を含む情報を格納し、有望顧客群抽出手段は、格納された情報に基づいて顧客をクラスターに分類し、正解顧客モデルに該当する顧客が多いクラスターを有望なクラスターとして抽出する。正解顧客モデルに近い度合いを数値化して顧客それぞれにスコアを付与し、クラスター毎にスコアの高い順に顧客を表示する。
NTTコミュニケーションズ/isF
情報：特許6031165
文書を時系列に配置した文書相関図の作成装置
文書集合において各文書の内容データ及び時間データを解析し、先後関係を考慮しながら各文書の相関に基づきクラスタリングを実行する。このクラスタリングは、各文書の時間データに基づき、各クラスタに属する文書群の当該クラスタ内における時間配列および空間配置を同時に決定するクラスタ内配列手段を備える。これにより、分野ごとの時間的発展を適切に表す樹状ダイアグラムを自動作成する。
アイ・ピー・ビー（技術提供isF）
情報：特許4171514
調査対象文書の索引語抽出装置、性格表現図、及び文書特徴分析装置
調査対象文書ｄ内の索引語を抽出する索引語抽出手段と、前記抽出された索引語の比較対象文書群Ｐにおける出現頻度の関数値ＩＤＦ(Ｐ)を算出する第１出現頻度算出手段と、比較対象文書群Ｐの中から調査対象文書ｄに類似する類似文書群Ｓを選出し、類似文書群Ｓにおける出現頻度の関数値ＩＤＦ(Ｓ)を算出する第２出現頻度算出手段と、各索引語についての各出現頻度の関数値の組合せに基づき、各索引語の特徴及びその時系列変化のデータとを出力する出力手段を備える。これにより、文書を読まずに調査対象文書の性格（一般性・専門性・独創性）及びその時間的推移の的確な把握を可能にする。
アイ・ピー・ビー（技術提供isF）
情報：特願2007-514696
技術または方法の発達レベルを判定する方法、プログラム、装置
出願件数の期間ごとの推移から技術分野の発達レベルを分析するパテントマップにおいて、探索期、成長期、発展期、成熟期、衰退期の5段階のフェーズを自動で判定する。
アイ・ピー・ビー（技術提供isF）
情報：特願2004-112809
情報解析報告書自動作成装置、情報解析報告書自動作成プログラムおよび情報解析報告書自動作成方法
調査対象文書の情報を比較対象となる文書に対して解析して報告書を自動的に作成できる情報解析報告書自動作成装置を提供する。情報解析報告書を作成する際に、調査対象文書及び比較対象文書を指定して入力し、情報解析をする条件を入力し、類似解析に基づき調査対象文書と類似な文書群を選出し、調査対象文書の類似文書群に対する特徴ある索引語を抽出し、調査対象文書の特徴を表す情報解析報告書を生成する。
アイ・ピー・ビー（技術提供isF）
情報：特願2007-514752
株式ポートフォリオ選択装置、株式ポートフォリオ選択方法及び株式ポートフォリオ選択プログラム
知的資産関連指標を含む企業評価指標を用いて企業を総合的に評価した結果に基づいてより好ましい株式ポートフォリオを自動的に選択する装置を提供する。株式ポートフォリオを選択する際に、知的資産関連指標を含む複数の企業評価指標関連データを抽出して共分散構造分析を行い、所定の少なくとも一つの指標に対応した企業ランキングを作成し、作成された企業ランキングから所定数の企業を選択し、選択された各企業に対して投資比率を選定し、得られた投資比率の配分結果に基づいて、選択された企業に対応した株式ポートフォリオを生成する。
アイ・ピー・ビー（技術提供isF）
情報：特願2007-507134