商品別のよくある質問と回答です。以下に無い質問については各商品ページ内のお問合せからご質問ください

 
クラスタリングエンジン

アプリ

  • 株式会社アイズファクトリー
よくある質問 bodaisプラットフォーム 株式会社アイズファクトリー


bodaisクラスタリング利用チュートリアル

はじめに

サービスの概要

bodaisクラスタリングサービスは、お持ちのデータを、その属性に応じて分類(クラスタリング)するサービスです。本サービスには、「教師なし」及び「教師あり」と呼ばれる2つのサービスを含みます。「教師なし」は、分類のついていないデータに分類を付与するサービスです。「教師あり」は、既に分類のついているデータを用いて分類モデルを構築し、新しいデータに分類を付与(予測)するサービスです。

「教師なし」クラスタリング

  1. 既存の、分類がついていないデータに対してbodaisにより統計的に分類を付与します。
  2. 分類を付与したデータを、次の教師ありクラスタリングでの分類モデル構築に利用することができます。

「教師なし」クラスタリング

「教師あり」クラスタリング

  1. 既存の、分類がついているデータをbodaisに学習させ、分類モデルを構築します。
  2. 新たな、まだ分類のついていないデータに、分類を付与(予測)します。

「教師なし」クラスタリングと比較して、お客様が行った分類に基づいた分類付与を行うことが可能です。

「教師なし」クラスタリング

2. サンプルデータ

bodaisでは実際の解析の流れをつかんでいただくために、サンプルデータをご用意しています。
サンプルデータのページより、適切なものを選んでお使いください。 なお、サンプルデータでの解析は無料(課金対象外)ですので、お気軽に何度でもお試しいただくことが可能です。ただし、一部でもデータ書き換えなどがあると、課金対象となりますのでご注意ください。

3. ジョブ

ジョブとはbodaisのモデル・予測・検証を、プロジェクト毎にまとめて管理するための概念です。一つのジョブに、複数のモデルを作成することができます。またさらに、一つのモデルに複数の予測・検証を作成することが可能です。
まずはジョブを作成します。ご不明な場合は、ジョブのヘルプページをご覧ください。

4. モデル作成(教師なし)

モデル作成(教師なし)では、分類がついていないデータに対してbodaisにより分類を付与します。その後、結果をbodaisに学習させ、分類モデルを構築することもできます(教師ありのモデル作成)。

モデル(教師なし)用データの準備

まず、分類をつけたいデータをご用意いただきます。これをbodaisで解析することができる解析用データに加工していただきます。データは、ID(番号)、属性(顧客属性など)の二つの部分で構成されている必要があります。 ※以下ではサンプルデータを例に説明いたします。

「教師なし」クラスタリング

IDは、各レコード(データの1行)を一意に管理するために設定します。つまり、おなじIDを持つレコードが存在しないように番号を振る必要があります。
属性は、顧客の「年齢」、「性別」などの基本情報から、「アクセス回数」、「最新アクセス日」などの顧客の行動履歴などがあります。 (分類対象が、「顧客」でない場合にももちろんお使いいただけます。)
データは下記の形式に従って、作成してください。

  • データ形式は、カンマ区切りテキスト(CSV形式)にします。
  • 1レコード目はデータ列の項目名を記入してください。
  • 1列目はユーザーを識別するためのIDにします(モデル作成には使われません)。
  • 2列目以降にユーザーの属性を記入します。
  • 属性は整数でコード化してください(例:性別の場合、男性を1、女性を2とする)。

モデルの作成

モデルの下の+ボタンをクリックし、新規モデル作成に移って下さい。 画面最下部の「新規モデルを作成する」でも同様の効果が得られます。

モデルの作成
モデルの作成

モデル名称を入力し、教師データは「なし(クラスター生成)」を選択します。モデル用ファイルの「参照」ボタンをクリックし、教師なしクラスタリング用のデータを選択します。また、クラスタ数をプルダウンから「自動」又は数値を選択し指定します。
ファイルのアップロードが確認できたら、「解析を開始する」のボタンをクリックして下さい。 プレビュー画面が出てくるので、問題が無ければ最下部の「解析を開始する」をクリックして下さい。 モデル作成日時が「解析待ち」から「解析中」に変わり、最終的に日付に変わったら解析完了です。 解析完了後、次のような画面(モデルの詳細情報)になります。

モデルの作成

モデルの詳細情報は「基本情報」、「ヒストグラム」、「プロファイルチャート」、「バブルチャート」、「効果指標」の5つで構成されています。

基本情報

基本情報は主に、モデルの詳細とチャートから成り立っています。
詳細情報としては、モデルの名称・作成日時・モデルの評価値、分割クラスタ数、推奨クラスタ数が表示されます。
チャートには、セグメントボリューム、評価値分布、特徴属性リストが表示されます。
また上部の「クラスタ名を付与する」をクリックして各クラスタの名称を変更することができます。

レポーティング機能

bodaisではビジュアル化された解析結果をワンクリックでエクセル形式の報告書に出力でき、社内での報告書や企画書にすぐに反映できます。
レポート欄の「レポート取得」ボタンをクリックしてください。報告書が自動で作成され、ダウンロードができるようになります。レポートはモデル・予測・検証全ての基本情報画面からダウンロードできます。

クラスタ番号付きリストをダウンロード

作成したクラスタ番号を、アップロードしたデータに付与したリストをダウンロードできます。 基本情報画面下部の「クラスタ番号付きリストをダウンロードする」をクリックしてください。CSV形式でダウンロードされます。

効果指標をダウンロード

bodaisでは「どのカテゴリが効いているか」を確認することができる指標、「効果指標」の一覧をダウンロードすることが出来ます。効果指標画面の「効果指標をダウンロードする」(下記画面の赤枠)をクリックしてください。CSV形式でダウンロードされます。

分類結果を用いた教師ありモデルの作成

分類を付与したこのデータをbodaisに学習させることで、分類モデルを構築することができます(教師ありのクラスタリング)。モデル詳細の基本情報画面下部の「教師ありモデルを作成する」ボタンをクリックします。
詳細は、後述するクラスタリング(教師あり)をご覧ください。

5. モデル作成(教師あり)

モデル作成(教師あり)では、既存の、分類が付いているデータをbodaisに学習させ、分類モデルを構築します。
教師なしクラスタリングで付与した分類を使って、分類モデルを構築することも可能です。

モデル(教師あり)用データの準備

まず、お客様がお持ちの、分類がついているデータをご用意いただきます。これをbodaisで解析することができる解析用データに加工していただきます。データは、ID(番号)、属性(顧客属性など)、正解フラグ(クラスタ番号=分類)の三つの部分で構成されている必要があります。
※以下ではサンプルデータを例に説明いたします。

分類結果を用いた教師ありモデルの作成

データの作り方は、教師なしの場合と同様です。教師なしの場合に無かった「正解フラグ」は、最終列に入力してください。
正解フラグは、クラスタ番号、すなわち分類を記載します。分類は、整数で記載してください。なおクラスタ数の上限は「15」です。これ以上のクラスタ数では分析が行えません。ご注意ください。

モデルの作成

モデルの下の+ボタンをクリックし、新規モデル作成に移って下さい。 画面最下部の「新規モデルを作成する」でも同様の効果が得られます。
モデル名称を入力し、教師データは「あり(クラスター判別)」を選択します。モデル用ファイルの「参照」ボタンをクリックし、教師ありモデル用のデータを選択します。

分類結果を用いた教師ありモデルの作成

ファイルのアップロードが確認できたら、「解析を開始する」のボタンをクリックして下さい。 プレビュー画面が出てくるので、問題が無ければ最下部の「解析を開始する」をクリックして下さい。 モデル作成日時が「解析待ち」から「解析中」に変わり、最終的に日付に変わったら解析完了です。 解析完了後、モデル詳細画面が表示されます。表示内容は、教師なしの場合とほぼ同様です。

6. 予測

予測作成では、モデル作成で作った「分類モデル」を使って、新たな、まだ分類のついていないデータに、分類を付与します。

予測用データの準備

まず、お客様がお持ちの、これから分類付与したいデータをご用意いただきます。これをbodaisで解析することができる解析用データに加工していただきます。加工は、モデル作成用データと同じ方法で行ってください。コードへの変換方法が、モデルの場合と異なると正しい分析結果が出ませんのでご注意ください。最終列に正解フラグ(分類=クラスタ番号)は必要ありません。

分類結果を用いた教師ありモデルの作成

予測の作成

画面上部の概念図の「予測」の下の+をクリックして下さい。現れた画面から予測を作成します。基本的に、モデル作成時と同様の操作になります。
解析完了後、予測詳細画面が表示されます。表示内容は、モデル作成の場合とほぼ同様です。

7. 検証

検証では、作成した分類モデルが、適切な分類付与を行えているかどうかを検証することができます。
ただし利用できるのは、事後的に正しい分類がわかる場合に限られます。

検証用データの準備

事後的に正しい分類がわかったデータをご用意いただきます。以下のように予測データのID番号とその正解フラグ(正解クラスタ番号=事後的にわかった正しい分類)が2列で記載されているcsvファイルを作成してください。ID番号が予測データと異なっていると正しく検証が行えませんので、ご注意ください。

検証用データの準備

検証の作成

画面上部の概念図の「検証」の下の+をクリックして下さい。現れた画面から検証を作成します。基本的に、モデル作成時と同様の操作になります。
完了後、次のような画面になります。

検証の作成<

検証の詳細情報は「全体検証」、「個別検証」の2つで構成されています。

全体検証

全体検証は主に、検証の詳細とチャートから成り立っています。詳細情報としては、モデル、予測、検証それぞれの名称・作成日時・評価値などを表示します。

個別検証

属性ごとのクラスタ正解率、また平均正解率を示したグラフです。

8.リモデル

リモデルでは、モデル用データに加えて、予測用データ、そして検証で用いたその正解フラグを組み合わせて新たにモデルを構築します。これにより、定期的なモデルの更新が簡単に行えます。
※古いモデルを使っていては、前提条件が異なるために現状に即した結果がでてこないことがあります。そのためモデルの更新は定期的に行うようにしてください。

リモデルの作成

検証詳細画面下部の「リモデル」をクリックして下さい。現れた画面からリモデルを作成します。基本的に、モデル作成時と同様の操作になります。

クラスタ数

以下のクラスタ数を表示しています。
教師なしの場合:分割するクラスタ数
教師ありの場合:アップロードしたファイルのクラスタの種類の数

特徴属性リストをダウンロードする

全属性・カテゴリのクラスタ特徴度を表示しています。
クラスタに特徴的なカテゴリは、高いスコアになります。
スコアが高いものは赤、スコアが低いものは青で表示されます。

クラスタ名を付与する

各クラスタの名称を指定することができます。

所属確率

モデルによって、当該のサンプルが、各クラスタに振り分けられる確率のこと。
ルールとしては、当該の属性カテゴリを持つサンプルが、各クラスタに振り分けられる確率を用います。

バブルチャート

バブルチャートとはクラスタ間の関係を見るため、各クラスタを2次元にプロットした図です。
円の大きさはそのクラスタのサンプル数を表しています。
クラスタ間の距離が近いほど、そのクラスタ同士が類似していることを示しています。
グラフの軸は、多次元データであるクラスタを2次元にマッピングした際の第1因子(横軸)、第2因子(縦軸)を表しています。

バブルチャート

因子軸は多次元データであるクラスタを2次元にマッピングした際の軸で、横軸は第1因子、縦軸は第2因子を表しています。
各属性の順位はその属性の因子への寄与の大きさを表しています。
[全てを見る]をクリックすると、すべての属性の因子の大きさを見ることができます。

プロファイルチャート

プロファイルチャートとはクラスタごとの属性分布のことです。
例えば下図では、会員属性の分布が、各クラスタでどのように異なるか、を見ることができます。
一番左のCL1(クラスタ1)では、カテゴリ1(ゴールド会員)が109人(全体の41.13%)、カテゴリ2(シルバー会員)が68人(25.66%)、カテゴリ3(通常会員)が29人(10.94%)、カテゴリ4(非会員)が59人(22.26%)だということがわかります。

バブルチャート

セグメントボリューム

クラスタ番号が付与されたサンプル数を、クラスタごとに計数したグラフです。
各クラスタに該当するデータが、何件あったのかを把握することができます。

セグメントボリューム

推奨クラスタ数

サンプルデータから統計的に良いクラスタ数を計算し表示しています。

特徴属性リスト

各クラスタを表す、特徴的な属性を示しています。全体平均よりも、その属性に該当するレコードの比率が、一定以上高いものが表示されています。
例えば下記の例だと、CL1(クラスタ1)は、「最新アクセス日_2ヶ月以内」という性質を持っていることが多い、ということがわかります。逆に言うと、「最新アクセス日_2ヶ月以内」の場合は、CL1に分類される可能性が高い、とも解釈することができます。

セグメントボリューム

クラスタ名変更

クラスタの名称を変更することができます。
各チャートに反映されるので、クラスタの特徴を表すような名称を付けると良いでしょう。

クラスタリングモデルを作成する

モデル

属性情報に対応する正解フラグ(=クラスタ、教師データ)をもとに、ロジックを抽出するプロセス。
教師なしの場合は、クラスタを付与する解析も含みます。
また、モデルには今後の管理のため名称を指定することができます。

教師データ

正解フラグ(クラスタ番号=分類)のことです。
bodaisクラスタリングサービスでは、あり、なしを選択できます。
「教師なし」は、入力するモデル作成用ファイルに、まだクラスタ情報(分類)がついていない場合に選択します。教師なしクラスタリングにより分類を付与します。
「教師あり」は、入力するモデル作成用ファイルに、すでにクラスタ情報(分類)がついている場合に選択します。分類モデルを構築します。

クラスタ数

分類の数です。
「教師なし」の場合には、分割するクラスタ数を指定できます。
「自動」の場合は、統計的に良いクラスタ数を計算し、クラスタ分割を行います。

モデル用ファイル

「ファイルを選択」をクリックして、モデル作成用のCSVファイルを指定してください。
「教師なし」を選択している場合は、最右列に、クラスタ情報が入っていないファイルをアップロードしてください。
「教師あり」を選択している場合は、最右列に、クラスタ情報が入っているファイルをアップロードしてください。

クラスタリング予測を作成する

予測

モデルで抽出したロジックと予測用データの属性情報をもとに、各レコードに所属クラスタ付与を行うプロセスです。
予測には今後の管理のため名称を指定することができます。

予測用ファイル

「ファイルを選択」をクリックして、予測作成用のCSVファイルを指定してください。
「解析を開始する」をクリックすると予測が始まります。

モデル評価値 – クラスタリング

クラスタリングのモデル評価値とは、作成したモデルをもとに予測分類を行った際に、より良い結果を出すことができるかを表した指標です。
1に近いほど「良い」分類ができているとみなすことができ、評価値が0.7以上であれば「良い」モデルである目安となります。

クラスタリングサンプルデータ

ご利用方法とサンプルデータ

サンプルデータをご利用戴き、bodaisの利用方法をご確認いただけます。
サンプルデータを こちらからダウンロードしてください。

サンプルデータについて

Readme.txt

サンプルデータに関する注意事項など記載しております。 はじめにご覧ください。

(A)モデル用データ(教師なし).csv

bodaisでのモデル構築に利用する教師なしのサンプルデータです。

(B)モデル用データ(教師あり).csv

bodaisでのモデル構築に利用する教師ありのサンプルデータです。

(C)予測用データ.csv

bodaisでの予測に利用するサンプルデータです。

(D)検証用データ.csv

bodaisで構築したモデルによる予測の効果を検証するためのサンプルデータです。

(F)変換方法.xls

モデル構築や予測に利用するデータを、bodais用に加工する方法の例を記載したファイルです。
(A)(B)(C)のサンプルデータがどのように作成されたかが、わかるものになっています。

(G)データ変換定義.csv

サンプルデータにおけるカテゴリ値とカテゴリ名称の対応表です。
本ファイルをアップすることで、画面に表示されるカテゴリ値をカテゴリ名称に変換して表示することが出来ます。

bodais FTPアップロード機能チュートリアル

1. はじめに

サービスの概要

bodaisでは、http接続ではアップロードできないような大きな容量のデータファイル(10万行を超えるファイル)のアップロードに対して、FTPクライアントを使用したファイルアップロード機能で対応しております。各bodaisユーザーは専用のディレクトリ領域を有しており、固有の「ユーザー名」「パスワード」でその領域に接続しファイルをアップロードすることが可能です。

2. ユーザー名、パスワードの発行

ユーザー名・パスワードの発行

ユーザー固有の「ユーザー名」「パスワード」は、bodaisアカウント発行時にbodais-supportよりご連絡しております。もし「ユーザー名」「パスワード」をお忘れの場合は、bodaisヘルプデスクまでご連絡ください。

3. FTPクライアントによるファイルアップロード

はじめに

使用するFTPクライアントに制限はございませんが、本マニュアルでは「FFFTP」を使用した場合を想定しご説明いたします。「FFFTP」はフリーのFTPクライアントで、日本で広く使用されており多くのオンラインソフト公開ページで配布されています。基本操作は多くのFTPクライアントで共通となりますので、FTPクライアントはその他の一般的なものでも構いません。実際に使用するFTPクライアントはお客様ご自身でダウンロード・インストールしてご使用下さい。

FTPクライアントによる接続

FTPクライアントからユーザー固有の領域に接続します。以下「FFFTP」の画像を使用しご説明いたします。


FFFTPデフォルト画面

img

メニューから「接続」、「ホストの設定」選択します

img

ホスト一覧画面から、「新規ホスト」を選択します

img

ホスト設定画面が開きますので必要項目を入力していきます。

ホストの設定名:お好きなホスト名を入力してください。※画像では仮に「bodais」と入力しています
ホスト名:「app.bodais.jp」と入力してください。
ユーザー名:発行された「ユーザー名」を入力してください。
パスワード/パスフレーズ:発行された「パスワード」を入力してください
PASVモードを使う:チェックを外してください。(「拡張」タブに項目があります)

img

img

「OK」ボタンを押してください。これ以外の項目は未入力で構いません。

「ホスト一覧」画面に戻るので、「接続」ボタンを押してください。

img

接続に成功しました

img

接続に失敗した場合はエラーメッセージが出るので設定を再度やり直してください。

img

FTPクライアントによるファイルアップロード

「フォルダの移動」を選択し、アップロードしたいファイルが格納されているフォルダを選択してください。

img

フォルダ内に格納されているファイルが表示されますので、アップロードしたいファイルを選択し「アップロード」ボタンを押してください。なお、ファイル名には半角英数のみ使用できます。

img

ファイルが右側の画面に表示され、アップロードに成功しました。

img

ファイルはドラッグアンドドロップでもアップロードすることが出来ます。

※bodaisでは、デフォルトの領域直下にアップロードされた「ファイル」しか認識できません。FTPクライアントで「フォルダ」を作成してもbodaisでは認識されませんので、フォルダを作成しないようにお願いします。

img

4. bodaisサービス画面でのファイルの選択

・bodaisサービスのモデル作成画面で、「FTPでアップロードしたファイルを使用」を選択してください。

img

・先ほどアップロードしたファイルが選択可能になっています。

img

・アップロードしたファイルを選択し、解析を開始してください。この後の作業は通常の解析と同様です。

なお、アップロードしたファイルは一度解析に使用するとbodais上のFTP領域から削除されますのでご注意ください。