データ分析の仕事をやられている方は”Knime”というツールをご存知でしょうか？ これ”ナイム”と読みます。
私も最近データ分析的な仕事を始めたのですが、PowerBIの様な可視化ツールに渡すデータを整形化するためのツール、いわゆるETLツールを使い始めました。
使ってみてその便利さや多彩な機能に驚きました。今日はその様なツールの１つ”Knime”についてのお話です。
どんなことができるの？
簡単に言うと「データ加工」です。
データを集計して表にしたりグラフ化したりする際に、元データを整備しなければならないことが増えました。
最近流行りのIoT機器からのセンサーデータ等を扱うケースではなおさらです。
もちろんEXCELでやればできることが多いですが、データ数が数万件あったり、シートやファイルに分割されていたり、中にゴミが紛れ込んだりと、使えるデータにするためにはデータを加工する必要があります。
これをEXCELでやろうとするとめちゃくちゃ大変です。やれたとしてもデータが毎月Updateされるとなったらさすがにやる気が失せるでしょう。
その様な時にこのETLツールと呼ばれるデータ加工ツールが威力を発揮します。
この手のツールは市場にたくさん出回っており有償のものもあるのですが、このKnimeは嬉しいことにOSSとして提供されており基本無償です。
利用するきっかけ
私は最近もてはやされているデータ分析系の仕事にどっぷり入っているわけではありません。
社内で企画資料の説明をする際に、自分が提案する内容の正しさの根拠を示すためにデータを利用するといった感じです。
そのデータを見る人が理解し納得感を持てるようにするため、データ可視化に取り組む過程でこのツールに出会いました。
データ可視化ツールは主にマイクロソフト社の「Power BI」を使っていました。これは勤務先で契約していたために何の迷いもなく利用し始めたものです。
最初はこの「Power BI」で使うデータを整備するために、元データのEXCELを読み込んでデータベース化する処理を、EXCELマクロ（VB）を使って開発していました。
特にEXCELの横になっている「列」を「行」に展開する加工処理や、途中に入っている小計行を取り除く処理はなかなか厄介でした。
これ、プログラムができる人に頼んで開発してもらったのですが、EXCELデータのフォーマットが変化したり、分析する切り口が増えたりする内に、開発した人が忙しくなってなかなか改訂が追い付かなくなってしまったのです。
そこで自分でこのデータ加工ができないかと悩んでいたところ、データ分析を専門にしている友人から薦められたのがこの”Knime”です。
この手のツールは既に数年前から世の中には出ており、何で今まで気が付かなかったのだろうと悔やみました。
ほんと、知らないというのは怖いです。
メリット
Knimeの良い所は、
①フローチャートを作るような簡単操作
②無償
③独立して稼働する
④Knimeのコミュニティサイトが充実
①は行や列の操作をEXCELの様に関数を埋め込むやり方ではなく、部品アイコンを結びつけるだけでフローチャートを作ることができます。もちろんノンプログラミングです。他の有償ツールと全く遜色ない操作性だと思います。
②他の有償ツールでは制限付きで無償になっていたりするのだが、Knimeはどんなにデータ量が増えても無償なのは嬉しい。逆にこんなに秀逸なツールを無償でよいの？ と何か裏があるのではないかと疑いたくなる（もちろんそんな心配は無用です）
③他のツールの中には何かのデータベースツールとセットでないと動かない（例：SSIS等）というものがありますが、Knimeは単独でインストールして単独で動作します。それでいて、EXCELやOracleとの接続も簡単にできてしまいます。
④KnimeHUBと呼ばれるコミュニティサイトがあり、そこで他のユーザーが開発したワークフローサンプルや部品が公開されており、自由に利用することができます。無償ツールだからこそ、Give ＆ Take の精神が働きますね。
デメリット
①デフォルト英語版です
英語を勉強するには持ってこい…とは言うものの、社内展開する際には多少の障壁になる可能性はあります。
でも、これには解決策があるのです。何と、日本語化のサービスを提供している会社が存在しました！
インフォコム社さんです。そちらで有償（45万円位だとどこかで聞いた記憶あり）で日本語パッチが提供されています。
日本語化 | KNIME（インフォコム） (knime-infocom.jp)
②機能がたくさんあり過ぎる
これは普通に考えればメリットなのですが、データ加工の部品だけでなく、データ可視化、さらにはデータ分析を本格的にやるためのデータモデリングやマシンラーニングの部品も用意されています。
私の様なデータ分析初心者にはとても使いこなせるものではありません。
そのため最初は必要な部品を探すのに少し苦労をしたかなという印象です。
しかし、これもよく使う部品をセットにしたテンプレートを作っておけば解決できます。
また、自分はデータ可視化の仕事は「Power BI」等のBIツールで行った方が効率は良いと感じていますので、今のところBIツールへのインプットデータ加工で「Knime」を利用するという使い分けをして活用しています。
勉強するための書籍
こんなにいいことづくめの”Knime”なのですが、”Knime”に関する書籍って案外少ないのです。
探してみたところ以下の日立産業制御ソリューション社が書かれたものがありました。
タイトルはデータ分析のための「データ前処理の極意」ということで、まさしくKnimeをビジネスで活用するための極意が書かれているとても良い書籍です。
あとは、Knimeを社内で活用されている会社さんのサイトもよくリファレンスさせて頂いております。
最後に
データ分析をこれから本格的に始められる方はもちろんですが、企画業務やマネジメントでもっとデータを活用してみたい方、データ分析をちょっと勉強してみたい方にとっても”Knime”はお薦めのツールです。
是非皆さんも気軽に使ってみてはいかがでしょうか？
ダウンロードサイトはこちら
英語サイトですがブラウザで翻訳すればへっちゃらです
最後まで読んで頂きありがとうございました。
〆
コメント