『データサイエンティスト』と『R』の概要

こんにちは、ピコシムです。

半年前、ADHDって別に他人事じゃん！と思っていたら（社会人編）の最後で、自分の適正にあった職種、『データサイエンティスト』じゃないの？とGoogle先生に教えてもらったことを思い出してたので、本を買って調べてみました。

データサイエンティストとは何か

データサイエンティストとは、ビッグデータを活用し、企業内外を取り巻く大量のデータを分析、それをマーケティング等に活かしてビジネス的な価値を生み出す役割を持った専門人材の事。

データサイエンティストとは | データサイエンティストの意味

必要な技能（ハードスキル）

IT系スキル（RDBMS関連、QSL、Hadoop関連、JAVAなど）
分析系スキル（R、Python 、Perlなど、各種統計解析、機械学習に関する知識など）

必要な技能（ソフトスキル）

ビジネス系スキル（業界・業務に関する知識、質問力、理解力、伝達力など）

ザックリ言うと、データベースをイジって、Rなどのソフトで統計解析して、経営者に分かるように簡単な言葉で説明する人。

データサイエンスの7つのスキーム

業務理解

事業責任者にヒアリングして業務の全体像を把握する
データ理解

営業部やネット集客の担当者にヒアリング。どの業務とデータ連携しているか、現状の自動運用、着手する分析の影響範囲の把握
データ抽出

データウェアハウスやデータマートからデータを抽出し、処理可能な状態にする（インスタンス化）
データ加工

異なるシステムデータを統合

フィールド値の異なる型の統一

欠損値、不正確な値、極端な値の定義

データの選択

分析に必要な形式にデータを再構成

関連フィールドを変換する

→ この辺りはArcGIS(地理情報システム）と同じイメージ

→最も時間がかかり、最重要の工程
モデリング

教師ありモデル

1つ以上のフィールドに基づいて対象フィールドの予測をモデル化、結果が道である将来のケースを予測

→ニューラルネットワーク

→決定木

→線形回帰

→ロジスティック回帰などがある

教師なしモデル

予測されるフィールドはなく、データ内の関連性を検索して全体的な構造を発見するために利用

→Kohonen

→Twostep

→K-means

その他のモデル
→アソシエーションツール
効果検証
データサイエンスの結果から、ビジネス上で何にどの様に役立つか評価
サービス実装
予測や新しいデータに対する評価を作成するためのモデル展開
既存サービスと接続
既存データベースへの接続
自動化など