データサイエンティストの経験談苦労

データサイエンスはまだ新しい分野でありながら、昨今のAIブームで大きくその名を知られることになりました。

しかし仮にデータサイエンティストの名前は知っていたとしても、

実際の仕事の中身をよく理解している人は、まだ世の中に多くはありません。

このため、例え大きな期待をもって迎えられた立場だとしても、

最初に周囲の部門を説得し、理解や信頼を得るまでは非常にしんどいプロセスとなります。

データサイエンスにおいて新しい知見を得るためには、横断...

的なデータ活用が必須となるケースが多いため プロジェクトの初めに、今までの業務では協働することのなかった多くの部門と並列的に交渉することが多いです。 先に述べたように、データサイエンスに対する実際の理解はまだまだ足りないのが現実です。 横断的な業務においてはデータオーナーである既存のビジネス部門の協力を得る必要がありますが、 その各部門がデータサイエンスを得体の知れないものと捉えていると、コミュニケーションに多大なコストを払うことになります。 特にデータの宝の山である伝統的大企業ほど組織が大きくコミュニケーションが複雑になるため、 必然的に、データが実際に揃い触り始めるまでのプロセスに多大な努力と時間をかけることになります。 そのような状況下でデータ活用の有用性を訴えるためにも、分かりやすく伝える力は必須であると考えています。

データ分析は複雑なステップを順番に踏んで行く必要があります。例えば複数のデータを組み合わせる、その後にデータのクリーニングを行う、その後にビジュアライズして仮説を立てる、それを元にモデルを作る、それを元に予測を行う、などです。最終的にはより正しい結果が求められるのはもちろんですが、各ステップで正しいことをやっていないとあとになって大きな手戻りが発生してしまうということもあります。機械学習で予測モデルを作るステップまで到達することができた...

けれども、実はそもそも対象としていたデータには思わぬ偏りがある（例えばなぜか部分的なデータしかなかった）ということにあとから気づく事があるとそれまでに時間をかけてやってきた分析が全部始めからやり直しになる、何ていうことも起こってしまいます。それが研究発表の前日だったり、お客さんに結果を見せないといけない数時間前だったり、そんな経験もたくさんしてきました。自分の分析結果を人に見せる上では、その答えが間違っていることは自分のプロフェッショナルとしての信用に関わりますので、そのようなことがなかったか細部まで気を利かせて注意しないといけないということになります。最近ではそのような間違いを起こしにくくするような優れた分析ツールがたくさん出てきていますが、データ分析・活用においては丁寧さがとても重要だと思います。