この仕事をやっていて、眠れないほどしんどい瞬間はどんな時ですか？
結局、いくら能書きを垂れようと、売上・利益にハネない仕事は資本主義の上では意味がないと思っています。
これは、データサイエンティストのような、非定型かつ、まだ白黒がついていない新しい職業においては特にそうでしょう。偉そうなこと言ってるけど何が出来るねん、どう貢献するねん、何がお前のバリューやねん、と自分に問いかける意識は常に持っておいたほうがいい職業だと思います。
こういう状況のもとで、自分自身の仮説が外れて成果が出ないときは非常にヘコ...
データサイエンスはまだ新しい分野でありながら、昨今のAIブームで大きくその名を知られることになりました。
しかし仮にデータサイエンティストの名前は知っていたとしても、
実際の仕事の中身をよく理解している人は、まだ世の中に多くはありません。
このため、例え大きな期待をもって迎えられた立場だとしても、
最初に周囲の部門を説得し、理解や信頼を得るまでは非常にしんどいプロセスとなります。
データサイエンスにおいて新しい知見を得るためには、横断...
仕事で眠れないほどしんどい瞬間はありません。
幼少期にRPGゲームをやられていた方は、どうしたらボスを倒せるか、どうしたら効率よくレベルアップできるか、どうしたら秘密のアイテムを獲得できるかなどと考えていたら、夜になっていたという経験があると思います。
同様に、データサイエンスの仕事は、どうしたら課題が解決できるか、どうしたら精度を高められるか、どのように実装に落とし込むかを考えていたら、そして、先進技術について論文で読んでいたらワク...
やってもやっても成果が上がらない時です。特に、研究開発のプロジェクトに関わっているとたびたび遭遇します。実行する際は、ある程度「こうすればうまくいくんじゃないか」という仮説を持って業務に望んでいますが、なかなか思ったような結果にならないことも。
この試行錯誤、失敗の連続が私たちのキャリアの礎となるわけなのですが、正直どうすれば問題を解決できるのか見えない時は、夜も眠れないくらい苦しく、悩ましいです。
膨大なデータを１つ１つ確認してデータ加工する必要があるとき。地道にやっていかないと終わらないので非常に辛いです。
データ分析作業に投入するコストのうち、約8割がデータ準備にかかると言われているほど、すぐに分析に取り組めるとは限りません。
数万行のデータを目で確認して加工するなど、延々と続く地味な作業に泣きそうになりながら取り組んでいたこともありました。
眠れないほどしんどい瞬間はあまりないですが、
難しいのは経営目線の問題解決ならではかと思いますが、ただ単にデータを分析するのではなく、ビジネス的に意味のある分析をする必要があるところかと思います。
興味本位で分析をしに行くのではなく、ビジネス的に意味のある分析を設計していくことが重要となっていくためクライアントやコンサル側としっかりと議論をしながら丁寧に考えていくことが重要と感じられます。
また、議論をしていく上で人によっては見ている...
データ活用やデータサイエンスは特に最近盛り上がってきたのかなと思います。
盛り上がりが最近である分、「データを絶対に使うことが規定されているビジネスの局面」というのはそこまで多くありません。
企業内で「データを絶対に使うことが規定されているビジネスの局面」が多くないということは、当然「データを整備すること」も重要視されていないので、
関係者から「データを入手する」だけでも苦労します。
またたとえデータを入手できたとしてもそのデータを楽に...
データサイエンティストという職種は、個人的に弁護士に近い働きを求められていると考えております。
つまり、法律のような多くの人にとってわからないことの多い領域に対して、専門家として正しい判断が求められます。周囲の人は専門家の言葉を信じて行動するため、その言葉は非常に重みを持つものになります。
そのため、データへの解釈に際しては、統計的な知見はもちろんのこと、データ取得時の前提条件や、意図しないバイアスの発生、背後の見えない相関性など、様...
データ分析は複雑なステップを順番に踏んで行く必要があります。例えば複数のデータを組み合わせる、その後にデータのクリーニングを行う、その後にビジュアライズして仮説を立てる、それを元にモデルを作る、それを元に予測を行う、などです。最終的にはより正しい結果が求められるのはもちろんですが、各ステップで正しいことをやっていないとあとになって大きな手戻りが発生してしまうということもあります。機械学習で予測モデルを作るステップまで到達することができた...
分析していて、どうしても結果の数値が大幅に合わないときです。
SQLやPythonのコードではエラーが出ないのに、分析結果が大きく違うときは、
・論理設計が違うのか、
・データの参照場所が違うのか、
・そもそも想定が違うのか、
・・・など疑うべき点が多いので、その解決（デバッグ）には苦労します。
特に、分析結果をまとめている最終工程で、ミスに気づき、最初からのやり直しになったときには、愕然とします。
地味で退屈な作業ではあ...
データサイエンティストのキャリアを考えている人に向けて、この仕事の泥臭い部分に触れておきたいと思います。
前の質問で、高い精度のモデルを作ったときや、新しい示唆を出せた瞬間が仕事の楽しさだと答えましたが、実際にはその真逆の状況に直面することがほとんどです。想定通りの精度が出ないモデルの高度化に試行錯誤したり、データから想定と逆の傾向が表れてその確からしさの検証に多くの時間をかけることも多くあります。実際、データサイエンティストの時間...
ほとんどの場合、データはきれいに整理されてません。
データサイエンスを学ぶ段階ではきれいなデータが簡単に手に入りますが、現場でそういったデータに出会うことはまれです。
PDFからきれいに文字列を取り出したり、ラベル付けの作業マニュアルを作って作業者に指示したりと、煩雑で泥臭い作業に向き合う必要もあります。
私は、自社の1人目のDSとして、DS組織の立ち上げをやってきました。
そのまさに一番初め、社内に全く前例のない状態から、何をしたら価値が生まれるのかすらわからない状態から、暗中模索を続けていた時期です。
自分の成果で、社内の DS が5年進むか、5年遅れるかがかかっていました。
非常に大きなプレッシャーの中の仕事は、当然楽しかったですが、しんどい時期でもありました。
まず、「眠れないほどしんどい瞬間」は異常事態ですので、決して再発させてはなりません。この仕事に特有のしんどさは？ と捉え直して以下に回答します。
R. A. フィッシャーの次の言葉を思い出します：
「実験が終わってしまった後で統計学者に相談をするのは、検死解剖をどのように行なえばよいかを尋ねるようなものであり、統計学者はその実験の”死因”を教えてくれるだけだろう」（C. R. ラオ著『統計学とは何か』より）。
あるいは、より有名で端...
どれだけ分析してもよい示唆が出てこないときは絶望的な気持ちになります。だけど、そこからもう少し踏ん張って諦めずにやっていくと、きらりと光るものを見つけられたりします。その成功体験を積み重ねられると、分析に対する自信が持てるようになっていきます。
問いを立て、仮説をたて、いざ分析結果を得ようとすると、アルゴリズムがうまくワークせずに結果が得られないことがあります。
なぜそもそもアルゴリズムがうまくいかないのか？なぜ精度よく予測できないのか？等々を考え、すぐには答えがわからない時はつらいです。
同僚とのディスカッションや文献調査をしながら、これで解決できるのではないかと仮説を考えては試す過程を楽しめる、好奇心の強さとやり抜く力がこの仕事には求められます。