ChatGPTによりデータサイエンティストの仕事はどう変化していくのか？

ChatGPTは、米国の人工知能研究所であるOpenAIが開発した生成AIの一種です。その高い汎用性から、テキスト生成、翻訳、要約、文章作成、プログラミングなど、さまざまなタスクをこなすことできます。

参考記事：ChatGPTの開発技術とは・GPT-3とGPT-４の違いや未来の可能性も解説

有償版のChatGPT Plusに加入すると、GPT-4やプラグインなどの追加機能が使えるようになります。2023年8月時点でのChatGPT Plusの料金は月額20ドルです。

参考URL：ChatGPT（OpenAI公式サイト）

https://openai.com/chatgpt

ChatGPTがデータサイエンティストの代わりにできるタスクをいくつか紹介します。

・コーディング作業

・データの可視化

・予測モデルの作成

・予測値の計算

・データの前処理

今回、以下の記事を参考に、世界最大級の機械学習コンペティションプラットフォームであるKaggleのデータセットを用いて、ChatGPTによる住宅価格の予測に挑戦してみました。

参考URL：

ChatGPTのCode Interpreterで予測モデルを作る〜プロンプトでKaggleのSubmitまでやってみた〜

House Prices – Advanced Regression Techniques（Kaggle）

（1）コーディング作業

ChatGPTを用いれば、データ分析用のコードを生成できます。

ChatGPTは、基本的なコード生成からエラー診断、さらにはコード最適化の提案まで、幅広い作業を行うことが可能です。

例えば、Pythonコードでエラーが出た場合、エラーメッセージをChatGPTに伝えるだけで、原因と解決策を提案してもらえます。

（2）データの可視化

ChatGPTを用いれば、データの傾向やパターンを視覚的に把握するためのグラフを作成するコードを生成可能です。「Noteable」を用いると、データの可視化が容易になります。

「Noteable」は、ChatGPTのプラグインで、プログラミングの知識がなくてもPythonやSQLなどのコードを自動的に生成して実行できるデータ分析ツールです。他のプラグインと同様に、有償版のChatGPT Plusに加入すれば利用できます。

Kaggleのデータセットを用いて、探索的データ分析を試してみます。今回、探索的データ分析の指示を行うだけで、データ可視化まで自動的に実行できました。

データの可視化として、相関行列（*1）のヒートマップ（*2）が生成されたり、SalePriceに関するヒストグラム（*3）が描かれたりします。

*1.相関行列：複数の変数間の相関係数をまとめた表

*2. ヒートマップ：2次元データ（行列）の個々の値を色や濃淡で可視化したグラフ

*3. ヒストグラム：データの分布状況を可視化したグラフ

図：相関行列のヒートマップ

図：SalePriceに関するヒストグラム

（3）予測モデルの作成

ChatGPTを用いれば、予測モデルを開発することも可能です。前述した「Noteable」を用いると、モデル作成からその評価までを自動で行うことができます。

今回、以下の４つの予測モデルを作成しました。

・Ridge回帰分析：データを使って予測モデルを作る方法の一つで、モデルが過度に複雑になりすぎないように制限をかけるため、単純で分かりやすいモデルを作ることができます。

・LASSO回帰分析：Ridge回帰分析と同様にデータを使って予測モデルを作る方法の一つで、必要のない情報を排除してシンプルなモデルを作ることができます。

・ランダムフォレスト：多数の小さな予測モデルを組み合わせて、高性能なモデルを構築する手法です。

・AdaBoost：複数の結果を組み合わせて、修正しながら高性能なモデルを構築する手法です。

少し時間がかかりましたが、　しばらく待ってから結果を確認すると、評価結果が表示されました。

今回、Random Forestが最も高い予測精度を示しました。

（4）予測値の計算

ChatGPTを用いれば、テストデータに基づいた予測値を効率的に算出できます。

「Noteable」を用いると、予測値の計算から結果のCSVファイルへの生成まで、一連の作業が自動化されます。

Kaggleへ予測結果のCSVファイルを提出後、スコアを確認できました。

住宅価格の予測モデルが正常に生成できたことが確認できます。

（5）データの前処理

ChatGPTを用いれば、データの欠損値補完や異常値の検出、さらにはデータの変換など、データ前処理を簡単に実行できます。

「Noteable」を用いると、前処理の指示をChatGPTに入力するだけで、一連の前処理作業が自動化できます。今回、Kaggleで得られたスコアをChatGPTに共有するだけで、モデル性能向上の提案を受けました。

提案の中からデータの前処理を指示しました。

この指示だけで、前処理から予測モデルの作成、予測値であるCSVファイル生成まで一連の作業が実行されました。

Kaggleへ予測結果のCSVファイルを提出し、スコアが改善したことが確認（Score:0.14833 → 0.14534）できました。

この結果より、データの前処理により予測精度が向上しています。

今後、ChatGPTのさらなる進化により、データ分析作業は格段に効率化されることが予測されます。

しかし、データサイエンティストが不要になるわけではなく、新しい役割を求められる可能性があります。具体的には、以下のような役割や職種が考えられます。

・新しいビジネスの創出や推進を担うビジネスプロデューサー

・異分野の専門家と連携して複雑な問題を解決する専門家

・AIを活用するスキルを他者に教える教育係

ChatGPTやその他のAI技術が進化することで、データサイエンティストの役割は変わるかもしれませんが、その重要性はさらに高まっていく可能性があるでしょう。

データサイエンティスト協会が定義するデータサイエンティストに必須のスキルは、ビジネス力、データサイエンス力、データエンジニアリング力です。これらのスキルは、ChatGPTに仕事を奪われずに長期的にデータサイエンティストとして活躍するために必要なスキルといえます。

参考URL：データサイエンティストに必要な3つのスキル領域（一般社団法人データサイエンティスト協会公式サイト）

https://www.datascientist.or.jp/dscertification/what/

ビジネス力、データサイエンス力、データエンジニアリング力について説明します。

（1）ビジネス力

データサイエンティストの役割は、ビジネスの課題を解決することです。データサイエンティストは、ビジネスのニーズを把握し、それに基づいてデータ分析の方向性を決めて、ビジネスの課題を解決することが求められます。そのため、ビジネスの課題を特定して深く理解するための思考力と、課題の解決策を導き出すための課題解決力が必要です。この能力は人が培ってきた経験に依存する部分であり、AIでは代替不可能といえるでしょう。

（2）データサイエンス力

データサイエンスは統計学や機械学習などの専門的な知識とスキルを必要とします。データの前処理や可視化、モデルの構築など、さまざまな作業を行うため、幅広い知識とスキルが必要です。また、専門的な知識に基づき、作業内容を明確に指示したり、有益な情報を引き出したりする能力が求められます。

（3）データエンジニアリング力

AIがデータ分析を容易にする一方で、データの品質や曖昧さ、意図しないコード生成のリスクがあります。データサイエンティストは、データの収集、クリーニング、変換、ストレージの設計など、データエンジニアリングのスキルを持つ必要があります。また、データのセキュリティやプライバシーの問題にも対応する必要があります。

今後、データサイエンティストとして活躍するためには、ChatGPTを使いこなすことも重要なポイントとなります。データサイエンティストとしてChatGPTを効果的に活用するためのコツをいくつか紹介します。

（1）データ特性の明確な指定

まず、分析するデータの特性を明確に指定することが重要です。データが時系列データ、カテゴリカルデータ、テキストデータ等のどの種類に属するのかを明示することで、ChatGPTはより適切な手法を提案することができます。

例えば、テキストデータの場合、ChatGPTは自然言語処理の手法やトピックモデルなど、テキストデータに適した手法を提案するでしょう。

（2）分析目的の具体的な設定

分析の目的を具体的に設定することも重要です。期待する出力や結果を明確にすることで、ChatGPTは目的に適した手法やコードを提案することができます。例えば、特定の予測モデルを構築したいのか、データのクラスタリングを行いたいのかなど、具体的に指定することにより、ChatGPTにはそれに応じた手法を提案することが可能になります。

（3）モデルの詳細指定

特定のモデルやアルゴリズムを指定することもできます。ChatGPTは様々なモデルやアルゴリズムをサポートしており、ユーザーが特定のモデルを使用したい場合には、それを指定することができます。これにより、分析の精度を向上させることができます。

（4）プラグインの活用

ChatGPTがサポートするプラグインやツールを活用することも効果的です。ChatGPTは、コーディングや分析をスムーズに進めるための様々なツールを提供しています。例えば、データの可視化や前処理を行うためのプラグインを活用することで、分析の効率を向上させることができます。

これらのコツをおさえることによりChatGPTを効率的に活用することができますが、ChatGPTは完璧ではありません。常に正確な回答を保証するわけではなく、細かな違いが結果に影響を与える場面もあります。そのため、最終的な判断はユーザー自身が下すことが重要です。ユーザーはChatGPTの提案を参考にしながら、自身の知識や経験を活かして最適な分析手法を選択する必要があります。

この記事では、ChatGPTがデータサイエンティストの代わりにできること、ChatGPTに仕事を奪われないデータサイエンティストになるために必要なスキル、データサイエンティストがChatGPTを使いこなすコツなどを解説しました。

データサイエンティストにとって、ChatGPTはデータの分析や機械学習などで非常に有用です。ChatGPTを活用することで、データサイエンティストの日々の業務が大幅に効率化され、生産性が向上します。「Noteable」を活用することにより、データサイエンティストの業務を一部自動化することも可能です。ただし、人が持つ深い洞察力や戦略的思考は依然として重要であり、データサイエンティストの役割がなくなる可能性は低いといえます。

新たなAI時代に活躍するデータサイエンティストになるためには、ビジネスの課題を深く理解して解決するための思考力と課題解決力を養うことが大切です。

「データサイエンティストとして長期にわたって活躍するための本格的なスキルを身に付けたい」という方は、ビジネスの現場で役立つ思考力や課題解決力を養い、実践的なスキルを習得できる講座の受講を検討してみてはいかがでしょうか。

データミックスでは、初学者や文系出身の方でもデータサイエンティストに必要な知識やスキルを体系的に学習できるデータサイエンティスト育成講座を提供しています。

受講料の最大70％が支給される専門実践教育訓練の指定講座として認定されている本格的な講座で、ビジネスの課題を解決するための思考力と課題解決力を養うことを重視しているため、ビジネスの現場で役立つ実践的なスキルを習得できます。

オンラインで受けられる無料の個別相談も実施していますので、「カリキュラムの詳細を知りたい」「講座を受講してみたいけれど、ついていけるか不安」という方もぜひお気軽にお申し込みください。