ビッグデータやAIに超関係！構造化データ／非構造化データとは

現在世の中はインターネットが普及し、それどころかIoTという言葉も出てきてあらゆるモノまでインターネットに繋がる時代になりましたよね。インターネットを通じて大量に収集され蓄積されたデータをビッグデータと呼びますが、私たちがコンピュータで扱っているデータには「構造化データ」と「非構造化データ」の二つがあります。

AI（機械学習）の理解を深めるにあたって、これらの用語の意味を理解することは非常に重要です。そこで今回は、「構造化データ」と「非構造化データ」についてお伝えして行きましょう。

一言で言うと「構造化データ／非構造化データ」とは・・・

世の中の多くは「非構造化データ」である

パソコンやスマートホンなどの通信機器が普及した現在では、私たちがコンピュータで扱っているデータには大きく分けて2種類があります。

一つは、コンピュータが理解できるように、構造的に作られた「構造化データ」です。これはコンピュータが処理できるようにルールに従ってつくられたデータ、行と列を持つ表形式のデータのことです。身近なところでは、データベースや表計算のデータ、CSVデータが該当します。

もう一つは、人間が読むために作られた「非構造化データ」です。例えばワードで作成した文書テキスト、画像、音声などが挙げられます。これは人間が読んで内容を理解したり解釈したりできる、人間が人間のために作ったデータです。

通常、「非構造化データ」はコンピュータにはその意図までは伝わりません。今話題のビッグデータのほとんどは、文章、音声、画像、センサーデバイスなどから蓄積されたデータで、80%以上が非構造化データだと言われています。

これまで、AI（人工知能）へのデータ活用は「構造化データ」を中心に行われてきましたが、ディープラーニング（Deep Learning）が発展したことで、画像やテキスト、音声データと行った「非構造化データ」に関する識別性能が大幅に向上しました。

つっちー

ディープラーニングとは、深層学習とも呼ばれ、脳の神経ネットワークを単純化してコンピュータのプログラム上で再現した技術です。さらに詳しく知りたい方はコチラ

ディープラーニング（Deep Learning）

ここ数年で一気にAI（人工知能）が注目され、AI（人工知能）ブームが到来していますよね。ブームの火付け役となった技術が、ディープラーニング（Deep Learning）です。何やら難しそうだし、よくわからないなあ、と思われている方も多いでしょう。そこで今回は「ディープラーニング」についてお伝えしていきます！！

aizine.ai

ただ、「構造化データ」「非構造データ」どちらの場合も、機械学習アルゴリズムを用いてモデルを構築するためには、データの形式を変換する「前処理」が必要になってきます。

つっちー

前処理とは、データをAI（人工知能）が学習しやすいよう、前もって加工しておく処理のことです。

前処理

様々なメディアでAI（人工知能）に関する情報を目にすることができますよね。AI（人工知能）に関する記事を見ていると「前処理」という言葉を見かけることがあります。「前処理」は実用的なAI（人工知能）をつくるためには決して欠かせない工程です。そこで今回は、この「前処理」という言葉についてお伝えしていきます。

aizine.ai

まとめ

つまり、「構造化データ／非構造化データ」とは、

＜参考＞

・神崎 洋治（2018).『シンギュラリティ (やさしく知りたい先端科学シリーズ3)』株式会社創元社.

・韮原祐介(2018).『いちばんやさしい機械学習プロジェクトの教本』株式会社インプレス.

つっちー

AI（人工知能）って「なにそれ美味しいの？」ってレベルだった僕が、AIエンジニアを目指してステップを踏んだり踏まれたりしている記事を書いてます。よかったら読んでみてください（実話）。