Pythonによるデータ分析・機械学習ブログ

Pythonによるデータの前処理・グラフ化、機械学習、統計解析、画像処理、Webスクレイピング、自然言語処理の基礎について紹介していきます。

MENU

2022-01-01から1年間の記事一覧

【第14回】OpenCVを用いた画像内の特徴点マッチング

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第13回】OpenCVを用いた画像処理による物体の輪郭描画:サーロインの輪郭描画

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第12回】OpenCVを用いた画像内への図形の描画

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第11回】OpenCVを用いたテンプレートマッチング

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第10回】OpenCVを用いた画像内のダメージ補修

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第9回】OpenCVを用いた画像内のオブジェクト除去

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【第8回】OpenCVを用いた画像内の顔認識・目認識、全身認識

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第7回】OpenCVを用いた画像のコーナー検出

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第6回】OpenCVを用いた画像のモザイク処理

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第5回】OpenCVを用いた画像のモルフォロジー処理:ノイズ除去・エッジ抽出

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第4回】OpenCVを用いた画像のエッジ検出

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第3回】OpenCVを用いた画像の平滑化処理

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第2回】Opencvを用いた画像のグレースケール化、輝度平滑化、閾値処理、各色成分の取出、HSV色空間変換

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第1回】Opencvを用いた画像の表示、回転、リサイズ、トリミング処理

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 Opencvには以下のような機能があります。 …

【第3回】nltkを用いた単語の出現頻度解析

はじめに 近年、テキストマイニングが注目されています。テキストマイニングの意味は以下の引用のようになります。 大量の文章データ(テキストデータ)から、有益な情報を取り出すことを総称してテキストマイニングと呼びます。自然言語解析の手法を使って…

【第2回】Mecabを用いた形態素解析

はじめに 自然言語処理(Natural Language Processing:NLP)は、人間の言語(自然言語)を機械で処理し、内容を抽出することです。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析などがあります。 形態素解析の意味は以下の引用のようになり…

【第3回】seleniumを用いた検索ワードに対するWebページのタイトルとURLの取得

はじめに Webスクレイピングとは、WebサイトからWebページのHTMLデータを取得し、HTMLのテキスト情報を解析することでマーケティングなどの必要な情報やデータを取得して、新たな価値を生むことができます。 Pythonを用いてWebスクレイピングをする際に必要…

【第2回】seleniumを用いたHTMLデータから要素の取得

はじめに Webスクレイピングとは、WebサイトからWebページのHTMLデータを取得し、HTMLのテキスト情報を解析することでマーケティングなどの必要な情報やデータを取得して、新たな価値を生むことができます。 Pythonを用いてWebスクレイピングをする際に必要…

【第1回】requestsとBeautifulSoupを用いたHTML情報の取得

はじめに Webスクレイピングとは、WebサイトからWebページのHTMLデータを取得し、HTMLのテキスト情報を解析することでマーケティングなどの必要な情報やデータを取得して、新たな価値を生むことができます。 Pythonを用いてWebスクレイピングをする際に必要…

【第20回】numpy、pandas、scipyを用いたデータの平滑化:移動平均法とSavitzkey-Golayフィルタ

はじめに センサーなどのデータを分析しようとした際に、データにノイズがのっているケースがあると思います。その時に実施するのがデータの平滑化(スムージング)です。例えば、スパイクノイズなどがデータに満たれた場合、データを平滑化することでデータ…

【第19回】scipyを用いたデータの補間

はじめに SciPyは、プログラミング数学、科学、工学のための数値解析ソフトウェアです。 例えば以下のようなサブモジュールが用意されています。 補間( scipy.interpolate) 数値積分:(scipy.integrate) 信号解析(scipy.signal) 画像処理(scipy.ndimag…

【第5回】statsmodelsを用いたBland-Altmanプロットの作成:一致度の評価

はじめに 計測したデータの分析などをしていると2つの計測機器間のデータの一致性を評価する場面があります。その際に用いる分析手法の一つにブランド・アルトマン分析があります。 ブランド・アルトマン分析についてはStats Guild:ブランド・アルトマン分…

【第4回】Scipy、Numpy、Pandasを用いた相関係数の算出

はじめに 相関分析とは 2つのデータの関係の強さを表す指標(相関係数)を計算し、数値化するデータ分析手法です。相関係数は-1以上1 以下の範囲で算出され、数値が正の場合は正の相関を示し、負の場合は負の相関を示します。そして1に近いほど強い正の相関…

【第3回】scipyを用いた1標本のt検定

はじめに 1標本のt検定は、未知の母平均が特定の値と異なるかどうかを判断するために用いられる検定手法です。 本記事ではscipyを用いた1標本のt検定の例を示します。 1. 1標本のt検定のコード 1標本検定では、scipy.stats.ttest_1sampを用います。 2. scipy…

【第2回】scipyを用いた対応のない3群以上の平均値の差の検定

はじめに データ分析や統計解析をしていると3群間以上で差があるのかないのかを明確にしたいケースが多いと思います。その際に使用するのが3群間以上の平均値の差の検定です。検定では有意水準0.05を下回るかを確認して、3群間以上の平均値に有意な差がある…

【第1回】scipyを用いた対応のない2群の平均値の差の検定

はじめに データ分析や統計解析をしていると2群間に差があるのかないのかを明確にしたいケースが多いと思います。その際に使用するのが2群間の平均値の差の検定です。検定では有意水準0.05を下回るかを確認して、2群間の平均値に有意な差があるのかを明らか…

【第7回】クラスタリング:k-means、階層的クラスタリング

はじめに scikit-learnはPythonのオープンソース機械学習ライブラリです。サポートベクターマシン、ランダムフォレスト、k近傍法、などを含む様々な分類、回帰、クラスタリングアルゴリズムを備えており、Pythonの数値計算ライブラリのNumPyとSciPyとやり取…

【第6回】ホールドアウト検証と交差検証による汎化能力の評価

はじめに ここまで、回帰や分類を行ってきました。これまでの記事では触れてきませんでしたが、回帰や分類のモデルを構築する際には、データセットを学習用データとテストデータに分割して学習データからモデルを構築して、構築したモデルを用いてテストデー…

【第5回】Optunaを用いたハイパーパラメータのチューニング

はじめに scikit-learnはPythonのオープンソース機械学習ライブラリです。サポートベクターマシン、ランダムフォレスト、k近傍法、などを含む様々な分類、回帰、クラスタリングアルゴリズムを備えており、Pythonの数値計算ライブラリのNumPyとSciPyとやり取…

【第4回】ハイパーパラメータのチューニング:グリッドサーチ、ランダムサーチ、ベイズ最適化

はじめに scikit-learnはPythonのオープンソース機械学習ライブラリです。サポートベクターマシン、ランダムフォレスト、k近傍法、などを含む様々な分類、回帰、クラスタリングアルゴリズムを備えており、Pythonの数値計算ライブラリのNumPyとSciPyとやり取…