Pythonによるデータ分析・機械学習ブログ

Pythonによるデータの前処理・グラフ化、機械学習、統計解析、画像処理、Webスクレイピング、自然言語処理の基礎について紹介していきます。

MENU

【第19回】YOLOv9で自作データセットを用いて学習

はじめに 近年、AI(Artificial Intelligence:人工知能)の急速な発展に伴い、それらを用いた技術が活用され始めています。例えば、AIによる画像認識技術として物体検出などがあります。物体検出は「画像の中から特定の物体の位置、種類、個数などの情報を…

【第18回】YOLOv9による物体検出:動作環境の構築と推論デモ

はじめに 近年、AI(Artificial Intelligence:人工知能)の急速な発展に伴い、それらを用いた技術が活用され始めています。例えば、AIによる画像認識技術として物体検出などがあります。物体検出は「画像の中から特定の物体の位置、種類、個数などの情報を…

【Python】QRコードの生成と読み取り

1. はじめに 本記事では、Pythonライブラリの「qrcodeを用いたQRコードの生成」と「pyzbarを用いたQRコードの読み取り」の基本的な手法を紹介します。 1. はじめに 2. qrcodeを用いたQRコードの生成 3. pyzbarを用いたQRコードの読み取り 4. 参考ページ 5. …

PythonのTenacityを用いてリトライ処理

はじめに 本記事では、Tenacityを用いたリトライ処理について簡単に紹介します。Tenacityは再試行動作を簡素的に実装できるライブラリで、2023年8月現在でもアップデートされています。 本記事では基本的な処理として、以下を紹介します。 リトライ処理の停…

Seleniumを用いたWebスクレイピングの一例 ~吉野家の店舗情報を自動で取得~

記事はこちらに移動しました。 note.com

【psutil】Pythonによるハードウェア情報の取得

はじめに 本記事では、psutilを用いてハードウェア情報を取得する方法を簡単にご紹介します。 はじめに 1. psutil 2. CPU情報の取得 2.1 物理コア数 2.2 論理コア数 2.3 CPU使用率 2.4 CPU周波数 2.5 CPU待ちタスク数 3. メモリ情報の取得 3.1 メモリの仕様…

【logging】Pythonにおけるログ表示・出力

はじめに システムやプログラムを稼働・実行させている際にそのシステムやプログラムの状態の履歴の記録であるログを出力することが一般的です。特に異常時やエラー時等にログ内容から原因を究明して、改善・改良をすることがあることから、非常に重要な機能…

【Python】ディスクの使用率や空き容量を確認

はじめに Pythonを用いてプログラムを作成し、そのプログラムをサーバーやエッジデバイスなどで動作させるケースがあると思います。そのプログラムがローカルディスクやマウントした共有フォルダにcsv, json形式など何かしらのデータをファイルを書き出すこ…

【第2回】簡単に実践:Speech Recgnitionを用いた音声認識

はじめに 本記事では、Speech Recgnitionを用いた音声認識について紹介します。特に、「音声データ(.wav)から音声認識を行う方法」と「マイクからの音声データから音声認識を行う方法」を紹介します。 はじめに 1. Speech RecgnitionのGithubリポジトリ 2.…

YOLO-NASによる物体検出:動作環境の構築と推論デモ

はじめに YOLO-NASが2023年5月にリリースされました。YOLO-NASは、比類のない精度と速度のパフォーマンスを備えた最先端のパフォーマンスを提供し、YOLOv5、YOLOv6、YOLOv7、YOLOv8 などの他のモデルを上回ると唱っています。 引用:https://github.com/Deci…

【folium】PolyLineで地図に線を描画:羽田空港線バスの経路を線で描画編

はじめに 過去の記事でfoliumを用いた地理データを地図上に可視化について、下記記事のように基礎的なことを紹介しました。 chantastu.hatenablog.com 本記事では、foliumを用いた地理データを地図上に可視化の内、PolyLineで地図に線を描画する方法を簡単に…

【folium】ミニマップをメインマップに表示

はじめに 過去の記事でfoliumを用いた地理データを地図上に可視化について、下記記事のように基礎的なことを紹介しました。 chantastu.hatenablog.com 本記事では、ミニマップをメインマップに表示する方法について紹介します。 はじめに 1. ミニマップの表…

【folium】地図マーカーのポップアップへのリンク貼付とポップアップサイズの変更

はじめに 過去の記事でfoliumを用いた地理データを地図上に可視化について、下記記事のように基礎的なことを紹介しました。 chantastu.hatenablog.com 本記事では、ポップアップへのURL貼付とポップアップサイズの変更について説明いたします。 はじめに 1. …

【folium】グループごとにマーカーを分けてマップに表示

はじめに 本記事では、foliumを用いた地理データを地図上に可視化のうち、グループごとにマーカーを分けてマップに表示する方法を簡単に表示します。 はじめに 1. グループごとにマーカーを分けてマップに表示する方法 2. 事例:牛丼チェーン大手3社の店舗の…

【folium】地図上で描画した形状をgeojson形式で出力

本記事では、地図上で描画した形状をgeojsonで出力する方法を簡単に紹介します。 以下のようなPythonファイルを実行すると、下図の地図データを得ることができます。 Make this Notebook Trusted to load map: File -> Trust Notebook ここで、地図の左端に…

Pythonで場所名や住所から緯度経度を求める方法

はじめに 本記事では、Pythonで場所名や住所から緯度経度を求める方法を簡単に紹介します。 はじめに 1. 場所名から緯度経度を求める方法 2. 住所から緯度経度を求める方法 3. 活用例 オススメ書籍 スキル修得&転職 1. 場所名から緯度経度を求める方法 以下…

【MarkerCluster】foliumを用いた地理データを地図上に可視化:MarkerClusterを用いてマーカーをまとめて表示

はじめに 前回の記事で、foliumを用いた地理データを地図上に可視化の基本操作を示しました。以下の記事です。 chantastu.hatenablog.com しかしながら、マーカーの数が多くなると非常に見ずらい地図になるという問題がありました。 そこで、本記事ではMarke…

foliumを用いた地理データを地図上に可視化

はじめに 地理データを地図上に可視化するPythonライブラリにfoliumがあります。 本記事では、foliumを用いた地理データを地図上に可視化する方法について簡単に紹介します。 はじめに 1. foliumとは 2. foliumのインストール 3. foliumで地図描画 3.1 地図…

Shapelyを用いた図形の計算(幾何学的演算):点、線分、多角形の計算

はじめに 図形の計算には一般的にGEOS(Geometry Engine, Open Sourc)のライブラリ関数を使用します。GEOSのPythonパッケージの一つがShapleです。Shapely は地理情報システム (GIS) でよく用いられていますが、他の目的でも使用されています。Shapelyでは…

YAMLファイルの書き方例と読み込み

はじめに YAMLは構造的なデータ集合を簡素な文字列として表記することができるデータ形式の一つで、設定ファイル等に使用されることが多いです。一般的にXMLと同様なものとして扱われます。JSONとも似ていますが、YAMLはJSONとの異なり、コメントも書くこと…

PythonでPostgreSQLの操作とDockerでPosgreSQLコンテナの作成

はじめに 近年、IoT技術の発展により多くのデータが収集可能になってデータベースが多用されるようになってきました。さらに多くのデータを収集して、ビックデータ解析により異常検知や需要予測などに活用されています。データベースの一つにPostgreSQLがあ…

GPU(CUDA)を有効にしたOpenCVのインストール方法

こちらに移行しました。 note.com 5. 参考文献 5.1 OpenCVのビルド qiita.com qiita.com qiita.com qiita.com qiita.com www.kkaneko.jp qiita.com hikotech.net qiita.com atmarkit.itmedia.co.jp www.argocorp.com www.kkaneko.jp 5.2 Pythonでcudacodecを…

PythonでMQTT通信

はじめに 近年はIoT技術の発展により、TCP/IPネットワークで利用できる通信プロトコルの一つであるMQTT(Message Queueing Telemetry Transport )が注目されています。MQTTは送信側が送るデータをデータ領域に一旦保持しながら、受信側の処理が完了するのを…

MQTTブローカーを動作させるDokcer環境の構築

はじめに 仮想化技術 近年、IT業界では「仮想化」という言葉が頻繁に聞かれるようになり、ネットワークやサーバーの仮想化が進んでいます。仮想化技術の誕生によって、1台のサーバー上に複数のサーバー環境を構築することが可能になりました。サーバー環境を…

Dockerfileで利用できる命令、書き方、Dockerfileからコンテナ生成方法

はじめに 仮想化技術 近年、IT業界では「仮想化」という言葉が頻繁に聞かれるようになり、ネットワークやサーバーの仮想化が進んでいます。仮想化技術の誕生によって、1台のサーバー上に複数のサーバー環境を構築することが可能になりました。サーバー環境を…

Dockerのインストールとコンテナの起動~停止、保存について

はじめに 仮想化技術 近年、IT業界では「仮想化」という言葉が頻繁に聞かれるようになり、ネットワークやサーバーの仮想化が進んでいます。仮想化技術の誕生によって、1台のサーバー上に複数のサーバー環境を構築することが可能になりました。サーバー環境を…

【第26回】機械学習EDA:AutoVizによるデータセットの自動視覚化

はじめに データ・セットの分析や要約に用いられる手法に探索的データ分析(EDA:Explanatory Data Analysis) があり、それはデータの主な性質や構造的な特徴、データの相関を可視化して機械学習などのデータ解析の指針や方向性の検討を行います。そういっ…

【第25回】超高速DataFrameライブラリーPolarsの使用マニュアル:DataFrameの作成、csv出力・読込、要素の抽出、条件分岐、列の追加、グループごとの処理、日付データの処理、欠損値の処理、DataFrameの結合

はじめに 時系列データ分析やビックデータ分析などのテーブルデータの分析におけるDataFrameの処理にはPandasが一般的に使用されてきました。近年、RustベースのPolarsというライブラリが注目を集めています。注目されている理由として、従来使用されてきたP…

【第16回】OpenCVを用いた直線の検知

はじめに OpenCVとはインテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリで、画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリとなっています。 OpenCVには以下のような機能があります。 …

【環境構築不要】 Python実行・学習環境「PyWeb」~WEB画面で操作するPython実行環境~

はじめに 近年、プログラミング言語のPythonは記述方法が比較的簡単で理解しやすいことから、多くの人が扱うようになって人気を高めています。Pythonを用いてプログラミングをしようとした際にプログラムを記述、読込、実行する総合開発環境(IDE:Integrate…