Pythonによるデータ分析・機械学習ブログ

Pythonによるデータの前処理・グラフ化、機械学習、統計解析、画像処理、Webスクレイピング、自然言語処理の基礎について紹介していきます。

MENU

自然言語処理

【第4回】GiNZAによる日本語の自然言語処理:形態素解析、文節分割、係り受け解析、固有表現抽出

はじめに 近年、AI技術の発展に伴い、自然言語処理が注目されています。自然言語処理(Natural Language Processing:NLP)は、人間の言語(自然言語)を機械で処理し、内容を抽出することです。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析…

【第3回】nltkを用いた単語の出現頻度解析

はじめに 近年、テキストマイニングが注目されています。テキストマイニングの意味は以下の引用のようになります。 大量の文章データ(テキストデータ)から、有益な情報を取り出すことを総称してテキストマイニングと呼びます。自然言語解析の手法を使って…

【第2回】Mecabを用いた形態素解析

はじめに 自然言語処理(Natural Language Processing:NLP)は、人間の言語(自然言語)を機械で処理し、内容を抽出することです。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析などがあります。 形態素解析の意味は以下の引用のようになり…

【第1回】科学数値計算、自然言語処理、機械学習で使用するモジュールについて

はじめに この記事を読んでいる方は、データサイエンスの世界でデータサイエンティストやデータアナリストを目指す方が多いかと思います。私自身ももともとは実験家でPythonなど触れたことのない人物でした。そこから、約1年半、Pythonを各ライブラリを用い…

【第1回】Pythonを用いた形態素解析に必要なMecabのインストールと設定方法

はじめに 自然言語処理(Natural Language Processing:NLP)は、人間の言語(自然言語)を機械で処理し、内容を抽出することです。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析などがあります。 Pythonを用いて形態素解析をしようとすると…