AI技術応用事業化チームのプロジェクトリーダー(Tさん)、
昼休みに 🌟AI学習会🌟 を自主開催していました (*’▽’)
記念すべき第1回の今回は【AI分析の基礎の基礎】
自然言語処理の考え方を簡単な解析例、具体例を見せながら、分かりやすく説明してくれました。
<形態素解析> 文を構成する各語句が、どの品詞(役割)を果たす語句かを分類する文字列抽出法
形態素解析のツールはいくつもありますが、MeCabという形態素解析エンジンを使用。Pythonとの相性もいいようです。
<tf-idf> 語句の頻出度から、その文書における語句の重要度を数値化し、文書の特徴判別に利用する
英語が得意の方なら、tf は、term frequency (語句の頻出度)の略と分かります。
助詞や代名詞などは一般的にどの文章にも使われる語句なので、文章を特徴づける要素にはなりません。そのような一般的な語句は除けるように、語句のレア度(特異性)を測る数値も計算に入れます。tf-idfで導き出された数値を、どう使うかがエンジニアの手腕となりそうです。
主催者から、
「こんな感じで緩くやりたいと思っていますので、良かったらまた聞いてくださるとうれしいです。」
隔週~月1くらいで、細く、長く~開催予定だそうです。