235日のセブIT留学　成長日記「ぐるなびAPIの口コミデータを形態素分析！」　( 46/235 days )

23 8月 2018, Posted by keisuke in IT留学, プログラミング

こんばんわ！Keisukeです！

前回, 口コミを取得したので

今回は, その口コミを形態素分析してみたいと思います！

① 口コミのデータを取得

② 口コミのデータを形態素分析し分解した状態で表示する

③ 更に名詞の頻出頻度を表示する

以下コード

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#*****************************************************************************************

# ぐるなびWebサービスの応援口コミAPIを実行しハンバーグの口コミを取得しパースするプログラム

# 注意：アクセスキーはユーザ登録後に発行されるキーを指定してください。

#*****************************************************************************************

import sys

import urllib.parse

import urllib.request

import json

from janome.tokenizer import Tokenizer

from janome.analyzer import Analyzer

from janome.tokenfilter import *

####

# 変数の型が文字列かどうかチェック

####

def is_str( data = None ) :

if isinstance( data, str ) or isinstance( data, int ) :

return True

else :

return False

if __name__ == ‘__main__’:

####

# 初期値設定

####

# APIアクセスキー

keyid = “4b069e059d0923043fca1f5e6b4f20ce”

# エンドポイントURL

url = “https://api.gnavi.co.jp/PhotoSearchAPI/20150630/”

# メニュー

menu_name = u”カレー”

#文字コード

encoding = ‘utf-8’

latitude = “43.067656”

# 経度

longitude = “141.350857”

# 範囲

# 1:300m、2:500m、3:1000m、4:2000m、5:3000m

range_m = “1”

####

# APIアクセス

####

# URLに続けて入れるパラメータを組立

query = [

( “format”, “json” ),

( “keyid”, keyid ),

( “latitude”, latitude ),

( “longitude”, longitude ),

( “range”, range_m ),

( “menu_name”, menu_name.encode(encoding) ),

]

# URL生成

url += “?{0}”.format( urllib.parse.urlencode( query ) )

# API実行

try :

result = urllib.request.urlopen( url ).read()

except ValueError :

print(u”APIアクセスに失敗しました。”)

####

# 取得した結果を解析

####

data = json.loads( result )

print(“—————–口コミを表示します！—————–“)

#print(data)

# エラーの場合

if “error” in data :

if “message” in data :

print(u”{0}”.format( data[“message”] ))

else :

print(u”データ取得に失敗しました。”)

# ヒット件数取得

total_hit_count = None

if “total_hit_count” in data[“response”] :

total_hit_count = data[“response”][“total_hit_count”]

#ページごとの件数を取得

total_hit_count = None

if “total_hit_count” in data[“response”] :

total_hit_count = data[“response”][“total_hit_count”]

# ヒット件数が0以下、または、ヒット件数がなかったら終了

if total_hit_count is None or total_hit_count <= 0 or total_hit_count is None or total_hit_count <= 0 :

print(u”指定した内容ではヒットしませんでした。”)

# ヒット件数表示

print(“{0}件ヒットしました。”.format( total_hit_count ))

print(“”)

print(“—-“)

# 出力件数

disp_count = 0

com = []

sname = []

# 応援口コミデータ取得

for i in range( total_hit_count ) :

photo = data[“response”][“{0}”.format(i)][“photo”]

line = []

id = “”

name = “”

mname = “”

comment = “”

# 店舗番号

if “shop_id” in photo and is_str( photo[“shop_id”] ) :

id = photo[“shop_id”]

line.append( id )

# 店舗名

if “shop_name” in photo and is_str( photo[“shop_name”] ) :

name = photo[“shop_name”]

sname.append(name)

line.append( name )

# メニュー名

if “menu_name” in photo and is_str( photo[“menu_name”] ) :

mname = photo[“menu_name”]

line.append( mname )

# コメント

if “comment” in photo and is_str( photo[“comment”] ) :

comment = photo[“comment”]

line.append( comment )

com.append(comment)

# タブ区切りで出力

print(“\t”.join( line ))

print(“**********************************”,”\n”)

disp_count += 1

# 出力件数を表示して終了

print(“—-“)

print(u”{0}件出力しました。”.format( disp_count ))

print(“—————–形態素分析を開始します！—————–“)

t = Tokenizer()

token_filters = [POSKeepFilter(‘名詞’), TokenCountFilter()]

a = Analyzer(token_filters=token_filters)

for i in range(len(com)):

print(sname[i],’\n’)

print(“**********************************”,”\n”)

print(com[i],’\n’)

print(“+++++++++++++++++++++++分解+++++++++++++++++++++++”,”\n”)

for token in t.tokenize(com[i]):

print(token)

print(“**********************************”,”\n”)

print(“+++++++++++++++++++++++名詞頻度+++++++++++++++++++++++”,”\n”)

for k, v in a.analyze(com[i]):

print(‘%s: %d’ % (k, v))

print(“**********************************”,”\n”)

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

実行結果

—————–口コミを表示します！—————–

4件ヒットしました。

—-

7104243 スープカレーとカレーの店天馬海の幸の海鮮スープカレー見た目にも鮮やかで、えび・ムール貝・あさり・いかの入ったシーフードカレーですが、大きく切った野菜もごろごろ入っていて、食べ応えもあり大満足です。

**********************************

7104243 スープカレーとカレーの店天馬豚の角煮温野菜のスープカレー（ポークスープ）よく煮込まれた柔らかい豚の角煮とスープカレーならではの大きな野菜がたっぷりで、スパイスの効いたサラサラスープが具材と良く合います。

**********************************

h957801 カリーハウスコロンボハンバーグカレージューシーなハンバーグが、この店特有の甘口カレーの風味と相まって、とびきりの美味さを醸し出している。

**********************************

6295315 まんざらざんぎカレー久しぶりに美味しいカレー＆ざんぎを頂きました。

まろやかでコクのあるカレーと、カラっと揚がった味付ざんぎは人におすすめできる美味しさです。

ランチメニューで限定１０食なのでお早めに。

**********************************

—-

4件出力しました。

—————–形態素分析を開始します！—————–

スープカレーとカレーの店天馬

**********************************

見た目にも鮮やかで、えび・ムール貝・あさり・いかの入ったシーフードカレーですが、大きく切った野菜もごろごろ入っていて、食べ応えもあり大満足です。

+++++++++++++++++++++++分解+++++++++++++++++++++++

見た目名詞,一般,*,*,*,*,見た目,ミタメ,ミタメ

に助詞,格助詞,一般,*,*,*,に,ニ,ニ

も助詞,係助詞,*,*,*,*,も,モ,モ

鮮やか名詞,形容動詞語幹,*,*,*,*,鮮やか,アザヤカ,アザヤカ

で助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ

、記号,読点,*,*,*,*,、,、,、

えび名詞,一般,*,*,*,*,えび,エビ,エビ

・記号,一般,*,*,*,*,・,・,・

ムール貝名詞,一般,*,*,*,*,ムール貝,ムールガイ,ムールガイ

・記号,一般,*,*,*,*,・,・,・

あさり名詞,一般,*,*,*,*,あさり,アサリ,アサリ

・記号,一般,*,*,*,*,・,・,・

いか名詞,一般,*,*,*,*,いか,イカ,イカ

の助詞,格助詞,一般,*,*,*,の,ノ,ノ

入っ動詞,自立,*,*,五段・ラ行,連用タ接続,入る,ハイッ,ハイッ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

シーフード名詞,一般,*,*,*,*,シーフード,シーフード,シーフード

カレー名詞,一般,*,*,*,*,カレー,カレー,カレー

です助動詞,*,*,*,特殊・デス,基本形,です,デス,デス

が助詞,接続助詞,*,*,*,*,が,ガ,ガ

、記号,読点,*,*,*,*,、,、,、

大きく形容詞,自立,*,*,形容詞・イ段,連用テ接続,大きい,オオキク,オーキク

切っ動詞,自立,*,*,五段・ラ行,連用タ接続,切る,キッ,キッ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

野菜名詞,一般,*,*,*,*,野菜,ヤサイ,ヤサイ

も助詞,係助詞,*,*,*,*,も,モ,モ

ごろごろ副詞,一般,*,*,*,*,ごろごろ,ゴロゴロ,ゴロゴロ

入っ動詞,自立,*,*,五段・ラ行,連用タ接続,入る,ハイッ,ハイッ

て助詞,接続助詞,*,*,*,*,て,テ,テ

い動詞,非自立,*,*,一段,連用形,いる,イ,イ

て助詞,接続助詞,*,*,*,*,て,テ,テ

、記号,読点,*,*,*,*,、,、,、

食べ動詞,自立,*,*,一段,連用形,食べる,タベ,タベ

応え名詞,一般,*,*,*,*,応え,コタエ,コタエ

も助詞,係助詞,*,*,*,*,も,モ,モ

あり動詞,自立,*,*,五段・ラ行,連用形,ある,アリ,アリ

大接頭詞,名詞接続,*,*,*,*,大,ダイ,ダイ

満足名詞,サ変接続,*,*,*,*,満足,マンゾク,マンゾク

です助動詞,*,*,*,特殊・デス,基本形,です,デス,デス

。記号,句点,*,*,*,*,。,。,。

**********************************

+++++++++++++++++++++++頻度+++++++++++++++++++++++

見た目: 1

鮮やか: 1

えび: 1

ムール貝: 1

あさり: 1

いか: 1

シーフード: 1

カレー: 1

野菜: 1

応え: 1

満足: 1

**********************************

スープカレーとカレーの店天馬

**********************************

よく煮込まれた柔らかい豚の角煮とスープカレーならではの大きな野菜がたっぷりで、スパイスの効いたサラサラスープが具材と良く合います。

+++++++++++++++++++++++分解+++++++++++++++++++++++

よく副詞,一般,*,*,*,*,よく,ヨク,ヨク

煮込ま動詞,自立,*,*,五段・マ行,未然形,煮込む,ニコマ,ニコマ

れ動詞,接尾,*,*,一段,連用形,れる,レ,レ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

柔らかい形容詞,自立,*,*,形容詞・アウオ段,基本形,柔らかい,ヤワラカイ,ヤワラカイ

豚名詞,一般,*,*,*,*,豚,ブタ,ブタ

の助詞,連体化,*,*,*,*,の,ノ,ノ

角名詞,一般,*,*,*,*,角,カク,カク

煮動詞,自立,*,*,一段,連用形,煮る,ニ,ニ

と助詞,並立助詞,*,*,*,*,と,ト,ト

スープ名詞,一般,*,*,*,*,スープ,スープ,スープ

カレー名詞,固有名詞,地域,一般,*,*,カレー,カレー,カレー

ならでは名詞,接尾,一般,*,*,*,ならでは,ナラデハ,ナラデワ

の助詞,連体化,*,*,*,*,の,ノ,ノ

大きな連体詞,*,*,*,*,*,大きな,オオキナ,オーキナ

野菜名詞,一般,*,*,*,*,野菜,ヤサイ,ヤサイ

が助詞,格助詞,一般,*,*,*,が,ガ,ガ

たっぷり副詞,助詞類接続,*,*,*,*,たっぷり,タップリ,タップリ

で助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ

、記号,読点,*,*,*,*,、,、,、

スパイス名詞,一般,*,*,*,*,スパイス,スパイス,スパイス

の助詞,格助詞,一般,*,*,*,の,ノ,ノ

効い動詞,自立,*,*,五段・カ行イ音便,連用タ接続,効く,キイ,キイ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

サラサラスープ名詞,一般,*,*,*,*,サラサラスープ,*,*

が助詞,格助詞,一般,*,*,*,が,ガ,ガ

具名詞,一般,*,*,*,*,具,グ,グ

材名詞,接尾,一般,*,*,*,材,ザイ,ザイ

と助詞,格助詞,一般,*,*,*,と,ト,ト

良く副詞,一般,*,*,*,*,良く,ヨク,ヨク

合い動詞,自立,*,*,五段・ワ行促音便,連用形,合う,アイ,アイ

ます助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス

。記号,句点,*,*,*,*,。,。,。

**********************************

+++++++++++++++++++++++頻度+++++++++++++++++++++++

豚: 1

角: 1

スープ: 1

カレー: 1

ならでは: 1

野菜: 1

スパイス: 1

サラサラスープ: 1

具: 1

材: 1

**********************************

カリーハウスコロンボ

**********************************

ジューシーなハンバーグが、この店特有の甘口カレーの風味と相まって、とびきりの美味さを醸し出している。

+++++++++++++++++++++++分解+++++++++++++++++++++++

ジューシー名詞,一般,*,*,*,*,ジューシー,*,*

な助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ

ハンバーグ名詞,一般,*,*,*,*,ハンバーグ,ハンバーグ,ハンバーグ

が助詞,格助詞,一般,*,*,*,が,ガ,ガ

、記号,読点,*,*,*,*,、,、,、

この連体詞,*,*,*,*,*,この,コノ,コノ

店名詞,一般,*,*,*,*,店,ミセ,ミセ

特有名詞,一般,*,*,*,*,特有,トクユウ,トクユー

の助詞,連体化,*,*,*,*,の,ノ,ノ

甘口名詞,一般,*,*,*,*,甘口,アマクチ,アマクチ

カレー名詞,一般,*,*,*,*,カレー,カレー,カレー

の助詞,連体化,*,*,*,*,の,ノ,ノ

風味名詞,一般,*,*,*,*,風味,フウミ,フーミ

と助詞,格助詞,一般,*,*,*,と,ト,ト

相まって副詞,一般,*,*,*,*,相まって,アイマッテ,アイマッテ

、記号,読点,*,*,*,*,、,、,、

とびきり副詞,助詞類接続,*,*,*,*,とびきり,トビキリ,トビキリ

の助詞,連体化,*,*,*,*,の,ノ,ノ

美味形容詞,自立,*,*,形容詞・アウオ段,ガル接続,美味い,ウマ,ウマ

さ名詞,接尾,特殊,*,*,*,さ,サ,サ

を助詞,格助詞,一般,*,*,*,を,ヲ,ヲ

醸し出し動詞,自立,*,*,五段・サ行,連用形,醸し出す,カモシダシ,カモシダシ

て助詞,接続助詞,*,*,*,*,て,テ,テ

いる動詞,非自立,*,*,一段,基本形,いる,イル,イル

。記号,句点,*,*,*,*,。,。,。

**********************************

+++++++++++++++++++++++頻度+++++++++++++++++++++++

ジューシー: 1

ハンバーグ: 1

店: 1

特有: 1

甘口: 1

カレー: 1

風味: 1

さ: 1

**********************************

まんざら

**********************************

久しぶりに美味しいカレー＆ざんぎを頂きました。

まろやかでコクのあるカレーと、カラっと揚がった味付ざんぎは人におすすめできる美味しさです。

ランチメニューで限定１０食なのでお早めに。

+++++++++++++++++++++++分解+++++++++++++++++++++++

久しぶり名詞,一般,*,*,*,*,久しぶり,ヒサシブリ,ヒサシブリ

に助詞,格助詞,一般,*,*,*,に,ニ,ニ

美味しい形容詞,自立,*,*,形容詞・イ段,基本形,美味しい,オイシイ,オイシイ

カレー名詞,一般,*,*,*,*,カレー,カレー,カレー

＆記号,一般,*,*,*,*,＆,アンド,アンド

ざんぎを名詞,一般,*,*,*,*,ざんぎを,*,*

頂き動詞,自立,*,*,五段・カ行イ音便,連用形,頂く,イタダキ,イタダキ

まし助動詞,*,*,*,特殊・マス,連用形,ます,マシ,マシ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

。記号,句点,*,*,*,*,。,。,。

,*,* 記号,一般,*,*,*,*,

記号,空白,*,*,*,*,

,*,*

まろやか名詞,形容動詞語幹,*,*,*,*,まろやか,マロヤカ,マロヤカ

で助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ

コク名詞,一般,*,*,*,*,コク,コク,コク

の助詞,格助詞,一般,*,*,*,の,ノ,ノ

ある動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル

カレー名詞,一般,*,*,*,*,カレー,カレー,カレー

と助詞,並立助詞,*,*,*,*,と,ト,ト

、記号,読点,*,*,*,*,、,、,、

カラ名詞,一般,*,*,*,*,カラ,カラ,カラ

っと助詞,格助詞,引用,*,*,*,っと,ット,ット

揚がっ動詞,自立,*,*,五段・ラ行,連用タ接続,揚がる,アガッ,アガッ

た助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

味名詞,一般,*,*,*,*,味,アジ,アジ

付名詞,接尾,一般,*,*,*,付,ヅケ,ズケ

ざんぎは名詞,一般,*,*,*,*,ざんぎは,*,*

人名詞,接尾,一般,*,*,*,人,ジン,ジン

に助詞,格助詞,一般,*,*,*,に,ニ,ニ

おすすめ名詞,サ変接続,*,*,*,*,おすすめ,オススメ,オススメ

できる動詞,自立,*,*,一段,基本形,できる,デキル,デキル

美味し形容詞,自立,*,*,形容詞・イ段,ガル接続,美味しい,オイシ,オイシ

さ名詞,接尾,特殊,*,*,*,さ,サ,サ

です助動詞,*,*,*,特殊・デス,基本形,です,デス,デス

。記号,句点,*,*,*,*,。,。,。

,*,* 記号,一般,*,*,*,*,

記号,空白,*,*,*,*,

,*,*

ランチ名詞,一般,*,*,*,*,ランチ,ランチ,ランチ

メニュー名詞,一般,*,*,*,*,メニュー,メニュー,メニュー

で助詞,格助詞,一般,*,*,*,で,デ,デ

限定名詞,サ変接続,*,*,*,*,限定,ゲンテイ,ゲンテイ

１名詞,数,*,*,*,*,１,イチ,イチ

０名詞,数,*,*,*,*,０,ゼロ,ゼロ

食名詞,接尾,助数詞,*,*,*,食,ショク,ショク

な助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ

ので助詞,接続助詞,*,*,*,*,ので,ノデ,ノデ

お接頭詞,名詞接続,*,*,*,*,お,オ,オ

早め名詞,一般,*,*,*,*,早め,ハヤメ,ハヤメ

に助詞,格助詞,一般,*,*,*,に,ニ,ニ

。記号,句点,*,*,*,*,。,。,。

**********************************

+++++++++++++++++++++++頻度+++++++++++++++++++++++

久しぶり: 1

カレー: 2

ざんぎを: 1

まろやか: 1

コク: 1

カラ: 1

味: 1

付: 1

ざんぎは: 1

人: 1

BLOG