One of my favorite things is ...

[データ分析] カテゴリの記事

全577件 (577件中 551-577件目)

< 1 ... 7 8 9 10 11 12

• 

  ◆「世界の月平均気温偏差（℃）」によると、2019年８月は史上３番目の暑さでした:「６月～8月」の３カ月平均では過去最高だったようです：地球温暖化を示すデータです

  ​​​​​　気象庁のサイトに「世界の月平均気温偏差（℃）」というデータがあります​。これは、各月の平均気温の、基準値との差を示すものです。基準値は「1981〜2010年の30年平均値（℃）」です。 地球温暖化を示す基礎的なデータの一つのようです。　世界の2019年８月の月平均気温偏差（℃）は、「1981〜2010年の30年平均値」に対して「+0.42℃」（速報値）で、過去３番目の値を記録しました。　2019年の６月と７月は過去最高でしたので、夏（６月～８月）というくくりでは、2019年の夏が過去最高の暑さということになりました。　結局、世界的に今年の夏は暑かった、ということのようです。​グラフなどの詳細は、こちらの記事にあります。​（「Blogger」での記事です）☆関連記事・おすすめの記事​​​​​​◆「R Markdown」で作成したページです：世界の平均気温偏差（℃）の時系列推移：グラフをたくさん作成してみました​（「Blogger」での記事です）​​​​​​​​​＜付録：データ処理の「Rコード」例＞　「Rコード」でデータ処理をする場合のコードの例です。　　以下の「Rコード」で工夫が必要だった点は、「季節平均値」の処理方法です。「冬」の場合、「12月、1月、2月」の３カ月平均ということになりますが、年をまたぐので行列形式で処理するためには、少し工夫が必要でした。　例えば、2019年１月、２月と2018年12月の３カ月の平均値を「2019年の冬の平均値」とするためには、「2019年の冬」用に一行下にシフトした12月のデータが必要になります。　そこで、「年」が行、「月」が列の形式のデータにおいて、季節の平均値用に「12月」の列を一行下方向にずらした「前年の12月」の列を追加しました。　つまり、「mutate_at(c("Pre_12月"),funs(lag),n=1)」の処理によって、2019年1月、2月のデータの行に2018年12月のデータ（「Pre_12月」のデータ）を配置して、行方向の計算で「冬」の３カ月平均値の列を作成できるようにしました。　この場合、最初の1891年の「冬」は前年の12月のデータが無いのでNAになります。　　　　　1月　２月　・・・　その年の12月　　前年の12月　　　　冬　2017年2018年　2019年　　X　　Y　　　　　　　　　　　　　　　　Z　　　　（X+Y+Z)/3　「冬」の定義が「１月、２月、３月」だったら、このような余計なことをしなくて済むのにと思います。　「夏」の定義は、「６月、７月、８月」ですが、月別平均気温は「６月」よりも「９月」の方が高いので、「７月、８月、９月」といった「夏」の定義も間違いではないような気もします。そうすれば、年をまたぐ処理をしなくて済みます。　Excelのシートでの処理であれば、思いつくままにコピペなどでデータを加工してしまいますが、そのやり方では、処理を繰り返す際に間違ったり、処理の漏れがあったりして、結果が不安定になったりします。　「Rコード」や「パワークエリ」で処理を行うようにすれば、処理を繰り返す場合も同様の処理を確実に再現できます。  「Rコード」や「パワークエリ」は、まさに、データ分析における「RPA（ロボティック・プロセス・オートメーション）」のツールだと思います。----------------------------------------------------------------library(XML)library(rvest)library(tidyverse)library(ggplot2)url <- "http://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html"df_wtemp <- readHTMLTable(url,header = TRUE,stringsAsFactors = FALSE)write.csv(df_wtemp,"worldtemp.csv",fileEncoding = "UTF8")df_wtemp <- read_csv("worldtemp.csv",skip=1,col_names = c("ID","year", "M_01月","M_02月", "M_03月", "M_04月","M_05月", "M_06月", "M_07月","M_08月", "M_09月", "M_10月","M_11月", "M_12月"))df_wtemp <- as.data.frame(df_wtemp)df_wtemp$year_n <- str_replace_all(df_wtemp$year,"年","")df_wtemp$year_n <- as.integer(df_wtemp$year_n)df_wtemp[order(df_wtemp$year_n),]df_wtemp$Pre_12月 <- df_wtemp$M_12月df_wtemp <- df_wtemp %>% mutate_at(c("Pre_12月"),funs(lag),n=1)df_wtemp <- df_wtemp %>% mutate(Spring = rowMeans(select(.,"M_03月":"M_05月")))df_wtemp <- df_wtemp %>% mutate(Summer = rowMeans(select(.,"M_06月":"M_08月")))df_wtemp <- df_wtemp %>% mutate(Autumn = rowMeans(select(.,"M_09月":"M_11月")))df_wtemp <- df_wtemp %>% mutate(Winter = rowMeans(select(.,"Pre_12月","M_01月","M_02月")))ggplot(df_wtemp,aes(x=year_n,y=M_08月)) + geom_line(color="red") + xlim(1980,2019) + labs(x="year",y="世界の月別平均気温偏差（℃）",title="8月")ggplot(df_wtemp)+geom_line(aes(x=year_n,y=Spring),color="red") + xlim(1980,2019) +labs(x="year",y="世界の月別平均気温偏差（℃）",title="Spring（3~5月）")ggplot(df_wtemp)+geom_line(aes(x=year_n,y=Summer),color="red") + xlim(1980,2019) +labs(x="year",y="世界の月別平均気温偏差（℃）",title="Summer（6~8月）")ggplot(df_wtemp)+geom_line(aes(x=year_n,y=Autumn),color="red") + xlim(1980,2019) +labs(x="year",y="世界の月別平均気温偏差（℃）",title="Autumn（9~11月）")ggplot(df_wtemp)+geom_line(aes(x=year_n,y=Winter),color="red") + xlim(1980,2019) +labs(x="year",y="世界の月別平均気温偏差（℃）",title="Winter（12~2月）")df_wtemptidy <- df_wtemp %>% gather(key=month,tempr,3:14,-year_n)df_wtemptidy <- as.data.frame(df_wtemptidy)ggplot(df_wtemptidy)+geom_line(aes(x=year_n,y=tempr),color="red") + xlim(1980,2019) + facet_wrap(~month)+labs(x="year",y="世界の月別平均気温偏差（℃）")                                                                     df_wtemptidy8 <- df_wtemptidy %>% filter(month == "M_08月")                                       ggplot(df_wtemptidy8)+geom_line(aes(x=year_n,y=tempr),color="red") + xlim(1980,2019)+labs(x="year",y="世界の月別平均気温偏差（℃）",title="8月")df_wtemptidy <- df_wtemp %>% gather(key=season,temprs,17:20,-year_n)                       ggplot(df_wtemptidy)+geom_line(aes(x=year_n,y=temprs),color="red") + xlim(1980,2019) + facet_wrap(~season)+labs(x="year",y="世界の月別平均気温偏差（℃）",title="Seasons")df_wtemptidys <- df_wtemptidy %>% filter(season == "Summer")   ggplot(df_wtemptidys)+geom_line(aes(x=year_n,y=temprs),color="red") + xlim(1980,2019)+labs(x="year",y="世界の月別平均気温偏差（℃）",title="Summer(6～8月）")----------------------------------------------------------------　​​​

  2019.10.01

  コメント(0)

• 

  ▼楽天市場の商品レビューの分析：【R】のコードで半自動化を目指します：カレンダーヒートマップ編

  ​​​　楽天市場の商品レビューの分析を半自動化していきたいと考えていますが、レビューの投稿日を示すカレンダーヒートマップを「R」のコードで作成してみました。　これまでは、Microsoft Power BI Desktopを利用してカレンダーヒートマップを作成していましたが、「R」のコードでスクレイピングしたデータを利用して、「R」のコードの一連の作業として作成できれば、効率的です。　Power BIの場合は、「日付」別のレビュー件数の列がなくても、日付をカウントして、カレンダーヒートマップを作成できますが、「R」のカレンダーヒートマップの場合は、「日付」に対応するデータの列が必要になるようです。　「R」でカレンダーヒートマップを作成するためには、日付の文字列を日付型にするのと、日付別のレビュー件数の列（変数）を作成する必要があります。　また、レビューの日付に古いものが含まれているとカレンダーヒートマップの対象期間が長期間になります。しかし、長期間にわたるカレンダーだとグラフが小さくなって見づらくなります。そこで、最新のレビューの日付の年から２年さかのぼって、３年間をグラフの対象にすることにしました。　商品によっては、対象期間を変更する必要があるかもしれませんが、デフォルトで３年間のカレンダーの枠を用意しています。---------------------------------------------------------------▼スクレイピング済みのデータがあることを前提としています。スクレイピングのコードは関連記事にあります。　以下のコードに必要なパッケージは次のようなものになります。library(tidyverse)library(ggplot2)library(ggTimeSeries)▼dateの文字列を日付型に変換して、日付の列と日付別のレビュー件数の列によるデータ「df_rday」を作成df_r$date <- as.Date(df_r$date)df_rday <- select(df_r, date) %>% group_by(date) %>% summarise(count=n())▼カレンダーヒートマップのグラフの枠を３年分にする カレンダーの表示期間を調整するために、yearの列を追加します。yearの値を利用して、最新のレビューの日付の年から２年さかのぼる形でカレンダーの期間を設定します。「date」を利用して、「max(df_rday$date)-730)」といった方法もありますが、グラフ化されるのは730日分のレビュー投稿件数に限られ、３年間の枠一杯にデータが表示される形とは異なります。df_rday$year <- as.integer(substring(df_rday$date,1,4))df_rday <- filter(df_rday, year >= max(df_rday$year)-2)▼カレンダーヒートマップを作成​　日や月の枠線の太さを調整すれば、より見やすい形にできると思います。​ggplot_calendar_heatmap(df_rday, cDateColumnName = "date",  cValueColumnName = "count", vcGroupingColumnNames = "Year",  dayBorderSize = 0.5, dayBorderColour = "black",  monthBorderSize = 2, monthBorderColour = "blue",  monthBorderLineEnd = "round") +   scale_fill_continuous(low = 'yellow', high = 'red') +  facet_wrap(~Year, ncol = 1)---------------------------------------------------------------☆関連記事​​▼楽天市場の商品レビューの分析：【R】のコードで半自動化を目指します：テキストマイニング編​​▼楽天市場ランキング上位のメンズ・ボトムスの商品レビューの分析をしました：「R言語」によるスクレイピング​​▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング​​▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)​​​

  2019.09.12

  コメント(0)

• 

  ▼NASAのNEOデータの可視化の試み：「R」によるアニメーショングラフ：小惑星（Asteroid)の散布図です

  ​​​​　NASAのNEOデータの可視化の試みとして、「R」でアニメーショングラフを作成してみました。　なお、データは、NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からダウンロードしています。　以前作成したアニメーションGIFのグラフは、年別のグラフ画像のファイルを１個ずつ保存して、それらの複数の画像ファイルをアニメーションGIF作成ツールを利用して一体化していました。　「R」のパッケージ「gganimate」を利用すれば、アニメーショングラフを簡単に作成できます。ただ、「gganimate」のパッケージをインストールする際に少しつまずいてしまいました。　「gganimate」には、同じ名前で、古いものと新しいものがあり、とても紛らわしいことになっています。名前を変えて区別できるようにしてほしかったです。　コードも旧版と新版で異なるのですが、ネットの情報が旧版のものなのか、新版のものなのか、区別が難しくて困ります。　とりあえず、古い方のインストールが難しそうだったので、新しい方の「gganimate」をインストールしました。devtools::install_github('https://github.com/thomasp85/gganimate/releases/tag/v1.0.3')　「gganimate」を利用すると、グラフを作成した時点で、アニメーションGIFの作成が終了することになるので、かなり、作業を効率化することができます。　最初、「gganimate」でアニメーショングラフを作成した時、すぐには何も表示されなかったので、PCがフリーズしたと思ってしまいましたが、グラフ作成（レンダリング）が終了するまで時間がかかるようです。パソコンのスペックによると思いますが、下のグラフだと１分程度かかりました。▼１LD以下の距離にまで接近した小惑星（Asteroid）のグラフです。「年」の変数で動くようにしています（図の左上に「年」の表示があります）。　2008年から2019年8月までのデータです。　図の左側が「地球に近い」ということになります。左上に現れる点は、「地球の近くまで接近した大きな小惑星」ということになります。　　地球と月の間の距離「１LD」以下の距離まで接近する小惑星が多いことを感じることができると思います。　日常的に、小惑星が地球の近くを飛行していることをイメージできるのではないかと思います。　グラフの横軸：地球との距離、グラフの縦軸と円の大きさ：小惑星の大きさ（推定の上限値）、円の色は月別▼１LD以下の距離にまで接近した小惑星（Asteroid）の年別のファセットグラフ（静止画）です。2008年から2019年8月までのデータです。　「2019 OK」はファセットグラフの右下に表示されています。約0.2LDの距離で、130ｍの大きさのものが、「2019 OK」です。　グラフは、2008年からのものですが、この距離まで接近した小惑星で、「2019 OK」より大きいものは見当たりません。　グラフの横軸：地球との距離、グラフの縦軸と円の大きさ：小惑星の大きさ（推定の上限値）、円の色は月別▼これは、１LD以下の距離にまで接近した小惑星（Asteroid）のアニメーショングラフです。「月」の変数で動くようにしています。スピードは落としています。　今年の７月は、例年より多くの、しかも大きめの小惑星が地球に接近していたようです。​　グラフの横軸：地球との距離、グラフの縦軸と円の大きさ：小惑星の大きさ（推定の上限値）▼「R」のコード例：一番上のアニメーショングラフのコードです　普通に散布図を作って、動かすコード「transition_time()」を追加するだけです。　最後の行の「animate(movy)」を単に「movy」としても作成されますが、「animate(movy, fps=1)」というように、「fps=数字」を追加して速度を調整することができます。----------------------------------------------------------p <- ggplot(data1,aes(x = Dn_ld, y = size_high, size = size_high, colour = month)) +  geom_point(show.legend = FALSE, alpha = 0.7) +  scale_color_viridis_d() +  scale_size(range = c(2, 12)) +  labs(x = "Distance(LD)", y = "Estimated Size(m)")movy <- p + transition_time(year_d)  +  ease_aes("linear") +  enter_fade() +  exit_fade() +  labs(title = "Year: {frame_time}")animate(movy, width = 700, height = 450)anim_save("asteroid.gif")-----------------------------------------------------------　☆関連記事​▼NASAのNEOデータ分析のための前処理は、まずExcelのPower Queryで処理をし、必要に応じて「R」のコードを利用するのが効率的だと思います​​▼NASAのNEOデータを、Power Queryで前処理してみました：コードを使わずに前処理が可能です​​▼NASAのNEO（地球に接近した小惑星）のデータの分析：データを「R言語」で前処理するコード:データを随時更新する場合は、繰り返し作業を「コード化」するのが一番です ​​▼８月21日放送のフジテレビ「とくダネ！」で「直径160ｍの小惑星が今月末に最接近」という話題がありましたが、地球にはあまり接近しないようです​​▼地球に接近したNEOの日別の個数をMicrosoft Power BIで表示してみました​​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)　​​​​​

  2019.09.11

  コメント(0)

• 

  ▼楽天市場の商品レビューの分析：【R】のコードで半自動化を目指します：テキストマイニング編

  ​​​　楽天市場の商品レビューの分析ですが、「R言語」のコードで半自動化できるかどうかを検証しています。　一応、スクレイピングと簡単な棒グラフなどの「R」のコードは整備できてきました。　次に目指すのは、テキストマイニングの部分です。現在は、ユーザーローカルさんのテキストマイニングツールやKH Coder、Power BIを利用していますが、「R」のパッケージにもテキストマイニングツールがあるので、「R」だけでかなり多くの分析ができるのではないかと思います。　スクレイピングからテキストマイニングまで一気通貫にできれば、非常に楽ですし、コードが正確であるということが前提ですが、人手の作業によるミスを排除できるので、より正確な分析が可能になります。▼ワードクラウドを作成できるようにするために、MeCabとRMeCabをインストール　まだ、テキストマイニング用のコードの整備を始めたばかりですが、早速、MeCabの辞書のコンパイルでつまづいてしまいました。　MeCabのデフォルトの辞書では、「！」「”」といった記号が「サ変接続の名詞」として登録されています。　「サ変接続の名詞」とは何でしょう。例えば「購入」のように、「した」とか「する」に接続するのが、「サ変接続の名詞」です。　レビュー本文のスクレイピングデータ中の「名詞」をワードクラウドの対象にした場合、「”」の数が多かったので、巨大な「”」が出現してしまいました。　　「”」などの記号をRのコードで削除するという対処方法もありますが、処理の自動化とはかけ離れてしまいます。　根本的に対処するためには、辞書を修正する必要があります。　ネットで調べて、MeCabをインストールしたフォルダにある「unk.def」というファイルを修正して、上書きして、辞書を再設定すればいいことがわかりました。　　「unk.def」をテキストエディターで開き、　「SYMBOL,1283,1283,17585,名詞,サ変接続,*,*,*,*,*」という部分を、下記と置き換えます。　「SYMBOL,1283,1283,17585,記号,一般,*,*,*,*,*」に置き換えて、保存します。　ファイルの保存ですが、そのまま保存できなかったので、一度、デスクトップに保存して、その保存したものを元のフォルダに移動させました。　　　辞書の再設定は、コマンドプロンプトでの操作もしてみましたが、最終的には、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。　最初試していたコマンドプロンプトでの操作でも、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、コマンドプロンプトで「cd」で、「ipadic」フォルダにディレクトリを変更してから、「mecab-dict-index.exe」を実行していました。　この場合、オプション設定の仕方がよくわからないので、単に「mecab-dict-index.exe」を実行しただけです。　「bin」フォルダにディレクトリ変更して、「mecab-dict-index.exe」と「ipadic」フォルダへのパスを記して実行よりも手っ取り早いと思ったからです。　コマンドプロンプトで辞書の再設定をした段階で、MeCabでは、「！」「”」などの品詞が「記号」になりました。　しかし、「R Studio」のR MarkdownのRMeCabでは、「！」「”」の品詞は「名詞」のままです。何度繰り返しても、「すももも””！！」とか、解析対象テキストを変更してみても、パソコンを再起動しても、RMeCabでは「！」「”」などの品詞は「名詞」のままです。一方、MeCabのアプリでは、「！」「”」などの品詞は「記号」となっています。　？？？　RMeCabは、MeCabの解析結果をRで利用できるようにしているはずなので、MeCabの結果がRMeCabに反映されないというのは、とても不思議な現象でした。　結局、RMeCabでもうまくいくようになったのですが、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行した後でうまくいくようになったようなので、コマンドプロンプトからの辞書の再設定がうまくいっていなかったのかもしれません。　でも、その前の段階でもMeCabのアプリでは、「！」「”」などの品詞が「記号」となっていたので、RMeCabがMeCabの再設定前の辞書ファイルにアクセスしていた、ということなのではないかと考えます。　そもそも、「！」「”」などの品詞を「サ変接続の名詞」として設定しているMeCabの辞書のデフォルト設定に問題があるようですが、これはMeCabの作者からのメッセージであり、ユーザーに与えた課題でもあり、「それくらいは変更できるようになりなさい」ということなのだと思います。　確かに、この問題を解決するためにいろいろと調べたので、MeCabの辞書ファイルのあり方が何となくわかったような気がします。一瞬ですが、ユーザー辞書を追加してみよう、という気持ちになったりもしました。　なお、２台目のパソコン（Windows8.1)にも同様の設定をしましたが、コマンドプロンプトは全く使いませんでした。　「ipadic」フォルダの「unk.def」というファイルを修正してから、「ipadic」フォルダに「bin」フォルダ内の「mecab-dict-index.exe」と「libmecab.dll」をコピーして、「ipadic」フォルダの中で「mecab-dict-index.exe」を右クリックから実行しました。その結果、すぐにRMeCabにも変更が反映されました。　１台目のパソコン（Windows10）では、手こずりましたが、２台目は非常にスムーズでした。パソコンの環境も何か影響していたのかもしれません。▼ワードクラウドの作成　スクレイピングで得られるデータでは、「☆の数」は４か５しかないので、☆の数別のワードクラウドを作っても仕方がありません。　そこで、「購入した回数」の「はじめて」と「リピート」でワードクラウドを作成しようと思います。　MeCabの辞書の再設定で疲れ果てたので、一応、ワードクラウドができることを確認するまでにとどめます。　ワードクラウドのディテールの設定などは後日にしたいと思います。​​​　先日、スクレイピングしたメンズ・ボトムスのレビューの本文中の「名詞」と「形容詞」を対象にワードクラウドを作成しました。▼「購入した回数」別：「リピート」の人のレビュー本文のワードクラウド▼「購入した回数」別：「はじめて」の人のレビュー本文のワードクラウド☆関連記事​​▼楽天市場ランキング上位のメンズ・ボトムスの商品レビューの分析をしました：「R言語」によるスクレイピング​​▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング​​▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)

  2019.09.10

  コメント(0)

• 

  ▼楽天市場ランキング上位のメンズ・ボトムスの商品レビューの分析をしました：「R言語」によるスクレイピング

  ​​​​​​​​　​楽天市場ランキング上位のメンズ・ボトムス、MONO-MARTの「チノパンツ」の商品レビューの分析をしました。レビュー数は、4600件を超えていますが、今回はスクレイピング可能な1500件のうち375件のレビューデータを取得しました（ページ送りのステップ数を4に設定）。​　「はきやすさ」「はき心地」「値段」が評価されているようです。​S M L XL 選べる2TYPE チノパン シルエット テーパード スキニー スキニーパンツ 上質 カツラギ ボトムス ストレッチ 品質 メンズファッション チノパンツ 夏 メンズ モノマート価格：1998円（税別、送料別)(2019/9/8時点)楽天で購入バリエーションが豊富です​　今回スクレイピングした375件で、「購入した回数」が「はじめて」というレビューが177件となっていて、「リピート」の61件よりも多くなっています。▼レビュー（375件）の性・年代別件数　40代と50代が、レビュー投稿者の中心になっています。▼「購入した回数」　「はじめて」が177件と多くなっています。▼レビューの日別推移　レビュー投稿の時期は、春、秋がやや多いようです。▼レビュー件数の月別推移　　スクレイピングしたレビューには、2013年のものも含まれていました。▼レビューの見出し：「はじめて」購入した人　「はきやすさ」「はき心地」「価格」などが評価されています。▼レビューの見出し：「リピート」購入した人◆今回の「R言語」でのスクレイピングコード：ファッション商品（ボトムス）用----------------------------------------------------------------------------library(pipeR)library(textreadr)library(RCurl) library(XML)library(tidyverse)library(rvest)library(lubridate)library(purrr)library(ggsci)library(gridExtra)url_txt <- "https://review.rakuten.co.jp/item/1/257982_10002304/"pages_num <- 100get_r_reviews  <- NULLdf_reviews   <- NULLfor(i in seq(1, pages_num, by = 4)) {  url <- paste0(url_txt,i,'.','1/')  page <- read_html(url)    get_r_reviews <- page %>%     html_nodes ('.hreview')  %>%        map_df(~list( name = html_nodes(.x, '.reviewer') %>%                     html_text(.,trim = FALSE) %>%                     {if(length(.) == 0) NA else .},                   title = html_nodes(.x, '.summary') %>%                     html_text(.,trim = FALSE) %>%                     {if(length(.) == 0) NA else .},                   stars = html_nodes(.x, '.value') %>%                     html_text() %>%                     {if(length(.) == 0) NA else .},                   date = html_nodes(.x, '.dtreviewed') %>%                     html_text() %>%                     {if(length(.) == 0) NA else .},                   reviews = html_nodes(.x, '.description') %>%                     html_text(.,trim = FALSE) ,                   helpful = html_nodes(.x, '.revEntryAnsNum') %>%                    html_text(.,trim = FALSE) %>%                    {if(length(.) == 0) NA else .} ,                  age_sex = html_nodes(.x, '.revUserFaceDtlTxt') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "購入者|レビュー投稿.*|.*件","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                  sex = html_nodes(.x, '.revUserFaceDtlTxt') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "購入者|レビュー投稿.*|.*件|.*代|以上","") %>%                    str_replace_all(., "レビュー投稿.*","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                  age = html_nodes(.x, '.revUserFaceDtlTxt') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "購入者|レビュー投稿|.*件|男性|女性","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                   posts = html_nodes(.x, '.revUserFaceDtlTxt') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., ".*代.*|購入者|レビュー投稿|件","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                  size = html_nodes(.x, '.revRvwUserDisp') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "利用者サイズ:|商品を使う人.*|購入した回数.*|商品の使いみち:.*","") %>%                    str_replace_all(., " ","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                  usage1 = html_nodes(.x, '.revRvwUserDisp') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "利用者サイズ:.*|ボトムス.*|商品を使う人.*|購入した回数.*|商品の使いみち:","") %>%                    str_replace_all(., " ","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,                  usage2 = html_nodes(.x, '.revRvwUserDisp') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "利用者サイズ:.*|ボトムス.*|商品の使いみち.*|購入した回数.*|商品を使う人:","") %>%                    str_replace_all(., " ","") %>%                    str_replace_all(., " ","") %>%                    str_trim(., side = "both") ,　                usage3 = html_nodes(.x, '.revRvwUserDisp') %>%                     html_text(.,trim = FALSE) %>%                     str_replace_all(., "利用者サイズ:.*|ボトムス.*|商品の使いみち.*|商品を使う人.*|購入した回数:","") %>%                    str_replace_all(., " ","") %>%　                  str_replace_all(., " ","") %>%　                  str_trim(., side = "both")   　　　　　　　))    df_reviews <- rbind(df_reviews, get_r_reviews)      print(i)        Sys.sleep(5)}view(df_reviews)write.csv(df_reviews,"rakuten_reviews.csv")df_r <- read.csv("rakuten_reviews.csv",header = TRUE, na.strings=c("","NA"))write.csv(df_r ,"rakuten_reviews.csv")view(df_r)​​​​​​​​-------------------------------------------------------------------------☆関連記事​​▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング​​▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​　​​​​​​​​​​Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)​​​

  2019.09.08

  コメント(0)

• 

  ▼NASAのNEOデータ分析のための前処理は、まずExcelのPower Queryで処理をし、必要に応じて「R」のコードを利用するのが効率的だと思います

  ​​​​​　NASAのNEOのデータを前処理するにあたって、「R」のコードによる方法とExcelのPower Queryによる方法の２種類を試してみました。　なお、データは、NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からダウンロードしています。　結論としては、分析用データの前処理には、ExcelのPower Queryが便利なので、ExcelのPower Queryでできる処理はすべて行ってしまうのが効率的だと思います。　　その際、列の分割、列名の変更など処理の種類ごとにまとめてクエリの作業をするようにすると、後でクエリの記録がわかりやすくなると思います。　そして、「R」のコードなど、コードによる処理が効率的な処理が残っていれば、その時にコードを利用すればよいと思います。　注意点があるとすれば、ダウンロードした元データをExcelのシートとして開いて変更したりしないということだと思います。　すべての前処理は、クエリかコードで行い、前処理で得られたデータのファイルは元データのファイルとは別名で保存するようにします。　クエリやコードを変更することはよくあるので、クエリやコードを変更しても元データからいつでもやり直せるというのが、クエリやコードを利用することで得られるメリットだと思います。　下記のように、「R」で何らかの前処理を追加することがあるかもしれませんが、ExcelのPower Queryでの前処理が効率化につながっていれば、その処理には意味があると思います。　NASAのNEOデータの場合では、NEOの推定サイズが欠損値の行を削除しようとした場合に、「R」のコードでは推定サイズ以外の欠損値の行も削除してしまっていたのですが、パワークエリでは簡単に処理できました。　ExcelのPower Queryで前処理　　→　 Power BIで分析　　　　　　　　　　　　　　　　　→　Rで前処理追加　→Rで分析　　　　　　　　　　　　　　　　⇒　　　　　　　　　　　　　　　　　⇒　　ということで、分析をPower BIで行う場合、Rで行う場合、いずれの場合でも前処理の最初の段階ではExcelのPower Queryを利用するのがよいのではないかと思います。▼データ件数のカレンダーヒートマップもPower BIで簡単に作成できます　Rのggplotなどを利用する方法とは異なるデザインになります。　下図は、地球まで１LD以下の距離に接近したNEOの日ごとの分布です。▼Power BIでは、「R」とは異なるテイストのビジュアルを作成できます　「2015年~2019年8月」の期間に0.5LD以下の距離まで地球に接近したNEOの散布図です。　下図は、2015年以降のものですが、1900年以降で見ても「2019 OK」は、0.2LD以下の距離まで地球に接近したNEOの中で最大のものです。　この比較的大きな「2019 OK」が、地球に接近する直前までわからなかった、ということがNEOの観測の難しさを示していると思います。　　◆横軸：地球との距離、縦軸と円の大きさ：NEOのサイズの推定値（下限値）▼ところで、直近のアステロイド（小惑星）の動向を表示するウィジェットを見つけました（​https://www.nasa.gov/planetarydefense​）　これがあれば、観測されているNEOの動向を見逃すことはなさそうです。　でも、WindowsPCでは、「Yahoo ! ウィジェット」が必要なようです。「Yahoo ! ウィジェット」はサービス終了していたはずです。　Mac版のウィジェットがちゃんとあるので、NASAにおけるMacユーザーはかなり多いのかもしれません。　接近距離はマイルで表示されていますが、地球と月の距離（１LD)※が約239,000マイルなので、この距離を目安にすればいいと思います。※Average distance between Earth and the moon is about 239,000 miles (385,000 kilometers).☆関連記事​▼NASAのNEOデータを、Power Queryで前処理してみました：コードを使わずに前処理が可能です​​▼NASAのNEO（地球に接近した小惑星）のデータの分析：データを「R言語」で前処理するコード:データを随時更新する場合は、繰り返し作業を「コード化」するのが一番です ​​▼８月21日放送のフジテレビ「とくダネ！」で「直径160ｍの小惑星が今月末に最接近」という話題がありましたが、地球にはあまり接近しないようです​​▼地球に接近したNEOの日別の個数をMicrosoft Power BIで表示してみました​​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​

  2019.09.07

  コメント(0)

• 

  ▼NASAのNEOデータを、Power Queryで前処理してみました：コードを使わずに前処理が可能です

  ​　　NASAのNEO（Near Earth Object）のデータの前処理を、ExcelのPower Query（パワークエリ）で行ってみました。　なお、データは、NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からダウンロードしています。「R」のコードによる前処理については、​こちらの記事​にあります。　パワークエリは、多くの処理内容がメニューに登録されていて、GUIで操作できるので、手軽で簡単です。　列の分割、列の型の変更、列名変更など、サクサクと処理できます。　Excelでは、関数を用いて変換していた、「km」の「m」への単位変換の処理も、Excelの関数をM言語の関数に移植するという方法のほかに、GUI操作の工夫でも簡単にできました。▼NEOの推定値で、「km」を「m」に変換する方法の例：GUI操作版　NEOの大きさの推定値は、１つのセルに「15ｍ - 35ｍ」「2.3km - 2.8km」のように推定値の下限値と上限値が入っていて、単位も「ｍ」と「km」が混在しています。　推定サイズの下限値と上限値を切り分けて、サイズの単位も統一する必要があります。　サイズの推定値の列を、記号「-」で分割処理をして、「下限値」と「上限値」の２列に分けておきます。　パワークエリの「値の置き換え」処理で、最初に「km」を「ｘ1000」という文字列にします。次に、「ｍ」を「ｘ１」にします。「ｘ」の文字は記号でも何でもいいです。　そうすると、「1.3km」は「1.3ｘ1000」に、「270m」は「270ｘ1」といった文字列に置き換えられます。　次に、「列の分割」処理で、「ｘ」の文字によって列を分割します。「1.3」と「1000」、「270」と「1」という形で２列に分割されるので、後はこの２列の型を数字にし、「カスタム列」の追加で、列と列の掛け算をするだけです。　　Excelのシートでもこの方法は可能でしたので、１回限りの処理であれば、IF関数などを工夫する必要はなかったのかもしれません。▼NEOの推定値で、「km」を「m」に変換する：Excel関数移植版　パワークエリの「列の追加」メニューで「カスタム列」を選び、「カスタム列の式」の欄に、下記の「　」内の関数を記入する方法です。Excelの関数の内容をパワークエリのM言語の関数に書き換えたものを記入します。　パワークエリでは、「if then else」文で変換処理を行っています　　Number.FromText関数を使って、抽出した文字を数字にして、掛け算ができるようにしています。　文字がたくさんありますが、「Estimated Diameter.1」は列の名前です。　なお、事前にサイズの推定値の列を、記号「-」で分割処理をして、「下限値」と「上限値」の２列に分けておきます。　M言語の処理対象の「列名」を変更することで、サイズの推定値の「下限値」と「上限値」の両方を簡単に単位変換できます。　Excel関数とパワークエリの関数の大きな違いは、Excel関数の対象が「セル」単位であるのに対して、パワークエリの場合は「列」単位である点にあると思います。　Excel関数は、必要なセルのすべてにコピペしないといけませんが、パワークエリの関数の記述は１回だけです。コピペ漏れなどの危険性はありません。　しかし、同じマイクロソフトなのに、Excel関数とPower QueryのM言語の関数の互換性については考えていないのでしょうか。縦割り組織の弊害なのでしょうか。参照するテキストの位置が異なっていたりするのも、意図的なものなのでしょうか。　　Excelでの蓄積が活かせないというのはどうかと思います。せめて、関数間の翻訳機能を用意してほしいと思います。パワークエリでの関数の例：「　if(Text.PositionOf([Estimated Diameter.1],"k")>0) then Number.FromText(Text.Start([Estimated Diameter.1],Text.PositionOf([Estimated Diameter.1],"k")-1))*1000 else Number.FromText(Text.Start([Estimated Diameter.1] , Text.PositionOf([Estimated Diameter.1],"m")-1))　」※Excelの関数の例：「=IF((IFERROR(FIND("k",I2),50)=50),LEFT(I2,FIND("m",I2)-1),LEFT(I2,FIND("k",I2)-1)*1000)*1 」※Excelの関数との対応関係FIND 関数　→　Text.PositionOf 関数・・・当該文字の位置の数字を返します。当該文字がないと「-1」を返しますLEFT 関数　→　Text.Start 関数▼パワークエリで可能な前処理は、パワークエリで処理し、コードが必要な場合は、「R」などを利用するのか、パワークエリのM言語を使うのかを検討するのがよさそうです　パワークエリの登場によって、簡単な前処理をコードを記述して処理する必要はなくなっています。パワークエリでの処理は、１回限りのものではなく、クエリとして記録されるので、再現性もあります。　結論としては、パワークエリで簡単にできる処理は、パワークエリを利用するのが正解のようです。☆関連記事​▼NASAのNEO（地球に接近した小惑星）のデータの分析：データを「R言語」で前処理するコード:データを随時更新する場合は、繰り返し作業を「コード化」するのが一番です ​​▼８月21日放送のフジテレビ「とくダネ！」で「直径160ｍの小惑星が今月末に最接近」という話題がありましたが、地球にはあまり接近しないようです​​▼地球に接近したNEOの日別の個数をMicrosoft Power BIで表示してみました​​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​　​

  2019.09.06

  コメント(0)

• 

  ▼NASAのNEO（地球に接近した小惑星）のデータの分析：データを「R言語」で前処理するコード:データを随時更新する場合は、繰り返し作業を「コード化」するのが一番です

  ​​　NASAのサイト（https://cneos.jpl.nasa.gov/ca/）から、「2019 OK」のようなNEO（Near Earth Object：地球に接近する小惑星）のデータをダウンロードすることができます。　そのデータの前処理をして、グラフを作成したりする作業をできるだけ自動化してみたいと思います。　最終的には、API接続でデータを取り込んで、ということがいいのかもしれませんが、一見したところ、APIのデータにはNEOの大きさの推定値が含まれていないような気がします。　API接続は、今後の課題としながら、ダウンロードしたデータの前処理をいかに自動化できるのかを考えてみました。　ExcelやPower BIのPower Query（パワークエリ）を利用して前処理をするという方法もありますが、今回はRpubsでNASAのNEOデータの前処理をする「R」のコードを見つけたので、そのコードに継ぎ足しをしたコードでの処理方法を検証しています。　　なお、最初の一部分だけ、Power Query（パワークエリ）を利用しています。▼「R」のコードによるNASAのNEOデータの前処理　１）NASAのサイトから、データをExcel形式でダウンロードして、Excelのパワークエリで年月日の文字列を分割処理　　データの２列目の「年月日時刻」の「±」の右側の数字を削除して、日付時刻データにしたいのですが、「R」での処理では、ゴミが残ってしまうので、Excelのパワークエリを用います。　まず、NASAから、過去に５LD以下の距離まで地球に接近したNEOのデータをExcel形式でダウンロードして保存します。　次に、クエリ処理用のExcelファイルを新規作成します。ダウンロードしたExcelファイルを「データ取得」の対象にします。　パワークエリエディターでデータの2列目の「年月日時刻」の列を「±」の記号で列分割します。分割してできた「±」記号の右側の数字の列を削除します。　右端の列に列名を設定します。　クエリを適用してできたデータの表をCSV形式で保存します。　以上で、Excelの処理は終了です。まとめると下記のような流れになります。◆Excelでのパワークエリの処理の流れ　ダウンロードした「データファイル１」　→　クエリの対象にする　→　クエリの編集　→　クエリを適用して作成した「データファイル２」　→　「データファイル２」をCSV形式で保存　Excelでのパワークエリの処理は、このような流れになっているので、「データファイル１」は元のままです。「データファイル１」を開いて、何か変更するということはありません。　　「データファイル１」のデータをクエリの処理対象にします。クエリを編集し、クエリで処理したデータが「データファイル２」で、この「データファイル２」を使います。　「クエリ」の処理手順は保存されているので、データが更新されたら、クエリでデータを読み込み、「クエリ」を適用して、「データ２」を更新します。　「クエリ」は一度作成しておけば、繰り返して使えるので、「R」の「コード」で処理するのと同じようなものです。「クエリ」自体が「コード」なので、当然ですが。　ということで、「前処理」の手順が「クエリ」として保存されていることになります。クエリのExcelファイルは、「NASA_NEO_Query」とか、適当な名前を付けて保存しておきます。２）CSV形式で保存した「データファイル２」を「R」（「R　Markdown」）に読み込みます　CSVファイルを読み込んで、「R　Markdown」で前処理とレポート作成を行います。data <- read.csv('cneos_closeapproach_data.csv',fileEncoding = "utf8",stringsAsFactors = FALSE)３）「R」でデータのクレンジング、前処理を行います：​こちらのサイトのコード​が元になっています。　元のコードが対象としているデータは、今回NASAからダウンロードしたデータと同じ形ではないので、元のコードに継ぎ足しをしたり、変更したりする必要があります。☆列名（変数名）が長いので、短い名称に変更します。names(data) <- c('Object', 'Date', 'D_n', 'D_m', 'V_r', 'V_i', 'H', 'Diameter','obj')☆年月日の文字列を日付データの型に変換します。　Excelのクエリで、すでに年月日の文字列になっているので、「R」ではデータ型を変換するだけです。☆グラフ作成や分析用に年と月などの数字を抽出しておきます。日付の列を分割する形で抽出するので、日付の列を「Datetime1」として複製し、その複製した列を分割して「year」「month」などを抽出します。data$Datetime <- as.Date(data$Date)data$Datetime <- as.POSIXct(data$Datetime)data$Datetime1 <- as.POSIXct(data$Datetime)data <- tidyr::separate(data,col = Datetime1,into = c("year","month","day","time"))☆「Object」の名前にある「（）や[]」を削除します。これは、元のコード通りです。☆１つのセルに２つのデータが入っている、地球への接近距離のデータ「LD | au」を切り分けます。　切り分け記号の「 | 」の前後の半角の空白の有無で、結果が変わるので、注意が必要です。これは、Excelのパワークエリで行ってもいいかもしれません。data <- tidyr::separate(data,col = D_n, into = c("Dn_ld","Dn_sep","Dn_au"), sep = " | ")data <- tidyr::separate(data,col = D_m, into = c("Dm_ld","Dm_sep","Dm_au"), sep = " | ")data <- data[, !(colnames(data) %in% c("Dn_sep", "Dm_sep"))]data$Dn_ld <- as.numeric(data$Dn_ld)data$Dn_au <- as.numeric(data$Dn_au)data$Dm_ld <- as.numeric(data$Dm_ld)data$Dm_au <- as.numeric(data$Dm_au)☆１つのセルに２つのデータが入っている、NEOの大きさの推定値のデータ「下限値-上限値」を切り分けて、kmの単位をmに変換します。　以前は、Excelシートで関数を用いて処理していましたが、「R」のコード例があったので、それを利用してみました。　最初、元のコードでは、処理がうまくいきませんでした。　ダウンロードしたデータの「下限値-上限値」の「下限値-」と「上限値」間のスペースが一定していないのが原因のようです。そこで、事前にスペースを削除してから処理するとうまくいきました。　　なお、コードにあるスペースも正規表現の一部になっているので、削除して詰めます。　それから、欠損値の行を削除しておかないと「if文」が動かなかったので、欠損値の行を削除しました。　 「na.omit」のコードでは、「Diameter」の列を指定して、「Diameter」で、欠損値のある行を削除するようにしているつもりですが、「cols="data$Diameter"」が機能せず、他の列に欠損値がある行も削除されてしまいます。　元データの行数（データ数）は、n=2838でしたが、欠損値のある行の削除処理の結果、n= 2822となりました。「Diameter」の列の欠損値のある行の削除だけであれば、このデータでは、１行の削除で済むはずなので、処理方法は今後の課題です。Excelのパワークエリで処理しておいてもいいかもしれません。data$Diameter <- gsub(' ', '', data$Diameter)data <- na.omit(data, cols="data$Diameter")　元のコードは、「str_match」と正規表現を活用し、「60ｍ - 130m」といった推定値を、「数字」「単位」「 - 」「数字」「単位」という５つの部分に分け、「if文」を使って距離の単位を変換するコードで、勉強になりました。４）基本的なグラフを作成するコード：今後充実予定「R　Markdown」を利用する理由は、レポート更新の自動化です。基本的なグラフがデータ読み込みと同時に作成されるようにしたいと思います。▼前処理したデータの要約を出力します。summary(data)​ ▼データ数が多いので、グラフ作成対象データを絞り込みます。☆2010年以降のデータに絞ります。data <- data[data$year >= "2010",]​​​​​​​​​​​​☆地球に1LD以下の距離まで接近したNEOに絞ります。data <- data[data$Dn_ld <= 1,]​＜グラフ例＞▼横軸：接近日、縦軸：接近距離（LD)　特に、傾向はないようです。ランダムに分布しているようです。ggplot(data, aes(y = Dn_ld, x = Datetime)) + ​  geom_point()  +   theme_bw(base_size = 14)▼年別のNEOの接近距離（LD）の分布ggplot(data, aes(y = Dn_ld, x = year)) +   geom_boxplot()  +   theme_bw(base_size = 14)▼年別のNEOのサイズ（推定の下限値）の分布ggplot(data, aes(y = size_low, x = year)) +   geom_boxplot()  +   theme_bw(base_size = 14)▼横軸：距離（LD)、縦軸：推定サイズの下限値、点の大きさ：推定サイズの下限値ggplot(data, aes(x = Dn_ld , y = size_low , size = size_low)) +   geom_point()▼月別のNEOの観測数　６月～８月は、観測数が少ない時期のようです。ggplot(data, aes(x = month)) +  geom_bar(stat = 'count')▼年別のNEOの観測数ggplot(data, aes(x = year)) +  geom_bar(stat = 'count')☆参考にしたページ：​​​​​​Analysis of the Near Earth Object Asteroid Dataset：Kory Becker - October 21, 2015（http://www.rpubs.com/primaryobjects/asteroids）☆関連記事​▼８月21日放送のフジテレビ「とくダネ！」で「直径160ｍの小惑星が今月末に最接近」という話題がありましたが、地球にはあまり接近しないようです​​▼地球に接近したNEOの日別の個数をMicrosoft Power BIで表示してみました​​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)

  2019.09.05

  コメント(0)

• 

  ▼世界の月平均気温偏差（℃）は、６月に続いて、７月も2019年が過去最高になりました：データの取得と前処理をPower BIのPower Query で行ってみました：Power Query はデータの前処理に役立つツールです

  ​​​​　​気象庁のサイトに「世界の月平均気温偏差（℃）」というデータがあります​。これは、各月の平均気温の基準値との差を示すものです。基準値は「1981〜2010年の30年平均値（℃）」です。 　世界の2019年７月の月平均気温偏差（℃）は、「1981〜2010年の30年平均値」に対して「+0.44℃」で、過去最高を記録しました。６月の月平均気温偏差も、基準値に対して「+0.45℃」で、過去最高を記録しています。　世界的に、今年の夏は暑かったようです。​​▼7月の世界の月平均気温偏差（℃）▼６月の世界の月平均気温偏差（℃）▼1980年からの世界の月平均気温偏差の時系列推移（月別：７月まで）▼Power BIやExcelの「Power Query（パワークエリ）」とは何？　今回、世界の月平均気温偏差（℃）のデータは、気象庁のサイトからPower BIの「Power Query（パワークエリ）」を利用して取得しました。　では、「Power Query（パワークエリ）」とはどういうものなのでしょうか。　一言で言うと、「Power Query」は「データの読み込みや前処理などを行うツール」ということになります。データの整形、抽出、削除、置き換え、結合など、データを操作するのが「Power Query」です。「R言語」などでは、コードを記述して、データの取得や前処理を行いますが、「Power Query（パワークエリ）」ではかなりの作業をGUI（グラフィカルユーザーインターフェース）で行うことができます。そのGUIの裏側には、「Power Query」のコード（M言語）があるので、見かけと使い勝手は「R」と異なりますが、機能的には「Rの前処理のコード」と同類のものになります。　「R」の前処理のコードは、同じ作業を繰り返す場合に役立ちますが、「Power Query（パワークエリ）」も同様に、データの処理手順が記録されているので、同じ作業を繰り返す場合に役立ちます。　つまり、「Power Query」は、あるデータを整形、クレンジングして、「分析対象データ」を得るためのツールで、下記のように「R」コードと同じような働きをします。　「データ」　→　「クエリによる前処理」　→　「分析対象データ」　「データ」　→　「Rコードによる前処理」　→　「分析対象データ」　▼クエリが対象とするのは、「データベーステーブル」です　Excelのシートにあるデータをクエリの対象にする場合は、「データ」メニューの「データの取得」から始めますが、その際、データの表が「テーブル」に変換されます。　　「テーブル」は、データベースアプリのAccess（アクセス）の「テーブル」をイメージするとわかりやすいと思いますが、一種のデータベースです。　「テーブル」は、「列が変数で、１行が１レコード」の形のデータベースで、データを「テーブル（データベース）」形式にすることによって、単に数字が並んでいるシートとは異なり、「列（変数）」単位でのデータ操作ができるようになります。▼Power BIやExcelの「データの取得」メニューでは、Webページからデータをスクレイピングできます​​​　取得したいデータのあるページのURLを記入するだけです。　Power BIが、対象のページを解析して、「データ表」を表示します。　Power BIの「データの取得」で、Webページ内の表からデータを得る場合、右下の「データの変換」ボタンをクリックすると、Power Query エディターの画面になります。　　Power Query エディターで、「１行目をヘッダーにする」「列名の設定・変更」「列のピボットの解除」「年のテキストから年の数字の抽出」「月のテキストから月の数字の抽出」などの前処理をGUIで設定することができます。​　Power Query エディターの画面では、データが表示されますが、あくまでもデータのイメージが表示されているだけで、Power Query エディターの画面で個々のセルのデータを書き換えたりするわけではありません。　　Power Query エディターの画面では、列単位、行単位でどのような前処理を行うのか、という処理の内容を設定するだけです。　▼Power Query エディターで、「１行目をヘッダーとして使用」の処理をすると、取得対象データの１行目が列名になります​​​▼１月から12月の列を選択した状態で、右クリックし、「列のピボット解除」を選択して、月別のデータが横方向（行方向）になっているのを、縦方向（列方向）のデータに変換します▼「列のピボット解除」を行うと月別のデータが縦方向（列方向）に変換されます　クエリの処理は、画面の右端の「処理のステップ」欄に処理の順に一覧が表示されています。この「処理のステップ」を削除すれば、処理を取り消すことができます。処理を簡単に取り消すことができるので、気軽に試行錯誤をすることもできます。▼年のテキスト「1891年」から数字「1891」を取り出した列を追加する　Power BIのグラフ作成では、年や月の「数字」だけのデータがあると便利なので、年や月の数字だけを取り出した列を追加します。　　年の列を選択し、右クリックで表示されるメニューで「例から列を追加する」を選択します。サンプル値の入力窓が開いたら、「1891年」の行から「1891」を取り出すので、抽出後のイメージの「1891」を入力して「OK」をクリックします。すると、年の列から年の数字だけを抽出した列が追加されます。　プルダウンで候補が表示されるので、候補から選ぶこともできます。　月のテキスト「1月」から数字「１」を取り出した列を追加する場合も、同様の方法で、サンプル値に「１」を入力して「OK」をクックします。　　このように、Power Query エディターには、よくある処理のパターンがメニューに登録されていて、GUIで選択するだけで適用できるようになっています。　　Power Queryの設定が終了したら、「閉じて適用」をクリックします。元のデータに対して、設定したクエリの処理が行われ、クエリ処理後のデータを得ることができます。　Power BIは、クエリ処理後のデータを用いて、グラフ作成などを行います。なお、元のデータは変更されず、元の形で残っています。▼Power BIとExcelのPower Query エディターは、全く同じではないようです　Power BIとExcelのPower Query エディターは、基本機能は同じだと思いますが、ExcelのPower Query エディターでできたことが、Power BIでできない場合がありました。　Power BIのPower Query エディターで、「年月」のテキスト型の列を「年月日」の日付型の列に変換しようとしましたが、エラーになってしまいます。ExcelのPower Query エディターでは変換できるので、アプリによって違いがあるようです。　　Excelには、「10-23」というセルも強制的に「10月23日」にしてしまうような、きわめて強力な「日付の重力」があるので、「なるほど、Excelらしい」と、妙に納得してしまいました。　Power BIとExcelのどちらのPower Query エディターを利用すればいいのか、悩ましいところです。​​​　Power BIのグラフ・レポート作成機能はすぐれているので、Power BIでアウトプットすることを想定すると、Power BIで前処理もできれば、Power BIで一連の処理が完結するので、シンプルで一番よいと思います。　しかし、Power BIでエラーになる前処理は、Excelで試してみるということも必要かもしれません。　Power BI以外でもデータを利用したい場合は、当然ExcelのPower Query エディターを利用することになります。今のところ、Power BI Desktopから前処理済みのデータを書き出す機能がないようです。　ただし、データ書き出し機能がなくても、Excelでデータを入手する方法はあります。　今回のようにWebサイトからデータを取り込むようなクエリの場合でも、Power BIの「詳細エディター」で表示される処理コードを、Excelの「空のクエリ」の「詳細エディター」に貼り付ければ、Power BIと同じようにExcelでもWebサイトからデータを取得することができます。逆に、Excelで作成したクエリの「処理コード」をPower BIに貼り付けることもできます。　とりあえず、クエリで前処理したデータの汎用性を考えると、ExcelのPower Query エディターを利用するのがよさそうです。※気象庁のサイト（http://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html）▼下記は、今回のPower Queryの処理コードの例です（GUIの操作で自動的に作成されたコードです。このコードが、Power Queryの正体のようなものです）：このコードを「詳細エディター」に貼り付ければ、気象庁のサイトからデータをスクレイピングして、データの前処理をすることができます。​​-----------------------------------------------------let    ソース = Web.Page(Web.Contents("https://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html")),    Data0 = ソース{0}[Data],    変更された型 = Table.TransformColumnTypes(Data0,{{"Column1", type text}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}, {"Column8", type text}, {"Column9", type text}, {"Column10", type text}, {"Column11", type text}, {"Column12", type text}, {"Column13", type text}}),    昇格されたヘッダー数 = Table.PromoteHeaders(変更された型, [PromoteAllScalars=true]),    変更された型1 = Table.TransformColumnTypes(昇格されたヘッダー数,{{"Column1", type text}, {"1月", type number}, {"2月", type number}, {"3月", type number}, {"4月", type number}, {"5月", type number}, {"6月", type number}, {"7月", type number}, {"8月", type number}, {"9月", type number}, {"10月", type number}, {"11月", type number}, {"12月", type number}}),    #"名前が変更された列 " = Table.RenameColumns(変更された型1,{{"Column1", "年"}}),    ピボット解除された列 = Table.UnpivotOtherColumns(#"名前が変更された列 ", {"年"}, "属性", "値"),    #"名前が変更された列 1" = Table.RenameColumns(ピボット解除された列,{{"属性", "月"}, {"値", "平均気温偏差"}}),    追加されたカスタム = Table.AddColumn(#"名前が変更された列 1", "カスタム", each Text.Combine({[年], "年",[月]})),    挿入された年 = Table.AddColumn(追加されたカスタム, "年.1", each Date.Year(Date.From([年])), Int64.Type),    追加されたカスタム列 = Table.AddColumn(挿入された年, "カスタム.1", each Text.Combine({Text.Start([カスタム], 5), Text.Middle([カスタム], 6), "1日"}), type text),    挿入された月 = Table.AddColumn(追加されたカスタム列, "月.1", each Date.Month(Date.From([月])), Int64.Type),    #"名前が変更された列 2" = Table.RenameColumns(挿入された月,{{"月.1", "月_n"}}),    変更された型2 = Table.TransformColumnTypes(#"名前が変更された列 2",{{"カスタム.1", type date}}),    #"名前が変更された列 3" = Table.RenameColumns(変更された型2,{{"年.1", "年_n"}})in    #"名前が変更された列 3"------------------------------------------------▼温暖化が進行している地球の夏を乗り切るためのグッズを楽天市場で検索​楽天市場で「冷却枕」を見る楽天市場で「Nクール」を検索する​​楽天市場で「USB扇風機」のランクイン商品を検索する​​​​楽天市場で「ネッククーラー」を見る​☆関連記事​​▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Query エディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます​​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​​

  2019.09.03

  コメント(0)

• 

  ▼楽天市場のランキング上位の「zootie：エアパンツ」の商品レビューをテキストマイニングしてみました：「ファッションジャンル商品対応版のRコード」でスクレイピング

  ​​​​​​​​​​​​​　楽天市場ランキング上位のレディース・ボトムス、「zootie：エアパンツ」の商品レビューの分析をしました。レビュー数は、17,000件を超えていますが、今回はスクレイピング可能な1500件のうち510件のレビューデータを取得しました。　「購入した回数」では、「リピート」というレビューが189件となっていて、「はじめて」よりも多くなっています。　【5h限定☆クーポンで250円OFF！】【特別送料無料！】驚くほど軽く伸びる レギンスパンツ S/M/L/LL/3L 軽い穿き心地 レディース ボトムス スキニー 大きいサイズ 軽い 【メール便可22】◆zootie（ズーティー）：エアパンツ価格：1999円（税別、送料別)(2019/8/30時点)楽天で購入カラー​バリエーションがとても豊富​▼レビューの日付の分布　レビューの日付の分布を見ると、公開されているレビューは、過去２年間のものであることがわかります。春、夏、秋のレビューが多いようなので、春、夏、秋に向いているパンツであることがうかがえます。▼レビュー件数の月別推移▼性・年代別、性別、年代別にみたレビュー件数＜スクレイピングしたレビューデータの確認＞　スクレイピングデータでも、全体のデータと同様に30代~40代がユーザーの中心になっています。▼「購入した回数」別のレビュー件数：「リピート」の方がやや多くなっています▼「購入した回数」が「はじめて」のレビューの「見出し」▼「購入した回数」が「リピート」のレビューの「見出し」　以下は、「ユーザーローカル テキストマイニングツール( https://textmining.userlocal.jp/ )で分析」▼「購入した回数」が「リピート」（n=189）のレビュー中の単語によるワードクラウド▼「購入した回数」が「リピート」のレビューでの単語の出現頻度　名詞で「デニム」「ブラック」といった単語の出現頻度が高いのは、「リピート」で購入した商品のことのようです。　動詞では、「伸びる」の出現頻度が高くなっています。　形容詞で出現頻度が高い「やすい」は、「はきやすい」「うごきやすい」などの一部のようです。▼「購入した回数」が「リピート」のレビューの単語の共起分析　単語の共起分析では、「履く（はく）」と「やすい」、「動く」と「やすい」、「心地」と「良い」、「ストレッチ」と「きく」、「違う」と「色」と「欲しい」などの共起関係が見られます。▼「購入した回数」が「リピート」のレビューの単語の２次元マップ▼「購入した回数」が「リピート」のレビューの単語の「係り受け分析」▼「購入した回数」が「リピート」のレビューの単語の階層クラスター分析　「心地」「よい」といった単語と、「生地」「ストレッチ」といった単語が近い関係にあることがわかります。　今回、商品レビューを分析したパンツでは、色違いを複数そろえている人も見られました。「リピート」が多いということは、この商品に対する利用者の満足度の高さを示していると思います。--------------------------------------------------------------▼「利用者サイズ」の項目のあるレビューが含まれていたので、Rコードの変更が必要でした　「ファッション」ジャンルの商品のスクレイピングは、今回が初めてですが、以前のレビューには、「利用者サイズ」という項目がありました。そこで、「利用者サイズ」の項目を設けて、コードを変更しています。　いずれ、古いレビューは表示されなくなるはずなので、1500件以上のレビューがある場合は、この変更も不要になると思われます。　試行で書き出したcsvファイルには、＜U+00A0＞という文字列が見られました。これは、Unicodeの「ノーブレークスペース」だそうで、確かにページのソースにその文字列があったので、コードで削るようにしました。​☆関連記事​​▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入​​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​　​​​​​​​​​Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)​​​​​​​

  2019.08.30

  コメント(0)

• 

  ▼【再改訂版コード】：「R言語」による楽天市場の商品レビューのスクレイピングコードの再改訂版：グラフ作成コードなどを追加：「素焼きアーモンド」の商品レビューのデータを取得：意外と多い「はじめて」の購入

  ​　​前回の「▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​」のスクレイピングコードを再改訂しました。ついでに、いくつかの項目のグラフ作成コードを追加しています。​▼レビューデータからのグラフ作成　せっかく、レビュー本文のテキスト以外のデータを取得しているので、レビュー内容以外の項目についても、グラフ化しておきたいと思いました。​​​　スクレイピングした項目のグラフを作成しようとして、取り込んだテキストの空白の処理がうまくいっていないことがわかりました。例えば、「購入した回数」の項目で、「リピート」と「はじめて」の件数をグラフにしてみましたが、下図のように酷い状態であることがわかりました（涙）。　どうして、このような「空白」の個体差が生じるのでしょうか。恐らく、「商品の使いみち」「商品を使う人」「購入した回数」を三つすべて回答している場合と、二つ回答、あるいは一つだけ回答という回答の項目数の差によるものではないかと思います。▼前回のコードでのスクレイピングでは、回答項目のテキストに残った「空白」が一定ではありませんでした　そこで、各項目のテキストを抽出する際に、「str_trim(., side = "both")」の処理を追加して、テキストの前後の空白を削除するようにしました。ついでに、「{if(length(.) == 0) NA else .}」も入れてみましたが、データフレームの表示では「NA」の表示は見られませんでした。空欄に見えますが、そこには「何か」が潜んでいるのでしょう。　　結局、うまくはたらかない「{if(length(.) == 0) NA else .}」は外しました。正規表現とかを的確に使うと何とか「NA」を入れることができるのかもしれませんが、今のところその方法がわかりません。　　その後、データをcsvファイルに保存し、そのcsvファイルを読み込む際に、「na.strings=c("","NA")」というオプションを設定してみると、何ということでしょう、これまで空欄だったところに「NA」が入りました。　「一度、データファイルを保存してから、オプション設定をして読み込む」ことによって空欄にNAが入りました。　そして、そのデータファイルで作成したのが下図のグラフです。　なお、今回のレビューデータ取得の対象としたのは、２万2千件を超えるレビュー数の、自然の館の「アーモンド」です。「for i文」のステップを4にして、取得上限の1500件のうちの375件のレビューデータを取得しました。　「購入した回数」別でレビュー件数を見ると、「はじめて」という人が、意外と多いのではないかと思います。＼エクストラNo.1／ アーモンド 無塩 素焼き 1kg 送料無料 素焼きアーモンド 1kg (500g×2袋) 無塩・有塩 選べるタイプになりました♪価格：1780円（税別、送料別)(2019/8/29時点)楽天で購入▼「購入した回数」別でみたレビュー件数▼性別でみたレビュー件数▼年代別に見たレビュー件数　楽天市場の商品レビューは、定型データであるため、グラフ作成のRコードを一度作成しておけば、グラフ作成をほぼ自動化できます。　さらに、「R Markdown」を使って、レポートを作成すると、使いやすく、見やすい形にまとめられるようです。　【Rコード：20190829改訂版】：「商品の使いみち」などの項目の空白のクレンジング処理を追加しています。#--------------------------------------------------url_txt <- "https://review.rakuten.co.jp/item/・・・/"pages_num <- 3get_r_reviews <- NULLdf_reviews <- NULLfor(i in seq(1, pages_num, by = 4)) {　url <- paste0(url_txt,i,'.','1/')　page <- read_html(url) 　get_r_reviews <- page %>% 　　html_nodes ('.hreview') %>% 　　map_df(~list( name = html_nodes(.x, '.reviewer') %>% 　　　html_text(.,trim = FALSE) %>% 　　　{if(length(.) == 0) NA else .}, 　　　title = html_nodes(.x, '.summary') %>% 　　　html_text(.,trim = FALSE) %>% 　　　{if(length(.) == 0) NA else .}, 　　　stars = html_nodes(.x, '.value') %>% 　　　html_text() %>% 　　　{if(length(.) == 0) NA else .}, 　　　date = html_nodes(.x, '.dtreviewed') %>% 　　　html_text() %>% 　　　{if(length(.) == 0) NA else .}, 　　　reviews = html_nodes(.x, '.description') %>% 　　　html_text(.,trim = FALSE) , 　　　helpful = html_nodes(.x, '.revEntryAnsNum') %>%　　　html_text(.,trim = FALSE) %>%　　　{if(length(.) == 0) NA else .} ,　　　age_sex = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "購入者|レビュー投稿.*|.*件","") %>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") ,　　　sex = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "購入者|レビュー投稿.*|.*件|.*代|以上","") %>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") ,　　　age = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "購入者|レビュー投稿|.*件|男性|女性","") %>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") , 　　　posts = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., ".*代.*|購入者|レビュー投稿|件","") %>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") ,　　　usage1 = html_nodes(.x, '.revRvwUserDisp') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "商品を使う人.*|購入した回数.*|商品の使いみち:","") 　　　%>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") ,　　　usage2 = html_nodes(.x, '.revRvwUserDisp') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "商品の使いみち.*|購入した回数.*|商品を使う人:","") 　　　%>%　　　str_replace_all(., " ","") %>%　　　str_trim(., side = "both") ,　 　　usage3 = html_nodes(.x, '.revRvwUserDisp') %>% 　　　html_text(.,trim = FALSE) %>% 　　　str_replace_all(., "商品の使いみち.*|商品を使う人.*|購入した回数:","") 　　　%>%　　　str_replace_all(., " ","") %>%　 　　str_trim(., side = "both") 　　　　　　　))　df_reviews <- rbind(df_reviews, get_r_reviews) 　print(i) 　Sys.sleep(5)}view(df_reviews)write.csv(df_reviews,"rakuten_reviews.csv")df_r <- read.csv("rakuten_reviews.csv",header = TRUE, na.strings=c("","NA"))write.csv(df_r ,"rakuten_reviews.csv")view(df_r)#--------------------------------------------------＃レビュー件数の棒グラフ作成コード例ggplot(df_r, aes(x = sex)) + geom_bar(stat = 'count') + geom_text(aes(y = ..count.., label = ..count..),stat = 'count', vjust = 1.2, colour = "white", position = position_dodge(0.9),size = 8) + theme_bw(base_size = 14)＃「☆の数」の平均値の棒グラフ作成コード例ggplot(df_r, aes(x=sex, y=stars),label=y) + stat_summary(fun.y=mean,geom="bar") + stat_summary(aes(label=round(..y..,digit=1)),fun.y=mean, geom="text", vjust = 1.5, colour = "white", position = position_dodge(0.9),size = 8) + theme_bw(base_size = 12)#-------------------------------------------------※留意事項：スクレイピングのコードの１行目と２行目については、レビューデータを取得したい商品に対応した情報を記入する必要があります。※１行目の「url_txt」の右の”　”のところに、楽天市場の特定の商品の「みんなのレビュー」の一覧ページのURLを記入するのですが、末尾の「1.1/」や「2.1/」よりも前の部分のURLの「・・・/」までを記入します。「.」や「/」が過不足しないように注意する必要があります。　「for i」文の「i」がURLの末尾の「i.1/」のところに入る形です。この「i」の後ろに「.」と「1」と「/」を付け足しています。URLの末尾が「1.1/」「2.1/」「3.1/」「４.1/」「５.1/」と変化することで、無理やり、ページ送りをしています。※２行目の「pages_num <- 3のところですが、数字の「3」のところにレビューのページの最終ページの数字を調べて記入します。10ページ目が最終ページであれば「10」を記入して「pages_num <- 10」とします。　なお、公開されているページの上限は「100」のようです。20,000件を超えるレビューがある商品でも100ページまでしか表示されません。※必要なパッケージ　私の環境ですが、Rstudioを利用しています。上記コードに必要なパッケージは、おそらく下記のようなものではないでしょうか。いろいろと試行錯誤したので、上記コードには不要なパッケージもいくつか含まれているはずです（笑）。なお、Rstudioに未登録のパッケージは、「install.packages()」などによって、インストールしておく必要があります。library(rvest)library(purrr)library(pipeR)library(textreadr)library(RCurl) library(XML)library(tidyverse)library(lubridate)library(stringr)※参考にしたページ：「Rでデータクレンジング​」​☆関連記事​​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​​​​

  2019.08.29

  コメント(0)

• 

  ▼「ミックスナッツ」：健康によくて、おいしそう

  ​​​​​​　楽天市場の商品レビューのスクレイピングができる​「R言語」のコードの改訂版​ができましたが、それを使ってレビューデータを取得してみました。　「ナッツ」の栄養が健康にいいのではないか、ということで楽天市場の「ミックスナッツ」の商品レビューのデータを分析しました。　今回、分析対象にした、タマチャンショップの「ミックスナッツ300ｇ」のレビューは２万件を超えています。【送料無料】7種類の贅沢！しあわせミックスナッツ(無添加300g)クルミ アーモンド ピーカンナッツカシューナッツ マカデミアナッツ ヘーゼルナッツ ピスタチオ|無添加 無塩 素焼き 無油 ギフト ロカボ ナッツ ダイエット 低糖質 おつまみ価格：1490円（税別、送料別)(2019/8/28時点)楽天で購入　商品のレビューページを確認すると、100ページ目で「次の15件＞＞」という表示がなくなりました。１ページあたり15件のレビューが表示されるので、レビューが見られるのは1500件までということのようです。　1500件分のデータを取得することも考えましたが、楽天市場のサーバーへの負荷の問題もあるので、3分の１のデータにしました。　「for i 」文でページ送りをする際のステップを３にして、データを取得するページを減らしました※。　その結果、510件（34ページ分）のレビューのデータを取得することができました。　レビューのテキストを見ると、短い文が多く、内容の振れ幅もあまりなさそうでしたので、300件くらいの取得でもよかったのかもしれません。　総レビュー件数２万件超ということですが、表示される1500件は、最近2年のレビューのようです。最近のレビューから1500件をどのような基準で抽出してページに表示しているのかはわかりませんが、取得したデータの「☆の数」は４個と５個の２種類です。　以下は、「ユーザーローカル テキストマイニングツール( https://textmining.userlocal.jp/ )で分析」▼タマチャンショップの「ミックスナッツ300ｇ」は、「美味しさ」「無添加」といったことが評価されているようです　「R言語」のコードの改訂版では、「購入した回数」のデータも取得しているので、今回は「購入した回数」の「リピート」と「はじめて」の別でテキスト分析をしました。　「購入した回数」が「リピート」は258件、「はじめて」が81件、「回数不明」が171件です。「リピート」が多いので、同じ人が複数のレビューを投稿している場合もあります。　　下の「購入した回数」別に見た特徴語は、左から「回数不明」「はじめて」「リピート」となっていますが、あまり内容に違いはなさそうです。▼「購入した回数」が「リピート」のレビュー中の単語のワードクラウド　レビューのテキストには、「美味しい」「無添加」「７種類」といった単語が見られました。　また、「クーポン」という単語も見られ、やはり「クーポン」がある時に購入する人が多いようです。▼「購入した回数」が「リピート」のレビュー中の単語の共起分析　「美味しい」と「食べる」のほかに、「無添加」と「安心」や「クーポン」と「購入」といった共起関係が見られます。▼「購入した回数」が「リピート」のレビュー中の単語の階層クラスター分析　「リピート」と「クーポン」という単語が同じクラスターにあり、「リピート」購入は、「クーポン」を利用する場合も多いようです。　　このジャンルの商品の場合は、テキストの内容分析としては、300件くらいあれば傾向がつかめそうですが、「購入した回数」別や「性・年代」別などで分析しようとすると、500件くらいのデータがあった方がいいかもしれないと思いました。-------------------------------------------------------------------------※下記のように、「for i 文」のステップを３に調整して、取得するページ数を減らしました。for (i in seq(1, pages_num, by = 3)) {  } -------------------------------------------------------------------------☆関連記事​​▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​

  2019.08.28

  コメント(0)

• 

  ▼「R言語」による楽天市場の商品レビューのスクレイピングコードの改訂版です：Excelで項目を切り分ける作業が不要になりました

  　楽天市場の商品レビューをスクレイピングするためのRのコードです。スクレイピングしたデータのテキストを分析するのが目的です。　先日作成したRのコードでは、取得したデータに対して、Excelで列の分割をしたりして項目を切り分ける必要がありましたが、コード上で処理をすることによってExcelでの切り分け作業が不要になりました。Excelで修正が必要だった「列のずれ」もなくなりました。　また、コード処理によって、「年代性」の項目から「性別」と「年代」を切り分けたりもしています。▼今回の改訂版のRコードで取得できるデータの例です​​【20190827】「R」による楽天市場の商品レビューのスクレイピングコード改訂版​※このコードには再改訂版があります。​------------------------------------------------------url_txt <- "https://review.rakuten.co.jp/item/1/・・・/"pages_num <- 3get_r_reviews <- NULLdf_reviews <- NULLfor(i in 1:pages_num){　url <- paste0(url_txt,i,'.','1/')　page <- read_html(url)　get_r_reviews <- page %>% 　　html_nodes ('.hreview') %>% 　　map_df(~list( name = html_nodes(.x, '.reviewer') %>% 　　html_text(.,trim = FALSE) %>% 　　{if(length(.) == 0) NA else .}, 　　title = html_nodes(.x, '.summary') %>% 　　html_text(.,trim = FALSE) %>% 　　{if(length(.) == 0) NA else .}, 　　stars = html_nodes(.x, '.value') %>% 　　html_text() %>% 　　{if(length(.) == 0) NA else .}, 　　date = html_nodes(.x, '.dtreviewed') %>% 　　html_text() %>% 　　{if(length(.) == 0) NA else .}, 　　reviews = html_nodes(.x, '.description') %>% 　　html_text(.,trim = FALSE) , 　　helpful = html_nodes(.x, '.revEntryAnsNum') %>%　　html_text(.,trim = FALSE) %>%　　{if(length(.) == 0) NA else .} ,　　age_sex = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "購入者|レビュー投稿.*|.*件","") %>%　　str_replace_all(., " ","") ,　　sex = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "購入者|レビュー投稿.*|.*件|.*代|以上","") %>%　　str_replace_all(., " ","") ,　　age = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "購入者|レビュー投稿|.*件|男性|女性","") %>%　　str_replace_all(., " ","") , 　　posts = html_nodes(.x, '.revUserFaceDtlTxt') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., ".*代.*|購入者|レビュー投稿|件","") %>%　　str_replace_all(., " ","") ,　　usage1 = html_nodes(.x, '.revRvwUserDisp') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "商品を使う人.*|購入した回数.*|商品の使いみち:","") 　　　%>%　　str_replace_all(., " ","") ,　　usage2 = html_nodes(.x, '.revRvwUserDisp') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "商品の使いみち.*|購入した回数.*|商品を使う人:","") 　　　%>%　　str_replace_all(., " ","") ,　　usage3 = html_nodes(.x, '.revRvwUserDisp') %>% 　　html_text(.,trim = FALSE) %>% 　　str_replace_all(., "商品の使いみち.*|商品を使う人.*|購入した回数:","") 　　　%>%　　str_replace_all(., " ","") )) Sys.sleep(5) 　df_reviews <- rbind(df_reviews, get_r_reviews)}view(df_reviews)------------------------------------------------------※留意事項：コードの１行目と２行目については、レビューデータを取得したい商品に対応した情報を記入する必要があります。※１行目の「url_txt」の右の”　”のところに、楽天市場の特定の商品の「みんなのレビュー」の一覧ページのURLを記入するのですが、末尾の「1.1/」や「2.1/」よりも前の部分のURLの「・・・/」までを記入します。「.」や「/」が過不足しないように注意する必要があります。　「for i」文の「i」がURLの末尾の「i.1/」のところに入る形です。この「i」の後ろに「.」と「1」と「/」を付け足しています。URLの末尾が「1.1/」「2.1/」「3.1/」「４.1/」「５.1/」と変化することで、無理やり、ページ送りをしています。※２行目の「pages_num <- 3」のところですが、数字の「3」のところにレビューのページの最終ページの数字を調べて記入します。10ページ目が最終ページであれば「10」を記入して「pages_num <- 10」とします。　なお、公開されているページの上限は「100」のようです。20,000件を超えるレビューがある商品でも100ページまでしか表示されません。※必要なパッケージ　私の環境ですが、Rstudioを利用しています。上記コードに必要なパッケージは、おそらく下記のようなものではないでしょうか。いろいろと試行錯誤したので、上記コードには不要なパッケージもいくつか含まれているはずです（笑）。なお、Rstudioに未登録のパッケージは、「install.packages()」などによって、インストールしておく必要があります。library(rvest)library(purrr)library(pipeR)library(textreadr)library(RCurl) library(XML)library(tidyverse)library(lubridate)library(stringr)※レビュー投稿者の「年代性」「投稿数」「商品の使いみち」「商品を使う人」「購入した回数」の項目をコード上で切り分けるようにしました。この改訂版のコードを用いることによって、Excelシートで列を分割したり、ずれの補正をしたりする必要がなくなりました。　でも、「商品の使いみち」「商品を使う人」「購入した回数」などの項目は、あまり分析に使わないかもしれません。商品ジャンルによっては重要な切り口になる場合もあると思いますが。※コード上で、個別の要素を細かく抽出しようとしてみましたが、うまくいかなかったので、多めに取り込んでいた要素を「str_replace_all()」によって削って、必要な個別の要素を残すようなコードにしたら、うまくいったようです。　「商品の使いみち」とか、必要な要素が一定ではない一方、不要な要素は一定なので、不要なものを削った方が簡単なようです。　なお、「NA」を入れるコードがはたらかず、「NA」がうまく入らなかった項目の欠損値は、「空欄」になっています。そして、上記のコードでは、ワークしなかったコードは省いています。　「押してもだめなら引いてみな」ということわざは的確なようです。【参考ページ】：「AmazonのレビューデータをRとExploratoryでスクレイピングしてみた」（https://qiita.com/A_KI/items/6863d158b9c938055f5a）【参考ページ】：「stackoverflow」:Inputting NA where there are missing values when scraping with rvest】（https://stackoverflow.com/questions/45901532/inputting-na-where-there-are-missing-values-when-scraping-with-rvest）​​☆関連記事​​▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・​​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)​​​​​​

  2019.08.27

  コメント(0)

• 

  ▼【R】：「GEOファセットグラフ」は、地理的なデータの特徴がわかりやすそうです

  ​​​​　「R」を用いたスクレイピングについて調べていたら、Rのパッケージに「GEOファセットグラフ」※を作成できるものがありました。※（https://hafen.github.io/geofacet/index.html）　　下図は、米国の州別のファセットグラフの例ですが、時系列データが表示できるので、塗りつぶし地図よりもわかりやすい場合がありそうです。　地図そのものではないので、「アラスカ州」や「ハワイ州」のデータもコンパクトなスペースの中に表示されています。　グリーンランドが「米国の地図」の中に入ってきたら、リアルな地図を利用した塗り分け図では表示範囲の設定に苦労しそうです。　グラフのデータは、先日、米国CDCのサイト※からダウンロードした「銃器による死亡者数」の州別データです。なお、ワシントンDCのデータが含まれていないので、ワシントンDCの箱には何も表示されていません。※（https://www.cdc.gov/nchs/pressroom/sosmap/firearm_mortality/firearm.htm）　銃器による「死亡者総数と人口10万人あたりの死亡者数」の州別データで、2005年と「2014年から2017年」の５年分です。下のグラフでは、「2014年から2017年」の４年間のデータを用いています。▼CDCからダウンロードしたデータ※下記は、同じデータを基に、Power BIを用いてグラフを作成した時の記事です。​「▼米国の銃器による年間約４万人の死亡者数を州別に見る：人口比の死亡者数では、アラスカ州が最悪で、ハワイ州が最良：Microsoft Power BI Desktopによる分析です」​▼GEOファセットグラフ：「州別に見た銃器による死亡者数」（2014年～2017年）▼GEOファセットグラフ：「州別に見た銃器による人口10万人あたりの死亡者数」（2014年～2017年）▼【折れ線グラフ版】：GEOファセットグラフ：「州別に見た銃器による人口10万人あたりの死亡者数」（2014年～2017年）【Rのコード例】：サンプルコードをそのままなぞっています。グラフの見た目は複雑そうですが、要素は「州」と「年」と「データ値」の３要素しかないので、実はシンプルな感じです。------------------------------------------------------------------library(geofacet)library(ggplot2)firearms <- read.csv("C:\\Firearm.csv")View(firearms)ggplot(firearms, aes(year, deaths)) +  geom_col() +  facet_geo(~ state, grid = "us_state_grid2", label = "name") +  scale_x_continuous(labels = function(x) paste0("'", substr(x, 3, 4))) +  labs(title = "Firearm Mortality 2014-2017",       caption = "Data Source: CDC",       x = "year",       y = "DEATHS") +  theme(strip.text.x = element_text(size = 7))----------------------------------------------------------------※５行目のコード中の変数名を、「deaths」にした場合は「死亡者数」のグラフ、「rate」の場合は、「10万人あたりの死亡者数」のグラフになります。「rate」の場合は、下から２行目のｙ軸の名称を”Rate"にしておきます。※６行目の「geom_col() 」を「geom_line()」にすると折れ線グラフになります。　日本の都道府県別版もあるので、今度試してみたいと思いますが、北海道が同じ大きさの箱だったりするので、地図として見てしまうと少し違和感を覚えるかもしれません。　GEOファセットグラフは、たくさんの地理的情報を見やすく表示できると思うので、いろいろな可能性があると思います。​​​​​​

  2019.08.26

  コメント(0)

• 

  ▼楽天市場の特定の商品のレビューを「R言語」でスクレイピングするコード：一部の項目の空欄・欠損値（missing values)を「NA」に置き換えてデータフレームを作成：継ぎはぎのコードですが・・・

  ​　楽天市場の特定の商品のレビューをスクレイピングして、テキストマイニングをしようとすると、「性・年代」「レビューの見出し」など、いろいろな項目で空欄（欠損値）がかなり多く見られます。　「日付」「☆の数」「レビュー本文」など、欠損値のない項目をスクレイピングして、データフレームを作成するのは、ネット上に紹介されているコードを利用すれば簡単にできました。　しかし、「名前」や「レビューの見出し」など、欠損値（missing values）がある項目を含めてスクレイピングしようとすると、列ごとの行数が合わなくなったりするため、「欠損値なし」の項目でうまくいった方法ではエラーになり、データフレームを作成することができませんでした。欠損値は、たった一つであってもエラーになってしまいます。　プログラミングに不案内な私は、ネット上でいろいろと調べ、紹介されているコードをコピペして、継ぎはぎですが、下記のような「R」のコードができました。下図のように、一部の項目の欠損値は「NA」として取り込めています。　Webスクレイピングでは、欠損値の存在が前提だと思うのですが、意外と「欠損値」のあるデータをスクレイピングする場合のコードが紹介されていません。　ネット上で紹介されているコードは、欠損値のない項目だけを対象にしているものが多かったりします。　　以下の継ぎはぎのコードでは、「名前」「見出し」などの欠損値に「NA」を充当し、なんとかデータフレームが作成できるようになりました。　もちろん、「名前」はなくてもいいのですが、行ずれなどが簡単に確認できるので、あった方が便利だと思います。　現状のコードで取得したデータでは、「投稿者の性・年代」「商品の使いみち」「商品を使う人」「購入した回数」といった項目については、Excelシート上で「列の分割」を行って、切り分ける必要があります。　　Excelシートでの切り分け処理も実用上はそれほど支障はありませんが、コード上でもっと細かい切り分けができるようになればいいと思っています。　どなたか、エレガントなRのコードを公開していただけないでしょうか。コードの勉強をさせていただきます。▼Rのコード（継ぎはぎ試作版）→​このコードには改訂版があります​------------------------------------------------------------------------------url_txt <- "https://review.rakuten.co.jp/item/1/・・・/"　＃特定の商品のレビュー一覧ページのURLの末尾を一部（４文字分）除いたものを記入※。pages_num <- 10　＃レビュー一覧の最後のページのページ数を確認して記入。例は「10ページ」の場合。get_r_reviews <- NULLdf_reviews <- NULLfor(i in 1:pages_num) { url <- paste0(url_txt,i,'.','1/') page <- read_html(url) get_r_reviews  <- page %>%     html_nodes ('.hreview')  %>%        map_df(~list( name = html_nodes(.x, '.reviewer') %>%                      html_text(.,trim = FALSE) %>%                      {if(length(.) == 0) NA else .},  title = html_nodes(.x, '.summary') %>%                      html_text(.,trim = FALSE) %>%                      {if(length(.) == 0) NA else .},  stars = html_nodes(.x, '.value') %>%                      html_text() ,  date = html_nodes(.x, '.dtreviewed') %>%                      html_text() ,  reviews = html_nodes(.x, '.description') %>%                      html_text(.,trim = FALSE) ,  helpful = html_nodes(.x, '.revEntryAnsNum') %>%         html_text(.,trim = FALSE) %>%     {if(length(.) == 0) NA else .} , user = html_nodes(.x, '.revUserFaceDtlUnder') %>%                      html_text(.,trim = FALSE) %>%                      {if(length(.) == 0) NA else .}, usage = html_nodes(.x, '.revRvwUserDisp') %>%         html_text(.,trim = FALSE) )) Sys.sleep(5) df_reviews <- rbind(df_reviews, get_r_reviews)}view(df_reviews)------------------------------------------------------------------------------※留意事項：１行目の「url_txt」の右の”　”のところに、楽天市場の特定の商品の「みんなのレビュー」の一覧ページのURLを記入するのですが、末尾の「1.1/」や「2.1/」よりも前の部分のURLの「・・・/」までを記入します。「.」や「/」が過不足しないように注意する必要があります。　「for i」文の「i」がURLの末尾の「i.1/」のところに入る形です。この「i」の後ろに「.」と「1」と「/」を付け足しています。URLの末尾が「1.1/」「2.1/」「3.1/」「４.1/」「５.1/」と変化することで、無理やり、ページ送りをしています。※２行目の「pages_num <- 10」のところですが、数字の「10」のところにレビューのページの最終ページの数字を調べて記入します。５ページ目が最終ページであれば「５」を記入して「pages_num <- ５」とします。　なお、公開されているページの上限は「100」のようです。20,000件を超えるレビューがある商品でも100ページまでしか表示されませんでした。※必要なパッケージ　私の環境ですが、Rstudioを利用しています。上記コードに必要なパッケージは、おそらく下記のようなものではないでしょうか。いろいろと試行錯誤したので、上記コードには不要なパッケージもいくつか含まれているはずです（笑）。なお、Rstudioに未登録のパッケージは、「install.packages()」などによって、インストールしておく必要があります。library(rvest)library(purrr)library(pipeR)library(textreadr)library(RCurl) library(XML)library(tidyverse)library(lubridate)　楽天市場のレビューは、欠損値（入力がない項目）が多くあるので、どちらかというとスクレイピングがしにくくなっていると思います。欠損値のない項目だけにすればいいのでしょうが、レビューの「見出し」くらいはほしいと思いました。　「性・年代」の部分は、より広範囲の部分を取り込んでいるので、Excelの列の分割で、区切り位置を「スペース」にして分割して、切り分けます。その際、切り分ける「user」の列の右側に空の列を8列挿入しておきます。そうしないと、隣の「others」の列が上書きされてしまいます。　また、「商品の使いみち」「商品を使う人」「購入した回数」の３項目の属性が同じなので、コード処理が面倒でした。というか、方法がよくわかりませんでした。【20190824：コード中の「others」を「usage」にして取得範囲を変更しました】【「商品の使いみち」「商品を使う人」「購入した回数」の３項目を含む範囲を「usage」として一括して取り込んでいます。今後の課題です。　Excelの列の分割で、区切り位置を「スペース」で分割すると３項目を簡単に切り分けることができます。ただし、３項目がそろっていないレビューの行では列がずれているので、フィルターで行を並べ替えながら、ずれた部分を整える必要があります。】　なお、例えば「見出し」のセルの中の「NA」の文字列が不要の場合は、Excel上で「置き換え」処理によって削除します。特に、ワードクラウドなどに使う場合は、必ず削除しておきます。削除が前提であれば、「’NA_99’」とか、普通の文字列に出てこないような文字列にしておくのがいいかもしれません。　レビューデータが入手できれば、あとはユーザーローカルさんのテキストマイニングツールやMicrosoft Power BIなどに取り込んで簡単に分析することができます。　結論としては、楽天市場のみんなのレビューのページで、ユーザーローカルのテキストマイニング結果のような分析情報（特に、「見出しクラウド」のような情報）が見られれば、スクレイピングのような面倒なことは不要になって、ユーザーも楽天もハッピーなのではないかと思います。　それができないのであれば、もっとスクレイピングしやすい形にしてほしいと思います。アマゾンの方が、スクレイピングしやすいということになれば、アマゾンの方が話題になりやすくなるので、楽天にとってもマイナスにしかならないと思います。　あるいは、「名前」などを除いたレビューデータが簡単にダウンロードできるようになっていればいいのにと思ったりもします。【参考ページ】：「AmazonのレビューデータをRとExploratoryでスクレイピングしてみた」（https://qiita.com/A_KI/items/6863d158b9c938055f5a）【参考ページ】：「stackoverflow」:Inputting NA where there are missing values when scraping with rvest】（https://stackoverflow.com/questions/45901532/inputting-na-where-there-are-missing-values-when-scraping-with-rvest）​​☆関連記事​▼JPRiDEの新モデル・完全ワイヤレスイヤホン「JPRiDE TWS-520」のアマゾン・カスタマーレビューのテキストを分析​​▼「JPRiDE」ブランドのワイヤレスイヤホン「JPRiDE 708」の楽天市場のレビューのテキストを分析：ReviewMetaでアマゾンのカスタマーレビューの信頼性の高さを推定できるJPRiDEの製品​​​▼雑誌など第３者の高評価をアピールしている「JPRiDE(ジェイピー・ライド)」ブランドのワイヤレスイヤホン「JPA2」の楽天市場のレビューのテキスト分析です​​▼JVCケンウッドの高評価イヤホン「HA-FX3X」とソニーの「MDR-EX450」のカスタマーレビューを比較​​▼3000円クラスの高評価イヤホン「HA-FX3​のカスタマーレビューのテキスト分析を「User Local」の「AIテキストマイニング」で行ってみました：こんな分析ツールがあったとは、驚きです​​▼カスタマーレビュー分析で、Microsoft Power BIの「Word Cloud」とスライサーの組み合わせは便利です：3000円クラスで、高評価のイヤホン「HA-FX3X」のカスタマーレビューのテキスト分析​​▼アマゾンのカスタマーレビューを購入の判断材料にする場合、「ReviewMeta」（レビューメータ）によるチェックが役立ちます​​▼先日購入したイヤホン「HA-FX3X」のアマゾン・カスタマーレビュー分析：低音の良さ、コスパなどが高評価の理由のようです​：3000円クラスで、高評価のイヤホンです​Rグラフィックスクックブック ggplot2によるグラフ作成のレシピ集 [ ウィンストン・チャン ]価格：3672円（税込、送料無料) (2019/9/14時点)Rではじめるデータサイエンス [ Hadley Wickham ]価格：4320円（税込、送料無料) (2019/9/14時点)

  2019.08.19

  コメント(0)

• 

  ▼地球に接近したNEOの日別の個数をMicrosoft Power BIで表示してみました

  ​　NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からNEO（Near Earth Object）のデータをMicrosoft Power BI Desktopに読み込んで、NEOの観測個数を分析しています。　下図にあるように、地球に接近したNEOの観測個数には、月別の違いが見られます。▼「１LD(Lunar Distance)」以下の距離まで地球に接近したNEOの月別個数＜2000年~2018年の計＞▼下図は、2016年から2018年の３年間に、「１LD」以下の距離まで地球に接近したNEOの日別の個数（濃い赤色・３個以上、赤色・２個、グレー・１個）を、カレンダービジュアルで表示したものです。　上の図で、地球に接近したNEOの観測個数は、6月~8月頃に少ない傾向があることがわかりますが、2016年から2018年の日別の接近個数（１LD以下のもの）を日別のカレンダービジュアルで見たものが下図です。この３年間で見ても、6月~8月頃の観測個数が少ないことがわかります。　　Power BIでは、日別データをカレンダービジュアルに簡単に表示させることができるので便利です。▼2010年から2019年7月までの期間に、１LD以下の距離まで地球に接近したNEOの月別の観測個数☆関連記事​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Queryエディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます​​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​​ ​

  2019.08.13

  コメント(0)

• 

  ▼米国の銃器による年間約４万人の死亡者数を州別に見る：人口比の死亡者数では、アラスカ州が最悪で、ハワイ州が最良：Microsoft Power BI Desktopによる分析です

  ​　米国では、銃乱射事件が頻発していますが、米国CDC（Centers for Disease Control and Prevention：疾病管理予防センター）のサイトにあった「銃器による死亡者数」の州別のデータを見てみました（https://www.cdc.gov/nchs/pressroom/sosmap/firearm_mortality/firearm.htm）。　ダウンロードしたのは、州別の、銃器による「死亡者数と人口10万人あたりの死亡者数」のデータで、2005年と「2014年から2017年」の５年分です。　Microsoft Power BI Desktopを利用して、2014年から2017年の４年間のデータについて分析しました。　米国の「銃器による死亡者数」は、2014年から2017年にかけて増加しています。2017年は、４万人弱が銃器によって亡くなっています。この中には、自殺も含まれています。　また、「銃器による死亡者数」と「銃器による人口10万人あたりの死亡者数」には、かなり地域差があることがわかります。　　　下の散布図は、横軸が「年間の人口10万人あたりの死亡者数」の４年間平均、縦軸と円の大きさが「年間の死亡者数」の４年間平均です。　人口比の死亡者数で見ると、アラスカ州が最悪で、ハワイ州が最良のようです。　死亡者数では、テキサス州やカリフォルニア州、フロリダ州の３州が特に多くなっています。　危険なイメージもあるニューヨーク州ですが、「銃器による人口10万人あたりの死亡者数」はかなり低くなっています。▼Power BIのテーブルのリレーションシップによって、日本語の州名を表示　CDCのサイトからダウンロードしたデータでは、州の名前がアルファベットの略称になっていて、さっぱりわかりませんでした。　そこで、Wikipediaにあった米国の州名の表（略称、日本語名称などの一覧表）をPower BIに取り込んで、CDCの表とリレーションシップを作成し、CDCのデータの分析に日本語の州名が利用できるようにしています。【↓グーグルのBIツールによるレポートのURL】　Power BIの場合、有料プランでしかレポートをWeb公開ができないようなので、グーグルのBIツールで作成したレポートを公開しています。Chromeブラウザ以外だとうまく表示されないかもしれません。IEやEdgeでは、表は見られますが、グラフが表示されないようです。​https://datastudio.google.com/embed/reporting/1ZptM5-k5PS4x0TrRwVtE3bM16NybM-EV/page/Gy9w​​※データポータルの動作は、Chrome、Firefox、Safari の各ブラウザでテスト済みです。​☆関連記事​▼【平均値の差の検定をしてみました】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Queryエディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます​​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​​​​​

  2019.08.08

  コメント(0)

• 

  ▼【平均値の差の検定をしてみました：ｔ検定とベイジアン統計の検定も】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます

  ​​　NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からNEO（Near Earth Object）のデータをMicrosoft Power BI Desktopに読み込んで、月別にNEOの観測個数を分析しています。　2001年の10月、2002年の10月、・・・、2018年の10月というように、同じ月について、各年の観測個数の分布状況を示したのが、下の箱ひげ図です。箱の中にある●が平均値、線が中央値を示しています。　NEOの観測個数の年によるバラツキが大きいと、箱やひげの長さが長くなります。年によるバラツキが小さいと、箱やひげの長さは短くなります。　11月は、箱の長さや上ひげの長さが長いので、年によってNEOの観測個数がかなり異なっていることがわかります。　６月、７月、８月は箱の長さが短く、NEOの観測個数の少ない年ばかりであることがわかります。　▼10月と８月の２群で、NEOの観測個数の平均値について、「平均値の差のｔ検定」をしてみました　　統計的仮説検定では、標本データから母集団についての推測を行うことになりますが、NASAのNEOデータを標本データ、母集団をまだ発見されていないNEOも含めた全体の集団と捉えて、統計的仮説検定をしてみました。　帰無仮説は、「10月と８月のNEOの観測個数の平均値は同じである」というものです。この帰無仮説について、２群の平均値の差のｔ検定を行いました。　群馬大学の青木先生のサイトに、ｔ検定の結果を出力する計算ツールがあります（http://aoki2.si.gunma-u.ac.jp/JavaScript/ttest2.html）。　そのツールのデータ入力窓にデータを貼り付けると、ｔ検定の出力結果を表示してくれます。　なお、等分散性の検定で、10月と８月の年別観測個数の分散が等しい確率が低い、という結果になっています。これは、「等分散が仮定できないとき」に当てはまるので、「Welch の方法」でのｔ検定の結果を見ます。　すると、「P 値 = 0.00019」となっています。これは、「10月と８月のNEOの観測個数の平均値は同じである」という帰無仮説が正しいとした場合に、今回のデータが得られる確率が極めて小さいことを示しています。そこで、対立仮説「平均値に差がある」が採用されることになります。　10月と８月のNEOの年別観測個数の平均値には、１％（0.01）水準で有意差があるということになります。　　　そして、どの程度の違いがあるのか、という「効果量（effect size ｄ）」の値が、1.46828となっていますが、これは、「とても大きい（very Large ）」違いがあると解釈される値です。　10月は、８月に比べて地球に接近するNEOの個数の平均値がとても多い、と言えるようです。--------------------------------------------------------------▼入力データ８月：0,0,0,0,0,1,0,0,0,0,0,0,2,1,1,1,3,210月：0,0,1,1,2,2,5,5,4,6,4,3,5,4,2,5,11,4--------------------------------------------------------------▼検定結果出力第一群：8月　標本サイズ = 18　    平均値 = 0.611111　  不偏分散 = 0.839869 第二群：10月　標本サイズ = 18　    平均値 = 3.55556　  不偏分散 = 6.84967 二群の等分散性の検定　  F 値 = 0.122615　自由度 = ( 17, 17 )　  P 値 = 0.000078　（両側確率） 通常の t 検定（等分散性が仮定できるとき）　  t 値 = 4.50494　自由度 = 34　  P 値 = 0.00007 等分散性が仮定できないとき（Welch の方法）　  t 値 = 4.50494　自由度 = 21.10715　  P 値 = 0.00019　（小数自由度に対応した正確な値） effect size g = 1.50165effect size d = 1.46828--------------------------------------------------------------　▼ベイジアン統計の手法でも、平均値の差があることが確認できます　P値、帰無仮説を用いる従来型の統計学での検定は、帰無仮説、対立仮説の関係がわかりにくいのですが、ベイジアン統計による検定は単純明快な感じがします。　　ベイジアン統計では、母集団の平均値や標準偏差に唯一の真の値を想定せず、母集団の平均値や標準偏差も分布するという考え方がベースになっています。　下図は、ベイジアン統計の考え方で２群の平均値の差を検定する「BEST」というRのパッケージ（https://cran.r-project.org/web/packages/BEST/index.html）を用いて、MCMC法によって10月と8月の平均値の差の分布を導き出したものです。　「平均値の差」の平均は3.36で、下図の95％HDI区間「1.97~4.68」には、ゼロが含まれていないので、２群の平均値には差があるということになります。　事前分布（priors）によって、また、MCMCの設定で結果が少し変化する点に留意する必要がありますが、「差がある確率は何％」と明快な結論が出るので、結果の解釈はわかりやすいと思います。　この平均値の差のデータ分布図からすると、95％HDI区間どころか、100％HDI区間にゼロが含まれていないので、「２群の平均値に差がある確率は、100％」である、ということになると思います。※「R」を利用しなくても、オンラインでベイジアン統計の「２群の平均値の差の検定」ができるサイトがあります（Bayesian Estimation Supersedes the t-test (BEST) - Online：http://sumsar.net/best_online/）。　MCMCの様子がアニメーションとして見られるので、楽しい感じです。P値にこだわらないのであれば、このサイトで２群の平均値の差の有無を判断するのもいいかもしれません。​☆関連記事​▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Queryエディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます​​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​​​​​​

  2019.08.07

  コメント(0)

• 

  ▼地球に接近する小惑星の数が多いのは10月頃？。少ないのは８月？：月別にかなり違いが見られます：Microsoft Power BI Desktopは、無料で利用できる、インタラクティブなインフォグラフィック作成ツールです

  ​​▼地球に接近する小惑星の数が多いのは10月頃？​　NASAのサイト（https://cneos.jpl.nasa.gov/ca/）からNEO（Near Earth Object）のデータをMicrosoft Power BI Desktopに読み込んで、月別にNEOの観測個数を見てみました。　分析対象データを、下段にあるスライサーで、「2000年から2018年まで」と「地球に１LD（Lunar Distance）以下の距離まで接近した」という条件で絞り込んでいます。　左側の「カード（数字情報）」を見ると、上記の条件に該当する小惑星の個数は「443個」で、その中の最大のものは「190ｍ」で、最も接近したものの距離は「0.03LD」であることがわかります。なお、「190ｍ」サイズのものが、「0.03LD」まで接近したということではありません。　月別の観測個数の棒グラフを見ると、10月が64個、3月が62個、11月が60個と60個を超えています。一方、６月は16個、７月は12個、８月は11個となっていて、「６月~８月」が比較的少ないことがわかります。　10月は8月の6倍近い個数なので、月による違いはあるようです。　​　月別の違いということは、地球の公転での位置に関係しているので、宇宙空間の場所によって小惑星の通る数が異なっているのでしょうか。　あるいは、月によって、天候など、観測の環境が異なっているということなのかもしれません。▼インタラクティブ性のあるインフォグラフです　下の図は、棒グラフの「８月（Aug）」の棒をクリックして選択した状態です。　クリックした月以外の月の棒はグレーアウトして、左側の「カード」の情報は「８月」のデータについての情報に切り替わります。インタラクティブ性があることによって、より詳細な情報を得ることができます。​​​▼インフォグラフィック作成ツールとしてのMicrosoft Power BI Desktop​​　Microsoft Power BI Desktopは、簡単なインフォグラフィック作成ツールとして利用できます。しかも、無料で利用できます。　Excelのピボットグラフでもある程度可能ですが、「スライサー」によって、分析対象データを絞り込んで、グラフなどのデータを表示させることができます。　また、上の図のようなレポートをPower BI Desktopで作成して、「Power BI」に「発行」しておくと、他のパソコンやiPhoneの「Power BI」アプリでも同じレポート画面を見ることができます。　　　単に既存のレポートを見るだけでなく、iPhoneのアプリ上で、スライサーの設定を変更してレポートの内容を変化させることもできます。　下の図は、iPhoneの画面で「地球に接近した距離（LD）」のスライサーを「２LD以下」に変更した時のレポート画面のスクリーンショットです。　分析対象データの条件変更により、「カード」の数字やグラフが連動して変化しています。　このようなインタラクティブなインフォグラフィックレポートが作成できるのも「Power BI」の魅力です。☆関連記事​▼【平均値の差の検定をしてみました：ｔ検定とベイジアン統計の検定も】地球に接近する小惑星の数の10月と8月の平均値には、統計的に有意な差が見られます​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Queryエディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます​​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​​​​

  2019.08.06

  コメント(0)

• 

  ▼「世界の平均気温偏差（℃）」のデータの前処理が、ExcelのPower Query エディターでもできました：Power Queryエディターは便利です！：簡単に行方向のデータを列方向にできます

  ​　気象庁の「世界の平均気温偏差（℃）」のデータは、行方向（横方向）に１月から12月のデータが並ぶ形（１月から12月までの12個の「列」が並ぶ形）で、扱いにくいため、分析しやすくするためには、データ形式を変換する必要があります。　　Accessのユニオンクエリでの処理と同じことが、Power Query エディターでもできました。横方向のデータを縦方向にする方法としては、最も簡単かもしれません。　　行データを列データに変換するには、Excelでは、VBAなどで処理する必要があると思い込んでいましたが、ExcelのPower Query エディターで、１月から12月の平均気温偏差の列を選択して、右クリック、「列のピボット解除」を選択すると、簡単にデータ形式の変換ができました。これは、簡単で、便利です。　でも、「列のピボット」を設定した覚えなどないのに「解除」というのも、用語としてはわかりにくいです。　クエリなので、元データの更新にも対応していて、最新のデータへの更新も簡単です。データメニューで「更新」をするだけでクエリのデータも更新されます。　Power BI DesktopにもPower Query エディターがあるので、データ形式の変換はPower BIでもできました。　Accessの方法でも、一度クエリを作成しておけば、テーブルにデータが追加されてもクエリはそのままでいいので、Power Query エディターの方法とAccessの方法とは、あまり変わらない感じだと思います。　これまでAccessのようなデータベースソフトで扱ってきたデータベーステーブルを、ExcelやPower BIで利用できるようになってきている、ということのようです。​▼気象庁の「世界の平均気温偏差（℃）」のデータをPower BI Desktopに読み込む手順​　１．気象庁のサイトからデータを取得します。（https://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html）２．ブラウザに表示された数字をコピーして、Excelのシートに貼り付けます。CSV形式のテキストデータなので、「区切り位置指定ウィザード」を利用して表形式のデータにします。３．Excelシートで、取り込んだデータのすべての列を選択した状態で、データメニューの「データ取得」の「テーブルまたは範囲から」を実行し、「●先頭行をテーブルの見出しとして利用する」として「テーブルの作成」を行います。４．Power Query エディターが起動するので、１月から12月の列を選択した状態で、右クリック、「列のピボット解除」を選択すると、行方向のデータが列方向のデータに変換されます。列見出しの名前を適切なものに変更します。５.日付型の「年月データ」の列を加えておきたいので、既存の「年」の文字列と「月」の文字列を結合して、データ型を日付型にします。まず、「年」と「月」の列の型を文字列にしたうえで、カスタム列を追加して、「=Text.Combine({[年], "年",[月]})」という、テキストの結合処理をします。その後、そのカスタム列の型を日付型に変換します。「カスタム」の列名も変更しておきます。　日付がすべて「１日」になっていますが、「年」と「月」しか利用しないので、問題ありません。６.とりあえず、クエリが完成したので、メニューの左上の「閉じて読み込む」を選択します。そうすると、クエリで処理されたデータの表ができます。その表のあるシートの名前を適切なものに変更し、Excelファイルを閉じます。７．Power BIで、ファイルメニューから、「データを取得」を選び、Excelファイルを開き、上記のクエリで処理された表のあるシートを選び、データを読み込みます。　Power Query エディターの作業部分は、Excelではなく、Power BI Desktopで行うこともできると思いますが、Power BI Desktopでの操作には慣れていないので、できるだけExcelを利用する形にしました。　Power BI Desktopでは、webページの表をスクレイピングしてデータを取得することもできるようです。今度、試してみたいと思います。▼Power BI Desktopで、カスタムビジュアル「Small Multiple Line Chart」を利用して、複数グラフの一覧を一度に作成することができました。「世界の月別平均気温偏差（℃）」の1980年からの推移のグラフです。▼温暖化が進行している地球の夏を乗り切るためのグッズを楽天市場で検索​楽天市場で「冷却枕」を見る楽天市場で「Nクール」を検索する​​楽天市場で「USB扇風機」のランクイン商品を検索する​​​​楽天市場で「ネッククーラー」を見る​☆関連記事​▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました​​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、PowerBIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​​​

  2019.08.05

  コメント(0)

• 

  ▼気象庁の「世界の月平均気温偏差（℃）」のデータを、Accessのユニオンクエリで、横方向から縦方向にデータ形式を変換し、簡単に複数グラフの一覧を作成しました

  ​​​　気象庁のサイトに「世界の月平均気温偏差」というデータがあります。これは、各月の平均気温と基準値との差を示すものです。基準値は「1981〜2010年の30年平均値」です。 　気象庁からダウンロードした「世界の月平均気温偏差」のデータでは、下の図のように、行が「観測年」で、月平均気温偏差という変数が「観測月」ごとに12列になっている形です。このデータ形式の場合、月ごとの平均気温偏差の経年推移のグラフの一覧を作成する場合、12個のグラフを作成して並べる必要があるようです。▼気象庁の「世界の月平均気温偏差（℃）」のデータ形式※気象庁の「世界の月平均気温偏差（℃）」のページ：https://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html　そこで、月別の平均気温偏差データを１つの変数にして、「観測年」と「観測月」も変数にして、シンプルな表に変換したいと思います。　Excelで変換しようとすると、VBAのプログラムを組む方法などになると思いますが、せっかくOffice 365を利用しているので、Accessを使って変換する方法にしました。　AccessのクエリのSQLビューのところに下記のような、「ユニオンクエリ」機能を利用したSQL文を記入することによって、横方向に展開しているデータを縦方向のデータに変換することができます。▼Accessで変換した後のデータ形式です。「年」と「月」と「気温偏差」データの３変数のシンプルなテーブルになりました。▼AccessのクエリのSQLビューに記入するSQL文　なお、「temp」は気象庁からダウンロードした元データに付けたテーブル名です。SELECT 年, 1 AS 月度, [1月] AS 気温偏差 FROM tempUNION ALLSELECT 年, 2 AS 月度, [2月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 3 AS 月度, [3月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 4 AS 月度, [4月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 5 AS 月度, [5月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 6 AS 月度, [6月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 7 AS 月度, [7月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 8 AS 月度, [8月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 9 AS 月度, [9月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 10 AS 月度, [10月] AS 気温偏差 FROM temp UNION ALLSELECT 年, 11 AS 月度, [11月] AS 気温偏差 FROM temp UNION ALL SELECT 年, 12 AS 月度, [12月] AS 気温偏差 FROM temp※SQL文作成で参考にしたページ：「横展開のエクセルデータをACCESSで縦に展開するためのクエリ」（https://answers.microsoft.com/ja-jp/office/forum/office_2013_release-access/%E6%A8%AA%E5%B1%95%E9%96%8B%E3%81%AE%E3%82%A8/ee3d20ef-9283-4df1-8ed2-bffed745af8f）【追記：ExcelやPower BIのPower Queryエディターを用いて、月別の列を選択して、「列のピボットを解除」するという方法で、行方向データを列方向データに変換することができました。この方法は簡単です。クエリなので、元データの更新にも対応しています。ただし、Accessを利用する方法でも、クエリのデータは自動的に更新されるので、一度クエリを組んでしまえば、あまり差はないと思います。】▼Microsoft Power BIで、月別の平均気温偏差の経年変化グラフを作成（複数グラフの一覧「ファセットグラフ」の作成）　Accessで形式を変換した後のデータをPower BIに読み込みます。どういうわけか、Power BIからAccessのDBファイルに接続できなかったので、AccessのクエリをExcelファイルにエクスポートして、Power BIで読み込みました。その際、日付データの列をExcelで作成しています。　Power BIでは、データの視覚化のメニューのところにカスタムビジュアルをインポートして追加する機能があります。Marketplace に接続してカスタムビジュアルをインポートすることによって、標準のメニューにないグラフを作成することができます。 「Infographic Designer」というカスタムビジュアルをMarketplaceからインポートすることによって、12個の月別の平均気温偏差の経年推移グラフを一度に作成することができました。　Power BIでは、「月」の変数をスライサー（図の右下）に設定すると、任意の月のグラフだけを表示させたり、表示するグラフを「1月から６月まで」「４月から９月まで」といった絞り込みも簡単にできます。ただし、10月から３月といった選び方はできません。▼12個の月別グラフ一覧▼スライサーで、「１～６月」に絞り込んだ月別グラフ一覧　　グラフを見ると、どの月も平均気温偏差は上昇傾向にあります。やはり、地球温暖化（グローバル・ウォーミング）が進行しているようです。▼温暖化が進行している地球の夏を乗り切るためのグッズを楽天市場で検索​楽天市場で「冷却枕」を見る楽天市場で「Nクール」を検索する​​楽天市場で「USB扇風機」のランクイン商品を検索する​​​​楽天市場で「ネッククーラー」を見る​☆関連記事​▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？​​▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​​​

  2019.08.04

  コメント(0)

• 

  ▼世界の月平均気温偏差：６月は、2019年が過去最高になりました：7月も今年が過去最高水準に？

  ​​　暑くなりましたが、地球的にも今年は暑いようです。　気象庁のサイトに「世界の月平均気温偏差」というデータがありました。これは、各月の平均気温の基準値との差を示すものです。基準値は「1981〜2010年の30年平均値」です。 　世界の2019年６月の月平均気温偏差は、「1981〜2010年の30年平均値」に対して「+0.45℃」と、過去最高を記録しました。▼気象庁のサイト（http://www.data.jma.go.jp/cpdinfo/temp/jun_wld.html）のグラフ　世界気象機関（World Meteorological Organization：WMO：https://public.wmo.int/en）は、7月も今年が最も暑くなった、あるいは少なくとも過去最高水準に匹敵するのではないか、としています。　今年、暑いのは、日本だけではないようです。　下のグラフは、気象庁のサイト※からダウンロードしたデータをPower BIでグラフ化したものです。※（http://www.data.jma.go.jp/cpdinfo/temp/list/mon_wld.html）　4月から９月の６カ月について、月平均気温偏差の1980年からの推移を折れ線グラフにしたものですが、各月とも上昇傾向が見られます。なお、2019年のデータは６月までになっています。​▼暑い夏を乗り切るためのグッズを楽天市場で検索​楽天市場で「冷却枕」を見る楽天市場で「Nクール」を検索する​​楽天市場で「USB扇風機」のランクイン商品を検索する​​​​楽天市場で「ネッククーラー」を見る​☆関連記事​▼データ下処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む​​▼Microsoft PowerBI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​​​

  2019.08.03

  コメント(0)

• 

  ▼データ前処理の例（その２）：Microsoft Power BI用データを準備するための処理の例：NASAのNEOデータをダウンロードし、英語の月名を含む日付の文字列を日付データに変換して、Power BIに読み込む

  ​　７月25日、「2019 OK」という小惑星が地球の近くを通り過ぎて行きましたが、NASAのサイト（https://cneos.jpl.nasa.gov/ca/）から、地球に接近した（これから接近する）小惑星についてのデータをダウンロードすることができます。　NEOが地球に接近した年月日時刻のデータが文字列としてダウンロードされるので、そこから日付データを取り出します。　「2019 OK」の年月日時刻の文字列：「2019-Jul-25 01:22 ± < 00:01」　最初は、「2019-Jul-25」の文字列を取り出して、セルの書式設定で日付データに変換できるかもしれない、と思ったのですが、どうやら英語の３文字の月名が邪魔をしているようで、セルの書式設定では日付データにできなかったため、関数を使うことになりました。　B列に接近年月日のデータがあり、B列から年月日のテキストを取り出すのですが、その際、Q列に英語の３文字の月名の列を用意して、MATCH関数で英語の月名を１から12の数字に変換しました。そして、DATEVALUE関数で日付データに変換しました。　なお、英語の月名を数字にしてしまえば、DATEVALUE関数なしで、セルの書式設定だけで日付データにすることができるようです。【追記：ExcelやPower BIのPower Queryエディターで、年月日時刻の文字列のセルについて、「±」記号で、列の分割をすると、年月日時刻データとして認識されました。この方法が最も簡単なようです。】B列に英語の月名（３文字）を含む年月日のテキストデータがある場合=DATEVALUE(LEFT(B2,4)&"/"&MATCH(MID(B2,6,3),$Q$1:$Q$12,0)&"/"&RIGHT(B2,2))Q列JanFebMarAprMayJunJulAugSepOctNovDec　また、地球への接近距離のデータですが、「0.19 | 0.00048」のように、LDとauの２種類の単位のデータが「|」で区切られて、一つのセルに入っています。そこから、左側のLD（Lunar Distance)のデータを取り出します。​　C列にデータがある場合：=LEFT(C2,FIND("|",C2)-1)【追記：このようなデータの前処理はすべて、ExcelやPower BIのPower Query(パワークエリ）を利用することによって、より簡単に処理できることを確認しました。もはや、セル関数を使用する時代ではなくなったようです。Power Query(パワークエリ）を利用した方法は比べ物にならないくらい簡単で、繰り返しの作業にも対応しています。セル関数の利用がほとんど不要な時代になっているようです。】　前処理が終了したら、Power BIに読み込ませるだけです。Power BIで分析する作業よりも、データの下処理作業の方が大変なのは何とかならないものか、と思います。　データをダウンロードして利用する際、「日付データ」は結構やっかいです。　ダウンロードしたら、いきなりシリアル値が表示されていたりすることもありますが、シリアル値になっていればセルの書式設定を変えるだけで対応できるはずなのでまだましです。　日付データではないのに、日付データとして読み込まれる場合もあります。　あるサイトの表をコピーした際に、小惑星の推定サイズで「10-23」（10ｍ~23ｍ）というデータが「10月23日」になってしまうのは困りました。　セルの書式設定を文字列にすると、「10月23日」のシリアル値になってしまいます。つまり、一度「10月23日」の表示になってしまうと、セルの書式設定を文字列にするだけでは「10-23」の文字列に戻せないということになります。　幸い、NASAからダウンロードしたデータでは、このようなことがなくてよかったです。　☆関連記事​▼Microsoft PowerBI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む​​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​​

  2019.08.02

  コメント(0)

• 

  ▼Microsoft Power BI用データを準備するための前処理の例です：NASAのNEOデータをダウンロードし、小惑星の大きさの推定値をExcelで取り出し、単位変換して、Power BIに読み込む

  ​　７月25日に、「2019 OK」という小惑星が地球の近くを通り過ぎて行きましたが、NASAのサイト（https://cneos.jpl.nasa.gov/ca/）から、地球に接近した（これから接近する）小惑星についてのデータをダウンロードすることができます。　NASAのサイトからダウンロードした小惑星についてのデータですが、大きさの推計値が一つのセルの中に「59ｍ - 130m」という形で書き込まれています。しかも、単位は「m」だけでなく、「km」の場合もあります。　そこで、Excelの関数を用いて、推計値の数字だけを取り出しました。　まず、「59ｍ - 130m」のようなデータを、下限値と上限値の２列の数字に分けます。下記は、H列にデータがある場合の関数です。　LEFT関数は、文字列の左側から指定した数の文字を書き出します。RIGHT関数は、文字列の右側から指定した数の文字を書きだします。　FIND関数は、指定した文字が左から何文字目にあるのかという数字を返します。　LEN関数は文字列の文字数を返します。　下限値を取り出す関数：=LEFT(H2,FIND("-",H2)-1)　上限値を取り出す関数：=RIGHT(H2,LEN(H2)-(FIND("-",H2)))　ｍやkm付きの数字を読み込んだので、次に、数字だけを読み込みつつ、kmのデータをｍに換算します。最後に１を掛けているのは、数字の文字列を数値データにするためです。【追記：ExcelやPower BIのPower Query エディターで、「区切り記号で列を分割する」方法の方が簡単でした。ただし、関数で処理する方法も、元データシートと関数を設定した変換用シートを分けて、新規データを元データシートに加えて変換する形にすれば、データ更新が簡単だったりします。もし、kmからｍへの単位変換をPower Queryエディターでできれば、関数が不要になります。】【追記２：Power Queryでkmの単位変換も含むすべての処理ができることを確認しました。Power Queryは、強力、かつ便利すぎるので、もはやExcelのシートで関数を使って前処理をする方法はあり得ないと思うようになりました。元のデータには一切触らずに、クエリで処理するので、繰り返し作業に最適です。詳細は関連記事にあります。関連記事：▼NASAのNEOデータを、Power Queryで前処理してみました：コードを使わずに前処理が可能です​​】　下記の関数では、セル内に「km」のkを探し、kがなかったら数字を取り出します。kがあったら数字を取り出して1000を掛けて、m単位にします。　IF関数では、「IF(論理式, 真の場合, 偽の場合)」という形で、論理式が真の場合と偽の場合で処理が分かれますが、この機能を利用しています。　I列に下限値データがある場合=IF((IFERROR(FIND("k",I2),50)=50),LEFT(I2,FIND("m",I2)-1),LEFT(I2,FIND("k",I2)-1)*1000)*1　ｋ列に上限値データがある場合：関数の内容は上記と同じ=IF((IFERROR(FIND("k",K2),50)=50),LEFT(K2,FIND("m",K2)-1),LEFT(K2,FIND("k",K2)-1)*1000)*1　　FIND関数での「エラー」をIFERROR関数で処理します。ｋがなかった場合に「50」という数字が返るので、それをIF関数で判定します。「50」という数字には意味はなく、「30」でも「100」でもいいのですが、セル内の文字数を上回る数字にします。　IFERROR関数が50だったら、ｋがなかったということになりますが、IF関数としては「真」の場合なので、ｍ単位の数字の読み込みだけをします。　FIND("k",I2)が4とかになった場合は、4番目にkがあったということになり、km単位のデータということになります。この場合、IF関数としては「偽」の場合になるので、数字を読み込んで、1000を掛けて単位を変換します。　本当は、APIを用いてNASAのデータベースに接続して、データをダウンロードしながら、データを整形するようなプログラムを書くのが理想ですが、そのような技能はないので、Excelのシート上で、関数を使ってデータを集計できるようにしました。　せめて、VBAを使う方法ができればとも思いますが、諸般の事情により、Excelの関数で処理しました。　データを分析する前に、データを分析できる形に加工する必要が本当によくあります。　データの整形やクレンジングなど前処理ができていなければ、データ分析ができないので、データの前処理はデータ分析にとって、最初の大きな関門です。　　世の中にあるデータの形式がもっと汎用性があって、もっと利用しやすい形になっていれば、と思うことが多々あります。▼Microsoft Power BIにデータを読み込んでしまえば、下図のような、年ごとに変化する散布図も簡単に作成できます。変化する散布図をPower BI上で再生できますが、下図はその様子をアニメーションGIFで再現したものです。　縦軸がNEOの大きさの推計値（下限値）、横軸が地球への接近距離（0.5LD以下）、円の大きさはNEO（Near Earth Object）の大きさの推計値（下限値）を反映しています。　　近年、20ｍ以下のNEOがたくさん発見されているようです。次々に新しいNEOが発見されているということは、まだ発見されていないNEOがたくさんある、ということを示しているのかもしれません。＜データの出典：https://cneos.jpl.nasa.gov/ca/＞​☆関連記事​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​

  2019.08.02

  コメント(0)

• 

  ▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから

    　先日、地球をかすめて飛び去った小惑星「2019 OK」は、これまでに観測された、0.2LD以下の距離まで地球に接近した80個のNEO（Near Earth Object)の中で、最大のものだったようです。　　ただし、7月29日時点のNASAのデータ（過去に0.05au以下の距離まで接近したNEO：n=13,113)の中では、「2019 OK」は3,231番目の大きさです。　7月29日にNASAのサイトから、NEOのデータ（13,119件：内６件が大きさのデータが欠損）をダウンロードして、Excelで下処理してからPower BIで分析しています。　下のグラフは、過去に「0.5LD（地球と月の平均距離の半分）」以下まで接近したNEO(n=244)について、横軸をLD（距離）、縦軸を推定サイズ（推定の下限値）とし、円の大きさが推定サイズを反映するようにして示したものです。　ほとんどのNEOが20ｍよりも小さいですが、この中で、「2019 OK」は３番目の大きさになっています。​▼0.5LD以下まで接近したNEO（n=244）​　下記は、NEOの地球との接近距離（LD）ごとに、最もサイズの大きかったNEOと、「2019 OK」の大きさの順位を見た結果です。☆有効データ：「13,113件」での順位です。1900年からのデータで、期間が長いので、同じ小惑星が複数回記録されていたりもします。　全データ中で最も大きかったのは、4000ｍ（４km）のNEOで、2017年に18.38LDまで接近しました。なお、今回、「過去に0.05au以下の距離まで接近した」という条件で、NASAからダウンロードしたNEOのデータでの最大距離は19.46LDになっています。【全データ：19.46LD以下】(n=13,113)「3122 Florence (1981 ET3)」:（サイズ：4,000ｍ、接近距離：18.38LD）：「2019 OK」は3,231位　※2017年【10LD以下】(n=6,127)「4179 Toutatis (1989 AC)」:（2,300ｍ、9.4LD）：「2019 OK」は865位　※1992年【 5LD以下】(n=2,816)「4179 Toutatis (1989 AC)」：（2,300ｍ、4.03LD）：「2019 OK」は218位　※2004年【 1LD以下】(n=520)「458732 (2011 MD5)」：（ 700ｍ、0.91LD）：「2019 OK」は14位　※1918年【0.5LD以下】(n=244)「2017 VW13」：（ 190ｍ、0.45LD）：「2019 OK」は3位　※2001年【0.2LD以下】(n=80)「2019 OK」：（ 59ｍ、0.19LD）：「2019 OK」が1位　※2019年　※NASAのデータでは、「59ｍ～130ｍ」の推計値となっています。▼2019年はすでに546件のNEOのデータが記録されていますが、最近のデータ件数が多いのは、観測体制の整備や観測精度が高まってきていることを反映しているのだと考えられます。　地球への隕石の落下自体は、それほど珍しいことではないようですが、隕石落下の背景には地球周辺に多くの物体が飛び交っているということがあり、それらの物体が観測精度の高まりによって見えるようになってきているようです。　​​☆関連記事​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました​​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​

  2019.07.30

  コメント(0)

• 

  ▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました

  ​　先日、地球をかすめて飛び去った小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEO（Near Earth Object)の中で、最大のものでした。　2017年にも20ｍ以上の大きさのNEOが２個0.2LD以下の距離まで接近していました。　NASAのサイトから、NEOのデータをダウンロードして、Excelで下処理してからPower BIでグラフにしてみました。　下のグラフは、過去３年間で「１LD（地球と月の平均距離）」以下の距離まで接近したNEOについて、横軸をLD（距離）、縦軸を推定サイズ（推定の下限値）とし、円の大きさが推定サイズを反映するようにして示したものです。　上から順に、「３年間の全データ」「2017年のデータ」「2018年のデータ」「2019年のデータ」のグラフになっています。​​​▼2017年～2019年▼2017年▼2018年▼2019年　　Microsoft Power BI Desktopは、無料で試用することができます。Windows10であれば、Microsoftストアからインストールすることができます。Windows8.1では、インストールファイルをダウンロードしてインストールする形になります。　Power BIは、データ分析ツールとしても手軽に利用できるようになりました。Excelでは作成できないグラフも作成でき、初期の頃にはできなかったグラフのPDFへの書き出しもできるようになっています。日々進化しているようです。　Power BIにデータを読み込ませてしまえば、かなり簡単に分析やデータの視覚化ができるのですが、それに至るまでのデータの下処理が大変だったりします。​　NASAからダウンロードしたデータでは、一つのセルに複数のデータが入っていたり、「ｍ」単位と「km」単位のデータが混在したりしているので、ExcelやPower BIで分析できるような形になるまでデータを処理する方が、分析やグラフ作成よりも大変だったりします。​☆関連記事​​​▼NASAのNEOデータの可視化の試み：「R」によるアニメーショングラフ：小惑星（Asteroid)の散布図です​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。​​​

  2019.07.29

  コメント(0)

• 

  ▼【グラフを追加しました】：小惑星「2019 OK」はOKでしたが・・・：７月25日に地球とニアミスした、今年最大の小惑星の名前です。

  ​　USA Todayやワシントン・ポストなどによると、７月25日に今年最大の小惑星が地球とニアミスしていたそうです。巨大隕石にならなくてよかったです。　　小惑星「2019 OK」は、大きさが推定で57~130mで、地球から約73,000km以内の距離まで接近し、秒速24kmの速度で通過したようです。　「2019 OK」は、６月28日に発見されていましたが、正確な軌道が分かったのは、最接近直前の７月24日です。　小さな隕石とは違って「2019 OK」は、地球に衝突した場合、都市を破壊することができる大きさだそうですが、これくらいの大きさのものであっても、発見するのが難しいようです。数十メートル以下の大きさのものは、事前に発見されずに、地球にいつ衝突してもおかしくなさそうです。　　７月24日にも、「2019 OK」と同じくらいの大きさの「2019 OD」が接近していましたが、距離は0.93LDと、ほぼ地球と月の距離ほど離れていました。7月は、比較的大きなものが３個接近しました。「2019 OK」の軌道：https://gfycat.com/faithfuloldfashionedindianelephant▼2019年に地球に接近した小惑星との距離を横軸、小惑星の大きさを縦軸としたグラフを作成してみました。　円の大きさは小惑星の大きさを反映しています。小惑星の大きさは、推定値の下限の数字を用いています。例えば、「2019 OK」は、57mから130mの大きさだと推定されていましたが、グラフでは57ｍの数字を使っています。　横軸の「LD（Lunar Distance）」※は地球と月の平均的距離だそうです。「2019 OK」は、グラフ左上の大きな赤色のものです。0.19LDまで接近したので、地球と月の距離の５分の１くらいまで接近したことになります。​（グラフのデータの出典：https://watchers.news/2019/07/24/asteroid-2019-ok/）​　▼2019年の１LD以下の距離まで接近したNEO（Near Earth Object：32個）の大きさの最小推定値の平均は約12m、平均距離は約0.6LDです。図中の点線がそれぞれの平均値です。　今年、１LD以下の距離まで地球に接近したNEOの大きさの1位から3位までが７月に観測されたものです。▼上のグラフと同じデータから作成したグラフです。棒グラフが大きさ、折れ線グラフが地球との距離です。左側が１月、右側が７月という形で並べています。７月には比較的大きなものが３個接近していることがわかります。　​地球との距離については、距離が大きくなる傾向にあるようにも見えます。一方、サイズは大きくなる傾向にあるかもしれません。​​​※A lunar distance, 384402 km, is the Moon's average distance to Earth. The actual distance varies over the course of its orbit. (WIKIPEDIAから)▼NASAは、NEO（Near Earth Object）を観測していますが、その情報が「CNEOS」というページにあります。　CNEOS is NASA's center for computing asteroid and comet orbits and their odds of Earth impact.​【2019/8/2追加グラフ（アニメーションGIF）】　NASAの「CNEOS」というサイトからダウンロードしたデータを基に、Microsoft Power BIで散布図を作成しました。​　2010年以降に、0.5LD以下の距離まで接近したNEOについての散布図です。各年の散布図をアニメーションGIFにしています。左側にあるNEOほど、地球の近くまで接近したことになります。　縦軸がNEOの大きさの推計値（下限値）、横軸が地球への接近距離（0.5LD以下）、円の大きさはNEOの大きさの推計値（下限値）を反映しています。　　近年、20ｍ以下のNEOがたくさん発見されているようです。次々に新しいNEOが発見されているようですが、まだ発見されていないNEOがたくさんある、ということがその背景にあるのだと思います。　「2019 OK」のように、50ｍ以上の大きさのものであっても、地球に接近する直前にしか発見できなかったということなので、20～30メートル級のNEOが突然、地球に落下するということはあり得るようです。　なお、2013年２月にロシアのチェリャビンスク州に落下した隕石の大きさには、いろいろな推計値があるようですが、大きめの推計値では「15～25ｍ」というものがあるようです。＜アニメーションGIFのデータの出典：https://cneos.jpl.nasa.gov/ca/＞☆関連記事​▼地球をかすめた小惑星「2019 OK」は、0.2LD以下の距離に接近したNEOの中で過去最大だったようです：NASAの１万３千件以上のNEOデータから​​▼小惑星「2019 OK」は、過去３年間に0.2LD以下まで地球に接近したNEOの中でも最大でした：NASAのNEOデータをPower BIで分析してみました ​​​​​​

  2019.07.27

  コメント(0)

全577件 (577件中 551-577件目)

< 1 ... 7 8 9 10 11 12