|
|
|
2020.02.09
テーマ：パソコンを楽しむ♪(3582)
カテゴリ：データ分析
新型コロナウイルスの感染者のデータをグラフ化したりしていますが、Kaggleのバージョン７のデータ（CSV形式のファイル）を用いています。データ更新頻度がそれほど頻繁ではないため、Johns Hopkins CSSEのデータシート（グーグルスプレッドシート：ダッシュボードの下の部分にリンクあり【※データの場所はGitHubに変更になりました】）のデータを取り込んで継ぎ足して利用してます。Kaggleのバージョン７のデータもJohns Hopkins CSSEのデータシートが元になっています。
 【データ更新についての雑感】 Johns Hopkins CSSEのデータシート（グーグルスプレッドシート）からデータをコピーした際に、「Last Update」の変数の日付がうまくコピーされず、はまってしまいました。２月の日付は、日付の年と月がデタラメになってしまいます。Excelには、強力な「日付への変換機能」が備わっています。「文字列」として読み込むこともできませんでした。 結局、Excelのパワークエリで「Webからのデータ取得」の形でデータを抽出させていただきました。この場合も、２番目のタブから抽出する方法が、最初はわからなくて、はまってしまいました。スプレッドシートのURLの後ろの方の文字列の一部を「export?format=xlsx」に置き換えることによって、グーグルスプレッドシートのタブを選べるようになることがわかるまで時間がかかりました。 別の方法として、自分のグーグルのスプレッドシートのA1セルに、Johns Hopkins CSSEのデータシートのURLを入れて、B1セルなどに関数「=ImportHTML(A1,"table",n)」を入れることによって、n番目のタブのデータを抽出できるのですが、この場合も日付がうまくコピーされません。グーグルのスプレッドシートにも強力な「日付変換機能」が備わっているようです。 「Last Update」の日付を使わないのであれば、「=ImportHTML(URL,"table",ｎ)」の方法も簡単でいいと思います。今のところ、「Last Update」の日付の用途が思いつかないので、この方法でもよかったのですが、何か気持ちが悪いので、Excelのパワークエリを使ってデータを抽出しました。 パワークエリでは、問題なく「Last Update」の日付データを読み込めました。パワークエリは、Excelのシートと一線を画していることがはっきりとわかります。ただし、データ型を日付にしたりすると、おかしくなってしまいます。 その後、Rの「gsheet」パッケージを使えば、Excelを利用しないですむことに気づきました。 この方法だと、グーグルのスプレッドシートの新データをRに直接読み込めるので、後はRで変数を追加してから、既存のKaggleのデータと結合すれば済みます。一度、コード化すれば、一瞬でデータ更新が終了します。データ入手から、前処理、グラフ作成まで、すべて「R」で完結させることができました。 その後、Johns Hopkins CSSEの時系列の数表シートからもデータを読みこうもうとしましたが、「gsheet」の場合はトップのシート以外の読み込みができませんでした。そこで、「googlesheets4」パッケージをインストールして、「GSTD <- read_sheet(URL,3)」としたところ、３番目のタブの「Death」のデータをRに読み込むことができました。 グーグルのImportHTML関数やパワークエリを使う方法では、変数名が日付の部分がおかしくなったり、空白行ができたりしますが、Rのread_sheet（）関数を使う方法では下記の２行のコードで３番目のタブのシートを問題なく読み込めているようです。Rにダイレクトに読み込めるのは便利です。 URL <- ”https・・・グーグルのスプレッドシートのURL・・・” cordata <- read_sheet(URL,3) その後、Johns Hopkins CSSEのデータシート（グーグルスプレッドシート）のデータの保存先は、GitHubに変更になりました。グーグルのスプレッドシートは利用できなくなります。とにかく、データの公開は継続なのでよかったです。２月10日現在で、すでにデータがGitHubにあります。 ということで、データを読み込むためのコードは、下記のようになります。 URL <- ”https・・・GitHubのCSVファイルのURL・・・” cordata <- read.csv( text= URL,header=T) 今回のデータ取得について、すぐれていると思うのは、「Rのread_sheet（）関数」、「パワークエリ」、「ImportHTML関数」の順です。 元データがグーグルのシートなのに、ImportHTML関数できれいに読み込めなかったのは意外でした。「日付」の問題が影響しているのは、グーグルシート、パワークエリとも共通しているようです。 いずれにしても、CSVファイルとグーグルシートからのデータ読み込みなので、Exccelを一切使わない方法でグラフ作成ができました。 Exccelのパワークエリは、強力なデータ前処理機能を備えていますが、少なくとも、今回のデータ処理では、Exccelを使った方が簡単になる、ということはありませんでした。 一度しかしない処理やパワークエリの方が簡単になる処理は、Excelを利用した方がいい場合がありますが、繰り返しの処理ではRのコードはかなり便利だと思います。 Rのコードでの前処理は、何か特別なことをしている訳ではありません。単に、Excelのシートで関数を使ったり、コピペしたりしてデータの前処理をしていたことをRのコードで置き換えているようなものです。中には、Excelのシートで処理した方が速く、簡単にできることも多いと思います。 しかし、Excelのシートでの処理は、例えば、１週間後、１カ月後、1年後に再現できるかというと、かなり難しいと思います。まして、他人に処理内容を伝える必要があるとすると、詳細なメモの作成が必須になります。 Rのコードでの処理は、誰が実行しても、即時に同じ結果を得られるので、特に、繰り返すことがある処理については、Excelでの処理よりもはるかに優れた方法だと思います。RPAも同様の目的のものだと思われますが、Rは無料で導入できます。 頻繁なコピペや関数処理をExcelシート上で行うことは、データの誤入力、誤消去の可能性が高いので、可能な限りしたくなくなりました。  ↓今回のグラフ作成では、下記のJohns Hopkins CSSEとKaggleのサイトのデータを用いています。データファイル作成者に感謝します。
 ↓Kaggleのデータの出所のサイトです。マップがメインのダッシュボードです  ↓感染者数などのデータがまとまっています。新しい情報も速く反映されているようです。  ↓WHOのサイトでも、感染者数、地域などの「Situation Report」が日々更新されています。関心がある場合は、一日に一度見るといいのではないかと思います。  ↓「潜伏期間」「基本再生産数 R0」などを推定している研究論文です。   -----------------------------------------------------------------   ------------------------------------------------------ 新型コロナウイルス（2019-novel coronavirus）対策もインフルエンザ対策と同じで、手洗い、うがい、マスク着用（咳エチケット）などが対策になるようです。
------------------------------------------------------ ★おすすめの記事 ◆インフルエンザの流行が始まったようです：今年は流行の始まりが早いようです   ◆Netflixの４半期決算報告で紹介されている作品は？：決算報告資料は、Netflixの話題作を探す一つの手段です ◆Netflix (NFLX)の第３四半期決算発表で、NFLXの株価上昇:１株利益が予想を上回る：「ストレンジャー・シングス」効果？で有料会員数の増加数は前年同期を上回る   ◆How Windows Sonic looks like.：Windows Sonic for Headphonesの音声と２chステレオ音声の比較：7.1.2chテストトーンの比較で明らかになった違い：一目で違いがわかりました   ---------------------------------------------------------------------------------------------------------- お気に入りの記事を「いいね！」で応援しよう
Last updated
2020.02.10 15:31:35
コメント(0) | コメントを書く
[データ分析] カテゴリの最新記事
|
|
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/19da8856.a06d438a.19da8857.6d009568/?me_id=1254471&item_id=10049842&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fsundrug%2Fcabinet%2F09soap%2F4906156801750.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fsundrug%2Fcabinet%2F09soap%2F4906156801750.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/19af0058.5787cac1.19af0059.46cea726/?me_id=1298616&item_id=10708652&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fat-life%2Fcabinet%2Fyy%2F4987286415420.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fat-life%2Fcabinet%2Fyy%2F4987286415420.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/19dbf6a7.734f9ebc.19dbf6a8.5fb66104/?me_id=1277627&item_id=16318174&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Ftukishimado%2Fcabinet%2Faso2018%2Fr0048%2Faso8-6219-03.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Ftukishimado%2Fcabinet%2Faso2018%2Fr0048%2Faso8-6219-03.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/19aef934.40692032.19aef935.2ef5c125/?me_id=1264824&item_id=10055124&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fesco-corp%2Fcabinet%2Fyazawa03%2F10004955_1.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fesco-corp%2Fcabinet%2Fyazawa03%2F10004955_1.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/19af0536.9ae96938.19af0537.f23df450/?me_id=1110149&item_id=10000349&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fnagamine%2Fcabinet%2F06708920%2Fimgrc0078074551.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fnagamine%2Fcabinet%2F06708920%2Fimgrc0078074551.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/18c0ef7b.29d9c933.18c0ef7c.8027a100/?me_id=1269553&item_id=12659396&m=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbiccamera%2Fcabinet%2Fproduct%2F4545%2F00000006996696_a01.jpg%3F_ex%3D80x80&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbiccamera%2Fcabinet%2Fproduct%2F4545%2F00000006996696_a01.jpg%3F_ex%3D240x240&s=240x240&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
