Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić.
Wspomniany filmik to
Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs.
Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz – w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj.
Dodatkowo instalujemy pakiet RGoogleAnalytics:
|
1 |
devtools::install_github("Tatvic/RGoogleAnalytics") |
Uzbrojeni w narzędzia zaczynamy od wczytania potrzebnych bibliotek:
|
1 2 3 |
library(tidyverse) library(lubridate) library(RGoogleAnalytics) |
Następny krok to autoryzacja w Google API:
|
1 2 3 4 |
oauth_token <- Auth(client.id = "TWOJ_CLIENT_ID", client.secret = "TWOJ_SECRET_ID") ValidateToken(oauth_token) |
Zostaniemy poproszeni o autoryzację w Google (w przeglądarce). Dobrze też zezwolić na zapisanie danych w pliku .httr-oauth, wówczas kolejnym razem autoryzacja przez przeglądarkę nie będzie potrzebna.
Aby pobrać dane musimy określić czego chcemy:
|
1 2 3 4 5 6 7 8 9 |
query.list <- Init(start.date = "2017-01-01", end.date = "2017-08-31", dimensions = "ga:date,ga:hour,ga:pageTitle,ga:source", metrics = "ga:pageviews", max.results = 20000, table.id = "ga:ID_STRONY") ga.query <- QueryBuilder(query.list) ga.data <- GetReportData(ga.query, oauth_token) |
Wymiarów (Dimensions) może być do 7 jednocześnie, metryk – do 10. Wszystkie znaleźć można na stronie googlowej dla developerów
Uwaga – potrzebne jest ID strony w ramach Google Analitycs (wyżej określone jako ID_STRONY). Numerek ten znaleźć można w ustawieniach stron w ramach GA – jest w kolumnie “Views” przy wybieraniu strony albo po literce p w URLu jaki widać w ramach przechodzenia przez kolejne strony GA.
W tabeli ga.data mamy interesujące nas dane. Poeksperymentujcie z wartościami dla metric i dimensions. Na tym kończymy zabawę z Google Analitycs, gdyż cel mamy inny.
Jeden z moich postów trafił w kwietniu na tak zwany wykop-efekt: dużą ilość odwiedzin pochodzących z serwisu Wykop.pl. To mocno zaburzy efekt, tak więc w danych pozbywamy się tego – odsiewam informacje o ruchu na tym konkretnym poście pochodzące z Wykopu.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
# przyjazna forma daty ga.data$date <- ymd(ga.data$date) ga.data$datetime <- make_datetime(year(ga.data$date), month(ga.data$date), day(ga.data$date), ga.data$hour) plot_data <- ga.data %>% # bez postu rekordowego (wykop-effect) mutate(wykop = (source == "wykop.pl" & pageTitle == "Ceny mieszkań do wynajęcia | Łukasz Prokulski")) %>% filter(!wykop) %>% select(datetime, pageTitle, pageviews) %>% # sumujemy wszystkie page views - interesuje nas cały ruch, a nie podział po jego źródle group_by(pageTitle, datetime) %>% summarise(pageviews = sum(pageviews)) %>% ungroup() %>% group_by(pageTitle) %>% arrange(datetime) %>% mutate(PV = cumsum(pageviews)) %>% # skumulowana liczba page views mutate(totalPV = sum(pageviews)) %>% # całkowita liczba page views - na potrzeby znalezienia najpopularniejszych ungroup() %>% # dla czytelności wykresów: # tylko połowa najpopularniejszych stron filter(totalPV >= quantile(totalPV, 0.5)) %>% # uposzczenie tytułu strony mutate(pageTitle = gsub(" | Łukasz Prokulski", "", pageTitle, fixed=TRUE)) |
Tak przygotowane dane możemy już rysować. Idea jest prosta: dla każdej kolejnej jednostki czasu rysujemy wykres, a następnie te wykresy łączymy w animację.
Wcześniej jednak (w przypadku tych akurat danych) potrzebujemy znać liczbę wszystkich kategorii (w tym przypadku stron) dla których mamy dane. Potrzebne jest to, aby pozycje na wykresie dla danej kategorii były zawsze w tym samym miejscu, nawet jeśli nie posiadają danych (w naszym przypadku w na przykład kwietniu danych nie posiadają posty publikowane w czerwcu).
Jeśli dla każdej kategorii w każdej jednostce czasu mamy wartości to ten zabieg jest zbędny. Na przykład jeśli są to dane o liczbie urodzin w poszczególnych krajach w kolejnych latach (początkowo chciałem właśnie to pokazać dla polskich województw, ale w GUSie dane są dla kilkudziesięciu lat – animacja byłaby 1-2 sekundowa), albo właśnie o temperaturze – tak jak na filmie, na którym się wzorujemy (w tym przypadku są to odchyłki od średniej, a nie sama temperatura).
|
1 2 3 4 5 6 7 8 |
# tabelka wszystkich stron - żeby na wykresie były zawsze te same pozycje (wszystkie kategorie) all_pages <- tibble(pageTitle = unique(plot_data$pageTitle), PV_zero = 0) # liczba tych stron nlabels <- nrow(all_pages) # wszystkie unikatowe daty, w kolejności rosnącej times <- sort(unique(plot_data$datetime)) |
Teraz już wystarczy przejść dzień po dniu, godzina po godzinie dane i zapisać stosowne wykresy na dysku:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
# dla każdego dnia: for(i in 1:length(times)) { d <- times[i] # tabelka danych dla konkretnego dnia plot_data_tmp <- plot_data %>% select(pageTitle, datetime, PV) %>% filter(datetime <= d) %>% group_by(pageTitle) %>% filter(PV == max(PV)) %>% ungroup() %>% # dodajemy strony, których nie odwiedzono tego dnia z PV = 0 full_join(all_pages, by = "pageTitle") %>% mutate(datetime = d) %>% mutate(PV = ifelse(is.na(PV), PV_zero, PV)) # wykres dla konkretnego dnia plot <- plot_data_tmp %>% ggplot() + geom_bar(aes(pageTitle, PV, fill = pageTitle), stat = "identity", color="black", show.legend = FALSE) + # to jest istota - zamiana na radialny układ współrzędnych coord_polar() + # żeby skala dla każdego dnia była taka sama: ylim(0, max(plot_data$totalPV)) + labs(title = format(as.POSIXct(d, origin="1970-01-01"), format = "%Y-%m-%d, %H:%M"), x ="", y = "") + # czary-mary z obracaniem podpisów osi :) theme(axis.text.x = element_text(angle = 360/(2*pi)*rev(pi/2 + seq(pi/nlabels, 2*pi-pi/nlabels, len=nlabels)), size = 9), axis.text.y = element_blank()) # zapisujemy wykres ggsave(plot, filename = paste0("pics/", sprintf("%04d", i), ".png"), width = 16, height = 9, units = "in", dpi = 90) } |
I to wszystko. Teraz wystarczy złączyć poszczególne klatki animacji (opisałem to w poście o tym jak jeżdżą warszawskie tramwaje). Wynik możecie podziwiać poniżej:
Wiele się tutaj nie dzieje, ale to już charakter danych. Dla ciekawskich – napopularniejsze posty zaprezentowane wyżej to:
- niebieskie: Praca redakcji informacyjnych na Facebooku
- czerwone: Ceny mieszkań na wynajęcia
- fioletowe: Sejm RP VIII kadencji
- zielone to strona główna
Cała wizualizacja polega na wygięciu w koło zwykłego wykresu słupkowego, co w pakiecie ggplot2 zapewnia coord_polar(). Atrakcyjność animacji to dobranie odpowiednich kolorów i przede wszystkim ciekawych danych.
Pingback: Facebook w R | Łukasz Prokulski