Statystyki on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2022-10-24

Mon, 24 Oct 2022 15:00:00 +0000

Dzisiejsze wydanie newslettera skupia się na szeregach czasowych. Szeregiem czasowym jest pewnie jakieś 60% danych, na pewno wszystkie zmieniające się w czasie. Tak więc liczba klientów w sklepie (albo stronie internetowej), wynik pomiarów z jakiegoś czujnika (temperatura) itd itp - wszystko to układa się w szeregi czasowe.

A takie szeregi pozwalają na przewidywanie przyszłości. Czasem jest to łatwe, czasem trudne (giełda to też w zasadzie szereg czasowy, a przewidywanie nie jest takie oczywiste). I trochę o tym dzisiaj.

Newsletter Dane i Analizy, 2021-07-31

Sat, 31 Jul 2021 09:00:00 +0000

How to Model Time Between Events Using the Exponential, Gamma, and Poisson Distributions
How to model time-to-event and ‘time between events’ on real data using the Exponential Family to optimize returns of time driven investments. Screenshots from within the article. Usually, when we have time as a variable on a dataset, we can model other variables reflected in time itself, whether we apply Time Series Analysis or just use time to cut our data and apply continual ML or S tate Space (…)

Newsletter Dane i Analizy, 2021-06-14

Mon, 14 Jun 2021 09:00:00 +0000

Raspberry Pi Gardening: Monitoring a Vegetable Garden using a Raspberry Pi - Part 1
On how growing vegetables is more complicated how it looks, why bad soldering still works, on moving individual bits around, and what I learned about using technology where one probably does not need technology.

Air Piano using OpenCV and Python
Play the piano by just moving your fingers in the air! Taken from Unsplash My inspiration to make an “Air Piano” Recently I visited my cousin and she had been trying to learn piano for quite some time. However, due to the pandemic, her teacher could not come home and they were practising through (…)

Kategoryzacja użytkowników strony www

Tue, 02 Oct 2018 09:50:33 +0000

Jak podzielić użytkowników strony internetowej na grupy? Korzystając tylko ze statystyk ruchu. W poprzedniej części dowiedzieliśmy się jak skorzystać z danych z Google Analytics w R. Pod koniec wpisu podałem linki do postów, które opisują jak dodać unikalne ID użytkownika wchodzącego na stronę. Dzisiaj zajmiemy się próbą przypisania każdego z użytkowników do jakiejś grupy. Kategoryzacja klientów to jedno z podstawowych działań w biznesie. Dlaczego? Możemy zechcieć coś innego pokazać na naszej stronie różnym grupom klientów. Albo - jeśli mamy na przykład maile (z zapisów na newsletter) wysłać inne treści. Znajomość klientów i ich zachowań to podstawa. Spróbujemy na podstawie posiadanych danych określić grupy klientów. Tymi danymi mogą być odwiedziny na stronie WWW albo wyświetlenie reklamy w aplikacji w telefonie, zakupy w rzeczywistym sklepie, udział w jakimś wydarzeniu (na przykład pójście do kina). Zwróćcie uwagę, że w każdym z wymienionych przypadków wiemy zazwyczaj nieco więcej:

Kalendarz z Policją

Sat, 14 Oct 2017 09:54:47 +0000

W jednym z ostatnich odcinków “Ucha prezesa” było coś o tym, że teraz rząd ma mówić o tym, że jest bezpiecznie (zamiast “Przez osiem lat Polki i Polacy…”). Sprawdzimy zatem bezpieczeństwo na polskich drogach. Ale punktem wyjścia będzie specyficzny sposób pokazania danych dziennych.

Widok kalendarza

Dane dzienne (takie, które mają jedną wartość dla każdego dnia - na przykład średnia temperatura, liczba osób robiących zakupy w sklepie) można pokazać na różne sposoby. Można pokazać je jako wykres punktowy (lub liniowy, kiedy punkty są połączone) - wówczas widać na przykład “falkę” (o ile są cykliczne, na przykład w weekendy jest mniej kupujących niż w tygodniu). Można policzyć średnie (lub zastosować inne miary agregujące) dla każdego dnia tygodnia i wykorzystać najprostszy (i często najlepszy) wykres słupkowy. A można pokazać to samo w formie swego rodzaju heat-mapy rozpiętej na kalendarzu. Wykres taki ma sens jeśli chcemy pokazać, że w danym dniu tygodnia (i być może poszczególnych tygodniach roku) coś odbiega od normy z całego tygodnia (albo innych miesięcy). Czyli przykładowe weekendy są inne niż dni od poniedziałku do piątku. Jeśli interesują Cię tylko wyniki przeglądu statystyk policyjnych - przejdź do analizy.

Jak nauczyć się R? Co czytać?

Wed, 30 Aug 2017 14:09:36 +0000

W listach pytacie o źródła wiedzy dotyczącej R. Dzisiaj kilka linków. Na początek agregaty, które mogą okazać się wystarczające:

R Bloggers - platforma zbierająca treści z wielu blogów
Revolution Analytics
Data Science Central - platforma blogowa dla dłubiących w BigData

Warto śledzić też blogi poszczególnych osób:

Julia Silge to współautorka pakietu tidytext (i jednocześnie data scientist w Stack Overflow)
Variance Explained - blog drugiego współautora tidytext
blog Maëlle Salmon, który kiedyś dodałem do RSSów (trafiłem pewnie w poszukiwaniach czegoś konkretnego albo z r-bloggers)

Jednym z lepszych miejsc jest cała domena związana z RStudio i poszczególne jej subdomeny, przede wszystkim blog RStudio oraz RViews. W ramach RStudio znajdziecie też dużo informacji o poszczególnych pakietach - strona zbiorcza jest tutaj. Z polskich blogów szczególnie polecam dwa:

Zmiany temperatury w czasie - animowany wykres kołowy

Thu, 10 Aug 2017 08:12:44 +0000

Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić. Wspomniany filmik to

Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs. Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz - w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj. Dodatkowo instalujemy pakiet RGoogleAnalytics:

Multibank ruszył z kampanią wizerunkową

Sun, 06 May 2007 14:49:19 +0000

Od pierwszego maja w mieście widać billboardy z reklamami Multibanku. Kreacje są proste: wielki czerwony prostokąt z dwoma linijkami tekstu. Wszystkie kreacje znajdziecie na stronach Multibanku. Od 7 maja ma ruszyć kampania w telewizji – według informacji prasowej właściwie w każdej stacji telewizyjnej pojawią się spoty (są dwa – o książkach i o jazzie). Kampania skierowana jest do segmentu Mass Affluent, czyli „klientów masowo zamożnych” – w Polsce przyjmuje się za takie osoby o dochodach 5 tysięcy miesięcznie. Według różnych szacunków w Polsce jest to od 350 do 500 tysięcy osób, a roczny wzrost segmentu kształtuje się na poziomie 4-5%. Moje zdanie na temat tej kampanii jest krytyczne. Duży format niczego nie mówi, do niczego nie zachęca, a chociażby adres strony Multibanku (i logo) są za małe. Poza tym w dwóch egzekucjach jest ta sama pointa („U na ta mniejszość to większość”), co sprawia wrażenie, że agencji (BBDO Warszawa) zabrakło pomysłu. Dodatkowo w jednym przypadku znalazłem poważny błąd – reklama mówi, że co 20-ty Polak przekazuje 1% podatku na organizacje dobroczynne, co spointowane jest „W tym trzy czwarte naszych Klientów”. Zrobiłem małe badanie focusowe ;) i wychodzi na to, że wszyscy rozumieją to tak, jakby te 3/4 z „co 20-tego Polaka” było klientem Multibanku. Oznaczałoby to ni mniej ni więcej tyle, że klientów jest około 900 tys. (jeśli płacących podatki jest 24 mln co wydaje mi się realną liczbą, wziętą ze statystyk Ministerstwa Finansów za 2005 rok). Jest to nieprawdą – wg FKF.pl jest ich około 340 tysięcy… coś jest jednak nie tak… Albo z moim liczeniem (i rozumieniem) albo z tą kreacją. Jeśli zaś chodzi o spoty telewizyjne – nikt z osób, które spoty już widziały nie zwrócił uwagi na ilość pojawiających się na ekranie osób… Spot „książkowy” podoba mi się bardzo pod względem plastycznym i byłby świetny gdyby chodziło o kampanię społeczną na temat czytania książek; jednak jako reklama banku do mnie nie przemawia…

Statystyki

Tue, 01 Aug 2006 19:27:35 +0000

Do tej pory nie publikowałem statystyk oglądalności mojej strony (patrząc na nią jako dwie osobne - blog i www). No to opublikujmy :) Oto wykresiki:

Czy to dużo, czy to mało - nie mnie oceniać. Jeśli chcesz to jakoś skomentować - zapraszam.

Nowa praca i nowe miasto

Tue, 26 Jul 2005 21:26:13 +0000

Od prawie trzech tygodni pracuję w nowym miejscu. I to nie tylko w “nowym zakładzie pracy” tudzież w “nowej firmie”, ale całkowicie w innym miejscu. Zmieniłem z dniem 4 lipca (heh… może to zbieg okoliczności, ale tak na prawdę w tym momencie właśnie zauważyłem, że to właśnie 4 lipca! A nie tak dawno oglądałem po raz kolejny Born on the 4th of July, ale mniejsza o to) miejsce zamieszkania, a nieco później zacząłem pracę w centrali pewnego banku. I teraz już nie mieszkam w moim ukochanym Krakowie, a w Warszawie… Na razie tylko “Warszawie” - bez żadnych epitetów. Czy lepiej? Jeśli chodzi o pracę to na pewno - jestem osobą odpowiedzialną (przede wszystkim) za treści ukazujące się na stronach portalu tegoż Bardzo Wielkiego Banku ;) oraz za kilka innych spraw (ostatnie dwa dni w pracy to - nie licząc pomniejszych spraw - analiza rocznych statystyk portalu; wcześniej przygotowanie nowego layouty newslettera). Podoba mi się. Podoba mi się praca, to co mam do roboty i jak to wygląda; podoba mi się wiedza którą już zdobywam i cała ta wiedza, która jeszcze przede mną. A sporo jej. Czy lepiej, jeśli chodzi o miasto? Jeszcze nie wiem. Od 4 lipca nie wyjechałem z Warszawy (nie licząc jakiegoś drobnego popołudnia nad jeziorem). Nie czuję się tutaj tak swobodnie jak czułem się w Krakowie (no, ale w Krakowie mieszkałem w sumie dziewięć lat), ale nie czuję się też specjalnie wyobcowany. Może dlatego, że mam się z kim spotkać? Może dlatego, że poza pracą i kilkoma osobami tak na prawdę nie bywam w mieście? Nie chodzę po klubach, nie rozmawiam z ludźmi? Może po prostu jeszcze się nie oswoiłem… Sam nie wiem, trochę też nie ma na to czasu. Nie ciągnie mnie za bardzo do Krakowa (ale do ludzi, którzy w Krakowie zostali jak najbardziej - to dwie różne sprawy) - bardziej ciągnie mnie do zwiedzania Warszawy i poznawania jej. Tak po prostu chodzenia po niej, poruszania się i poznawania. Ulic, placów, parków, knajp i pubów.