Wizualizacja on Łukasz Prokulski, Dane i Analizy

Lokalne AI, optymalizacja Kafki i analiza 50 tysięcy profili randkowych

Mon, 16 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu łączymy praktyczne podejście do AI z fundamentami inżynierii danych. Zaczynamy od narzędzi agentowych – customizacji Claude Code dla Pythona (gdzie język jest przykładem - to samo można zrobić chociażby dla Javy) i OpenClaw jako lokalnego asystenta AI z pełną kontrolą nad danymi.

W sekcji ML znajdziecie automatyzację audytu katalogów z użyciem XGBoost, wprowadzenie do PyCaret (taka biblioteka auto-ml dla Pythona) oraz semantyczne wyszukiwanie obrazów łączące Gemini z Elasticsearch.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

Kafka jest szybka, ale użyję Postgres

Mon, 03 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się rozwiązaniom praktycznym z kilku kluczowych obszarów analizy i przetwarzania danych. Zaczynamy od fuzzy string matching i technik dopasowywania niedoskonałych tekstów, przechodzimy przez architekturę pipeline’ów ETL opartych na open source, aż po szczegóły integracji Kafka, Flink i Spark w systemach streamingowych.

W sekcji Python znajdziesz porównanie nowości w wersjach 3.13 i 3.14, kompleksowy przewodnik (a nawet dwa, aby niejako dopełnić wiedzę) po Pydantic oraz praktyczne wzorce projektowe dla FastAPI. Nie zabraknie też tematów związanych z optymalizacją PostgreSQL w aplikacjach czasu rzeczywistego, zarządzaniem kosztami w chmurze AWS oraz głęboko partycjonowanymi danymi w Apache Spark.

Newsletter Dane i Analizy, 2025-04-28

Mon, 28 Apr 2025 15:00:00 +0000

W tym tygodniu mam dla was wybuchową mieszankę materiałów - od głębokiego uczenia maszynowego i tutoriala pisania własnych RAGów, przez wizualizację danych geolokalizacyjnych, po optymalizację dashboardów.

Szczególnie chciałbym zwrócić waszą uwagę na serię artykułów poświęconych Apache Airflow i Kafce - dwa narzędzia, które stały się nieodłącznym elementem nowoczesnych potoków danych. Znajdziecie dzisiaj zarówno wprowadzenie do zmian wdrożonych w Airflow w wersji 3.0, jak i praktyczne informacje o tym jak pisać wydajne DAGi.

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-03-03

Mon, 03 Mar 2025 15:00:00 +0000

Kto, w podziale na grupy zawodowe, używa najwięcej AI? Ciekawa wizualizacja na ten temat, oparta na zapytaniach do Claude. Spoiler: 37.2% zapytań dotyczy komputerów i matematyki (w tym rozwoju oprogramowania), co raczej nie dziwi.

Zastanawiałeś się kiedyś nad przejściem z SQL na NoSQL? Artykuł “I Dropped SQL for NoSQL” opisuje, jak taka zmiana wpłynęła na wydajność aplikacji, obsługując pięciokrotnie większy ruch i dziesięciokrotnie szybsze zapytania. Jeśli jednak wolisz pozostać przy SQL, “3 Foundational Principles for Writing Efficient SQL” przypomina o podstawowych zasadach, które pomogą Ci pisać wydajne i czytelne zapytania.

Newsletter Dane i Analizy, 2024-12-02

Mon, 02 Dec 2024 15:00:00 +0000

Motywem przewodnim w dzisiejszym odcinku jest API. Jakich frameworków użyć (w Pythonie), czym od siebie się różnią? A może websocket?

Podobnie mamy w sekcji z praktycznymi projektami z zakresu analizy danych (nie zawsze tam o samą analizę chodzi - czasem bardziej o uczenie maszynowe niż analizowanie w rozumieniu tzw. EDA): wykrywanie wartości odstających w zbiorach.

Co tydzień przedstawiamy tutaj kilka projektów wykorzystujących analizę danych, machine learning czy też AI. Zamiast czekać kilkanaście tygodni (i liczyć że temat, który Cię interesuje się pojawi) możesz zerknąć na stronę gdzie zgromadzono ponad 65 (może i 69, a więc prawie 70!) przykładowych projektów razem z kodem źródłowym. Boot-camp z ML? Niepotrzebny! Wystarczą te projekty… oraz porządne doczytanie dlaczego tak a nie inaczej zrobiono to czy tamto.

Newsletter Dane i Analizy, 2024-10-07

Mon, 07 Oct 2024 15:00:00 +0000

Dzisiaj w newsletterze mały eksperyment. Być może każdego tygodnia Ty, jako odbiorca tego maila, cierpisz na nadmiar materiału, klęskę urodzaju. Jest tyle (zwykle około 20-25) tekstów, każdy chciałoby się przeczytać (wierzę w to… nawinie?), ale w sumie otwierasz te kilkanaście zakładek i nie czytasz niczego. Bo za dużo, bo po angielsku (hint: wtyczka Google Translate do Chrome daje radę, serio - chociażby po to, żeby przeskanować tekst na szybko, czytać lepiej w oryginale - chociażby nazwy zmiennych nie są wówczas tłumaczone). Zatem jak w dobrej restauracji: krótkie menu oznacza większą selekcję.

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2023-12-18

Mon, 18 Dec 2023 15:00:00 +0000

Witam w najprawdopodobniej ostatnim numerze newslettera w tym roku. W przyszłym tygodniu mamy Boże Narodzenie, w kolejnym Nowy Rok - to raczej nie są momenty na przygotowywanie paczki artykułów o ML czy programowaniu ogólnie, raczej czas który lepiej poświęcić rodzinie, najbliższym albo najzwyczajniej odpoczynkowi od komputera.

Korzystając więc z okazji że “czytamy się” ostatni raz w tym roku chciałbym Wam życzyć tego co najlepsze, a przede wszystkim spokoju i odpoczynku. A już od stycznia - nowych projektów, nowej wiedzy, zdobywania kolejnych umiejętności.

Newsletter Dane i Analizy, 2023-08-14

Tue, 08 Aug 2023 00:00:00 +0000

Na początek tutorial (YT, 30 minut, po polsku), tym razem z LLMami w roli głównej - o tym jak zbudować chatbota odpowiadającego na pytania z własnej bazy wiedzy. Bardzo fajny materiał, takich trochę brakuje - chłopaki opowiadają o tych najbardziej kluczowych kawałkach kodu a nie o podstawach. Rozumiesz o czym jest mowa, nie ma straty czasu na opowiadanie co do jest model albo funkcja w Pythonie ;-)

Dzisiaj też pelny proces MLOps - wprowadzenie zawierające wszystkie elementy. Super tekst na początek dla każdego DevOpsa który chce się zająć tematami ML oraz każdego data scientisty, który chce umieć nowocześnie wdrażać swoje modele.

Newsletter Dane i Analizy, 2023-07-24

Mon, 24 Jul 2023 15:00:00 +0000

Pisanie newsletterów (oraz postów na bloga) jest proste - robi się to mniej więcej tak:

Obrazek ten pochodzi z wpisu Robina Moffatta (polecam jeśli myślisz o pisaniu bloga lub pojedynczych tekstów o programowaniu, albo po prostu dokumentacji). Proces wygląda tak samo - czy są wakacje czy ich nie ma.

A że jestem w trakcie urlopu to pozwólcie, że dzisiaj na tym zakończymy wstęp.

#ai_ml

Using a Keras Tuner for Hyperparameter Tuning of a TensorFlow Model
Hyperband Tuner użyty do doboru najlepszych parametrów dla przygotowanego modelu opartego i sieć neuronową

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2023-03-20

Mon, 20 Mar 2023 15:00:00 +0000

Wiecie kto generuje najwięcej ruchu w internecie? Kiedyś to było porno i torrenty (albo inne sposoby wymiany plików peer-to-peer). Teraz układ wygląda jak na poniższym obrazku, przynajmniej według danych opublikowanych przez serwis Statista.

Dzisiaj bardzo dużo treści - oraz eksperyment - polskie tytuły (ale przeważnie angielskie teksty). Wśród tych tekstów sporo o Apache Spark i konkretnych wykorzystaniach albo rozwiązaniach konkretnych problemów.
Znajdziecie też kilka fajnych tekstów o różnego typu problemach rozwiązywanych przez analizę czy modele danych (rekomendacje w Netflixie, OHE i Pandas), gorąco polecam tekst o Apache Arrow.

Newsletter Dane i Analizy, 2022-09-05

Mon, 05 Sep 2022 15:00:00 +0000

Pod logiem Fundacji Apache aż roi się od projektów, a świat big data to pewnie w 90-95% Apache COŚ. Znamy Kafkę, znamy Apache Spark, Apache Hadoop. Dzisiaj przedstawiamy (w dziale BigData) kilkoro innych członków rodziny.

Jeśli zaś mamy dużo mapek do wyświetlenia naszym klientom na stronie (bo na przykład monitorujemy każdy wypożyczony rower, hulajnogę czy samochód i mamy miliony wejść na stronę dziennie) to w dziale DevOps coś o rozwiązaniu open soruce, które może zmniejszyć nasze koszty.

Newsletter Dane i Analizy, 2022-07-18

Mon, 18 Jul 2022 15:00:00 +0000

W tym tygodniu sporo materiałów związanych z przygotowywaniem modelu danych w bazie - to istotne zagadnienie, warto się chociaż trochę w temacie orientować jeśli projektujemy coś co ma dane przechować (i potem je przekazać dalej albo przekształcić).

Tak też wyszło, że zebrało się kilka zagadnień związanych z przetwarzaniem tekstu w Pythonie oraz przetwarzaniem (np. poprzez OCR) całych dokumentów.

#AI_ML

ML prediction on streaming data using Kafka Streams
Najsmaczniejsze kąski w przetwarzaniu danych w czasie rzeczywistym są właśnie takie - jest strumień danych, na nim działają jakieś modele machine learningowe i o czymś decydują. Tutaj dowiesz się jak to zbudować w kilku krokach

Newsletter Dane i Analizy, 2022-06-27

Mon, 27 Jun 2022 15:00:00 +0000

Gorąco… żar leje się z nieba, taka spiekota w mieście to piekło (niczym w Hydrozagadce).

Zatem gorące materiały: wyniki ankiety StackOverflow, którą osobiście traktuję jako wyznacznik tego jakie technologie są obecnie używane na rynku, czego warto się uczyć i co trzeba potrafić aby swobodnie zmieniać pracę. Pakiet materiałów od Krzyśka Sopyły do nauki ML oraz rozwiązanie konkretnych zagadnień takich jak pipeline dla danych ze Stravy.

Weźmiecie udział w pieszym rajdzie PPTK na odznakę nizinną? Nawet jeśli nie, pamiętajcie że dobrze jest łączyć przyjemne z pożytecznym!

Newsletter Dane i Analizy, 2022-05-16

Mon, 16 May 2022 15:00:00 +0000

Łączyłem kiedyś accesssowe VBA z R - da się, nawet spoko działa. A było to tak, że Access wypluwał dane do CSV - chyba za pośrednictwem Excela, nie pamiętam - potem R to mieliło i robiło wykres, który wstawiany był jako obrazek do raportu opartego na szablonie zrobionym w… VBA piszącym do Excela. Jak to cudo odziedziczyłem to przepisałem na Shiny produkujące PDFa z RMarkdowna i potrzebujący sobie sami te raporty robili, a nie czekali aż ja ręcznie te accessowe cuda odpalę (i zablokuję sobie komputer, bo przecież “raporty się generują”). O tym jak łączyć Excela z R czy Pythonem przeczytacie dzisiaj.

Newsletter Dane i Analizy, 2022-01-03

Mon, 03 Jan 2022 15:00:00 +0000

Dzisiaj kilka tematów “pokrytych” nie tylko jednym tekstem. Mamy więc coś o modelach BERT plus automatycznie tworzenie tekstów przez GPT-3, mamy wizualizacje danych na mapach (w R i Pythonie). Mamy też cykl, który pozwoli na napisanie bota do np. CS:GO.

Na blogu od dawna nie było nowego tekstu (stąd podlinkoway niżej tekst o GPT-3 ;), ale jakieś rzeczy robię i publikuję. Zwykle jest tak, że energia opada po przygotowaniu działającego kodu. Tak jest z serwowaniem obrazków przez API (przy okazji te obrazki się generują) - sami zobaczcie do repozytorium.

Newsletter Dane i Analizy, 2021-11-01

Mon, 01 Nov 2021 09:00:00 +0000

Beginner’s Guide to AutoML with an Easy AutoGluon Example
This article was published as a part of the Data Science Blogathon Machine Learning is popular and is being used everywhere for applications ranging from financial services to healthcare, marketing & advertising to manufacturing. Almost all industries seem to derive substantial benefit using some form of Machine Learning. Over the recent past, automation technology also […] The post (…)

Visualising Similarity Clusters with Interactive Graphs
Take advantage of Python, Plotly, and NetworkX to create interactive graphs to find similarity clusters Let us assume, as a running example, that my data is composed of word embeddings of the English language. I want to gain insights about the word distribution in the embedding space, specifically, if there are any clusters of very similar words, if there are words that are completely different (…)

Newsletter Dane i Analizy, 2021-10-23

Sat, 23 Oct 2021 09:00:00 +0000

Best front-end Python frameworks in 2021
Welcome back! Python is an awesome programming language with a ton of capability, one of these functions is building GUI’s (front-ends), so let’s talk about some of my favorite front-ends frameworks for Python. Now, Python is an awesome language for web development as well, if you want to see some sample websites you can build with Python, check out this article below: Let’s take a look at some (…)

Newsletter Dane i Analizy, 2021-10-18

Mon, 18 Oct 2021 09:00:00 +0000

The State Of Web Scraping in 2021 – Mihai’s Blog
Author: Mihai Avram | Date: 10/02/2021 The area of web scraping has really expanded in the last few years, and it helps to know some of the main frameworks, protocols, and etiquette so that you can build the next awesome Web Scraping tool to revolutionize our world! Or maybe just your local neighborhood, or workgroup – that’s fine too. In this post, we will cover. What is web scraping? What are (…)

Newsletter Dane i Analizy, 2021-09-27

Mon, 27 Sep 2021 09:00:00 +0000

t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python
Machine Learning t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python How to use t-Distributed Stochastic Neighbor Embedding (t-SNE) to visualize high-dimensionality data? t-SNE visualization with different perplexities. Gif image by author . Intro A successful data scientist understands a wide range of Machine Learning algorithms and can explain the results to (…)

Newsletter Dane i Analizy, 2021-09-20

Mon, 20 Sep 2021 09:00:00 +0000

VLOOKUP implementation in Python in three simple steps
Oftentimes, in the field of data analytics, it’s the data cleaning and processing that takes the most amount of time and effort. While the steps such as data cleaning, filtering, and pre-processing are generally under-evaluated or overlooked as compared to more juicy components such as the model development, it’s the quality of data that determines the quality of output. As it is rightly said, (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-08-16

Mon, 16 Aug 2021 09:00:00 +0000

5 Popular Machine Learning algorithms
Machine Learning Source: Image by GDJ on Pixabay A machine learning algorithm is conceptually similar to any other algorithm in computer science. An ML algorithm is a data-driven process that is used to create a production-ready machine learning model. If you consider machine learning to be a train for accomplishing a job, then machine learning models are the engines that push the train. The (…)

Newsletter Dane i Analizy, 2021-08-09

Mon, 09 Aug 2021 09:00:00 +0000

Multi Page Document Classification using NLP and ML
An approach to classify documents with different variations shapes, text and page sizes. Source: https://unsplash.com/photos/5cFwQ-WMcJU This article describes a novel Multi Page Document Classification solution approach, which leverages advanced machine learning and textual analytics to solve one of the major challenges in the Mortgage industry. Abstract Even in today’s technological era most of (…)

Introduction to Concurrency in Python
PYTHON | PROGRAMMING | CONCURRENCY A guide to speeding up Python code Back in 1965, Gordon Moore predicted that the number of transistors on microchips will double every two years[1]. This prediction is referred to as Moore’s Law. Moore’s Law also states that the price of computing hardware will also half every two years. Source: (…)

Newsletter Dane i Analizy, 2021-08-08

Sun, 08 Aug 2021 09:00:00 +0000

Newsletter Dane i Analizy, 2021-05-24

Mon, 24 May 2021 09:00:00 +0000

What Makes a Successful Machine Learning Engineer? My Story
You’ve been doing machine learning for quite a while, and you’re starting to notice that your workload throughout a project is not constant. There are highs, with tasks that require your full dedication, and lows, where you mostly supervise processes that you’ve previously launched. You can do a (…)

10 Tips to Cuztomize Text Color, Font, Size in ggplot2 with element_text()
ggplot2’s theme system give us a great control over how the “non-data” elements of a plot should look like. The theme system helps elevate the plot you make by making finer changes and make it easy to look better. ggplot2’s theme system comes with multiple element_ functions, element_text() (…)

Newsletter Dane i Analizy, 2021-05-14

Fri, 14 May 2021 09:00:00 +0000

A Modern Set-up for Python Package Development
From dependency management to quality assurance, documentation, and CI/CD

Create your first sales dashboard in Apache Superset
Superset dashboard tutorial. A step by step guide about how to use Apache Superset to create an interactive e-commerce sales dashboard to track enterprise KPIs. A free and open-source business intelligence tool to create interactive sales dashboard

Getting started with Elasticsearch 7 in Python
Learn the basics of Elasticsearch 7.x, its setup, and implementation in Python.

Analiza polskiego crowdfundingu na bazie Patronite.pl

Sun, 30 Aug 2020 15:45:49 +0000

Zebrałem informacje o ponad 1700 profilach na Patronite.pl - wiem ile zarabiają, ilu mają patronów i za co patroni płacą. Dzielę się tymi informacjami z Wami w - być może - największej analizie polskiego crowdfoundingu!

Patronite zgodnie z informacją na Wikipedii to założony w 2015 roku serwis wspomagający pozyskiwanie finansowania przez osoby twórcze. Podstawową formą działalności portalu jest pomoc w zdobywaniu comiesięcznego wsparcia od osób indywidualnych i instytucji.

Dla czystości tekstu pełny kod źródłowy znajdziecie w repozytorium

R-base, R-dplyr, R-data.table i Python

Wed, 23 May 2018 15:44:07 +0000

Podstawy manipulacji danymi w tabelkach. W R (trzy wersje) oraz w Pythonie. Bo to pierwszy post z cyklu idziemy w stronę Pythona. W dzisiejszym wpisie zajmiemy się podstawowymi operacjami na tabelach (data frame) z danymi. Dlaczego to jest ważne? Są to najczęściej wykonywane operacje w trakcie analizy danych, bo przecież:

dane trzeba wczytać do komputera
czasem zmodyfikować, na przykład policzyć wartość na podstawie dwóch lub więcej kolumn
wybrać określone wiersze lub określone kolumny
połączyć jedną tabelę z inną

Z tak przygotowanych danych można później na przykład narysować wykres czy też wrzucić je do modelu. I to jest wystarczające, na co dowodem jest pewnie z 70% moich wpisów z ostatnich 12 miesięcy (albo i więcej). Kolejne 20% wpisów to sposób pozyskania danych. 10% było pewnie o modelach wszelakich. Osobiście uważam, że w R nauczyłem się na tyle dużo, aby przejść na kolejny poziom. W pracy są to aplikacje w Shiny czy też panele w wykorzystaniem flexdashboard (znowu: w obu przypadkach 70% pracy to manipulacja danymi w tabelkach), ale ciągnie mnie do Pythona. Gdybym zaczynał przygodę z machine learning czy data science to wybrałbym Pythona. Jednocześnie mam nadzieję, że dla osób znających jeden z języków niniejszy wpis będzie ciekawym wprowadzeniem w drugi język. Jeśli chodzi o R to zobaczymy jak wykonać podstawowe operacje wykorzystując standardowe możliwości R (R-base), wykorzystując pakiety dplyr (wchodzący w skład ekosystemu tidyverse) oraz data.table. W przykładach dla Pythona będzie to pandas. Dlaczego data.table? Porównanie prędkości pokazuje, że dla bardzo dużych tabel data.table jest najszybszy. Zaczniemy od wczytania odpowiednich bibliotek. W R oczywiście:

Przewidywanie pogody

Thu, 12 Apr 2018 08:42:57 +0000

W poprzednim odcinku zebraliśmy dane o pogodzie w Polsce od 1951 roku. Dzisiaj przygotujemy prognozę pogody. Ale przede wszystkim nauczymy się weryfikować modele. Mając zgromadzone dane o pogodzie z ponad 60 lat (1951-2017) możemy pokusić się o prognozowanie temperatury w przyszłości. Wykorzystamy trzy (właściwie dwa) modele dostępne od ręki w popularnych bibliotekach R oraz zaprzęgniemy do prognozowania sieć neuronową. Zaczniemy od potrzebnych bibliotek:

library(tidyverse)
library(lubridate)
library(DBI) # pobieranie danych z bazy SQLite
library(forecast) # na potrzeby modeli ARIMA i ETS/STLF
library(keras) # na potrzeby LSTM w TensorFlow
library(corrgram) # wykres korelacji

Na początek pobieramy dane o średniej dziennej temperaturze wszystkich stacji w latach 2000-2016. Te dane potraktujemy jako dane treningowe. Dane z 2017 roku potraktujemy jako testowe.

2017 na blogu

Thu, 04 Jan 2018 13:40:32 +0000

Koniec jednego roku i początek drugiego to zazwyczaj czas różnych zestawień, podsumowań i planów. To podsumujmy 2017. Tym razem obędzie się bez kodów źródłowych, bo powtarzałbym posty o pobieraniu danych z Google Analytics (było o tym tu) i Facebooka (o tutaj było). Mam jednak nadzieję, że zainteresuje Was takie spojrzenie na analitykę strony - odrobinę szersze niż same odsłonki (chociaż oparte głównie o odsłonki). Tak się dobrze składa, że regularne pisanie (powrót do niego) zacząłem pod koniec lutego 2017 więc w sumie cała aktualna zawartość mieści się w 2017 roku. W sumie było to 58 postów (to częściej niż raz na tydzień). Najwięcej w marcu (9 postów), od sierpnia po 5 sztuk na miesiąc. Jeśli zaś chodzi o dni tygodnia - wygrywają ex aequo czwartek i piątek. Pierwszy wykres mówi nam kiedy (w jakich porach dnia) jest ruch na stronie. Każdy, kto chociaż raz analizował takie dane zna doskonale ten kształt: Zacznijmy od najpopularniejszych stron. Dane na wykresach i w tabelach poniżej będą prezentowane w postaci ścieżki do postu - dzięki temu zobaczymy zarówno datę jak i tytuł wpisu. Najpopularniejszym postem był ten o analizie cen wynajmowanych mieszkań z początku kwietnia. Popularność zrobiła się dzięki Wykopowi. Co ciekawe - wpisując w Google “mieszkanie do wynajęcia” trafić można na stronę Wykopu z linkiem do mojego postu. Wciąż mam kilka po kilka wejść dziennie na ten post. Swoją drogą kilka dni temu zrobiłem coś podobnego dla ogłoszeń dotyczących samochodów - może też opublikuję? Drugie miejsce zajmuje strona główna bloga (co nie jest dziwne), a trzecie - post, który mógł wzbudzić poruszenie w niektórych redakcjach portali. Ruch głównie z walla niejakiego Olsa. Oto lista (tym razem klikalna ;) najpopularniejszych (41) postów spośród 50 najpopularniejszych stron:

Mapy, mapy raz jeszcze

Fri, 22 Dec 2017 13:42:57 +0000

W jakim województwie leży wskazany punkt? Dzisiaj zajmiemy się obszarami, głównie w oparciu o pakiet rgeos. Wpis raczej techniczny. Po załadowaniu poniższych pakietów:

library(rgdal)
library(rgeos)
library(tidyverse)
library(broom) # for tidy=fortify

przygotujemy sobie dwa testowe obszary, na których przykładzie zobaczymy jak działają wybrane funkcje z pakietu rgeos.

poly1 <- SpatialPolygons(list(Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 0, 1, 1, 0),
 ncol=2, byrow=FALSE))), ID=c("a")),
 Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 2, 3, 3, 2),
 ncol=2, byrow=FALSE))), ID=c("b"))))

poly2 <- SpatialPolygons(list(Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 1, 1, 0.5, 3, 3, 0, 0, 2),
 ncol=2, byrow=FALSE))), ID=c("c"))))

Szczerze powiedziawszy mechanika budowania polygonów jest koszmarna, ale korzystając z przykładów w sieci udało się je przygotować :) Zobaczmy jak wyglądają nasze obszary:

Kalendarz z Policją

Sat, 14 Oct 2017 09:54:47 +0000

W jednym z ostatnich odcinków “Ucha prezesa” było coś o tym, że teraz rząd ma mówić o tym, że jest bezpiecznie (zamiast “Przez osiem lat Polki i Polacy…”). Sprawdzimy zatem bezpieczeństwo na polskich drogach. Ale punktem wyjścia będzie specyficzny sposób pokazania danych dziennych.

Widok kalendarza

Dane dzienne (takie, które mają jedną wartość dla każdego dnia - na przykład średnia temperatura, liczba osób robiących zakupy w sklepie) można pokazać na różne sposoby. Można pokazać je jako wykres punktowy (lub liniowy, kiedy punkty są połączone) - wówczas widać na przykład “falkę” (o ile są cykliczne, na przykład w weekendy jest mniej kupujących niż w tygodniu). Można policzyć średnie (lub zastosować inne miary agregujące) dla każdego dnia tygodnia i wykorzystać najprostszy (i często najlepszy) wykres słupkowy. A można pokazać to samo w formie swego rodzaju heat-mapy rozpiętej na kalendarzu. Wykres taki ma sens jeśli chcemy pokazać, że w danym dniu tygodnia (i być może poszczególnych tygodniach roku) coś odbiega od normy z całego tygodnia (albo innych miesięcy). Czyli przykładowe weekendy są inne niż dni od poniedziałku do piątku. Jeśli interesują Cię tylko wyniki przeglądu statystyk policyjnych - przejdź do analizy.

Jak nauczyć się R? Co czytać?

Wed, 30 Aug 2017 14:09:36 +0000

W listach pytacie o źródła wiedzy dotyczącej R. Dzisiaj kilka linków. Na początek agregaty, które mogą okazać się wystarczające:

R Bloggers - platforma zbierająca treści z wielu blogów
Revolution Analytics
Data Science Central - platforma blogowa dla dłubiących w BigData

Warto śledzić też blogi poszczególnych osób:

Julia Silge to współautorka pakietu tidytext (i jednocześnie data scientist w Stack Overflow)
Variance Explained - blog drugiego współautora tidytext
blog Maëlle Salmon, który kiedyś dodałem do RSSów (trafiłem pewnie w poszukiwaniach czegoś konkretnego albo z r-bloggers)

Jednym z lepszych miejsc jest cała domena związana z RStudio i poszczególne jej subdomeny, przede wszystkim blog RStudio oraz RViews. W ramach RStudio znajdziecie też dużo informacji o poszczególnych pakietach - strona zbiorcza jest tutaj. Z polskich blogów szczególnie polecam dwa:

Zmiany temperatury w czasie - animowany wykres kołowy

Thu, 10 Aug 2017 08:12:44 +0000

Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić. Wspomniany filmik to

Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs. Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz - w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj. Dodatkowo instalujemy pakiet RGoogleAnalytics:

Analiza twórczości J.K.Rowling

Mon, 03 Jul 2017 15:40:10 +0000

W ostatnich dwóch wpisach analizowaliśmy oceny książek na podstawie bazy z serwisu z recenzjami książek a także prowadziliśmy śledztwo polegające na szukaniu autora książki. Tym razem zajmiemy się twórczością jednej autorki. Tą autorką będzie J.K. Rowling, autorka bestsellerowej serii o Harrym Potterze oraz kilku książek dla dorosłych wydanych pod pseudonimem Robert Galbraith. Podobnie jak w poprzedniej części potrzebujemy książek w plikach tekstowych. Analizować będziemy angielskie wersje książek (ze względu na analizę wydźwięku - ang. sentiment. W przypadku języka polskiego trudno o słowniki tegoż wydźwięku). Na początek sprawdźmy jakie słowa w poszczególnych książkach są najbardziej popularne: Nie jest dziwnym, że w serii o Potterze najpopularniejsze słowo to “Harry”. Później kolejno imiona poszczególnych bohaterów (Ron, Hermione) ale też na przykład różdżka (wand) Zobaczmy teraz jak długie są poszczególne książki - sprawdźmy liczbę zdań w każdej z nich: oraz liczbę słów: Słupki w obu przypadkach są podobne, co może prowadzić do wniosku, że średnio każde zdanie składa się z podobnej ilości wyrazów: Na powyższym wykresie pionowa czerwona linia oznacza medianę (połowa zdań ma więcej słów, a druga połowa - mniej) zaś niebieska - średnią. Jak widać Rowling właściwie w każdej książce pisze zdania o podobnej długości. Niektóre “kopy” są wyższe - to wynik objętości książki. Powyższa seria wykresów nie pozwala na szybkie i łatwe porównanie parametrów (średniej i mediany) pomiędzy poszczególnymi książkami. Ale wykres jak poniżej już tak: Tutaj wyraźnie widać, że zdania są właściwie prawie zawsze tej samej długości. Przeanalizujmy na razie samego Pottera. Zobaczmy kiedy (w których momentach książki i w których książkach z serii) pojawiają się poszczególni bohaterowie. Na podstawie chmurki popularnych słów (za chwilę wyjdzie też to w parach słów - bigramach) wytypowałem kilkanaście osób: Harry, Ron, Hermione, Hagrid, Malfoy, Snape, Dumbledore, Voldemort, Vernon, McGonagall, Trelawney, Umbridge, Petunia, Lupin. Zobaczmy: Harry oczywiście występuje cały czas. Ale na przykład Ron i Hermoine pojawiają się gdzieś w 1/3 pierwszej części - wtedy zapewne Harry przybywa do szkoły czarodziei. Tak na przykład Umbridge największy udział ma w części Harry Potter i Zakon Feniksa, w której się pojawia. Petunia z kolei pojawia się na początku każdej z części, podobnie jak Vernon. Być może coś ich łączy? Na pewno coś łączy Hermonię, Rona, Snape’a czy Mafloy’a lub Hagrida. Sprawdźmy jak często pojawiają się poszczególne imiona (8 najczęściej występujących). Poniższy wykres obrazuje udział procentowy popularności określonego imienia wśród ósemki najpopularniejszych imion. Czyli - im częściej dane imię pojawia się w części tym wyżej ono znajduje się na wykresie. Bez zaskoczenia Harry dominuje całą serię - połowa należy do niego. Ciekawe jest coś innego - udział Rona spada w kolejnych częściach, a delikatnie rośnie udział Hermoine. Z kolei Dumbledore najbardziej aktywny jest w części Harry Potter i Książę Półkrwi. Widać to też na wcześniejszym wykresie Sprawdźmy teraz gdzie odbywa się akcja (albo o jakich miejscach mowa). Do wyboru mamy (angielskie nazwy): privet drive, diagon alley, hogwarts, azkaban, ministry of magic, grimmauld place. Ciekawostka - “privet drive” pojawia się w tych samych miejscach co Petunia. Coś Wam to mówi? Na koniec sprawdźmy jakie i jak często występują klątwy i zaklęcia (jak na książkę o magii przystało)? Początkowo zbyt wiele nie czarują, ale im dalej w las tym sprawa wygląda poważniej. Czas na ciekawsze sprawy - czy książki (już wracamy do całej twórczości Rowling) są coraz bardziej “pozytywne” czy wręcz przeciwnie? “Pozytywne”, bo wydźwięk może być pozytywny lub negatywny (w skali -5 dla negatywnych do +5 dla pozytywnych). Miara polega na przypisaniu każdemu ze słów określonej wartości liczbowej wyrażającej emocje i ich zabarwienie jakie niosą ze sobą słowa. I tak najbardziej negatywne to m.in. bastard, cock, cocksucker i tym podobne, wszystkie mają po -5 punktów. ass jest już ładogniejsze - ma -4 punkty. Te pozytywne to na przykład breathtaking czy outstanding (po +5 punktów), albo amazing (+4 punkty). Neutralne (0 punktów) to some kind. W słowniku AFINN zawartym w pakiecie tidytext jest 2476 słów. Nie za dużo, ale wystarczająco. Każde ze słów (w ramach konkretnego zdania) mamy opisane “punktem czasowym” - w którym zdaniu (lub inaczej mówiąc - w którym procencie) książki występuje. Możemy więc policzyć średnią z wydźwięku dla kolejnych “chwil” w książce i je narysować na wykresie. Pisałem o tym trochę w drugiej części tekstu o Pulp Fiction, tam też znajdziecie ciekawy film z krótkim wykładem Kurtem Vonneguta. Polecam poszukać czegoś na temat “Arc of Story”, chociażby tekst 6 Story Arcs Define Western Literature, Data-Mining Study Reveals (gdzie nota bene jest wykres mniej więcej przypominający to co mamy tutaj - dotyczy książki Harry Potter i Insygnia Śmierci). Zobaczmy jeszcze czy wraz z postępem czasy pani Rowling używa w swoich książkach słów coraz bardziej pozytywnych czy negatywnych? W bardzo dużym uproszczeniu - jest coraz bardziej mrocznie. Ale różnice są na poziomie ułamków punktów. Teraz - podobnie jak w przypadku śledztwa dotyczącego Remigiusza Mroza i Zygmunta Miłoszewskiego - sprawdźmy czy statystycznie rzecz biorąc wszystkie badane książki napisała Rowling? Na początek podzielimy książki na dwie grupy - o Harrym Potterze (podpisanych jako J.K.Rowling) i pozostałe (podpisanych pseudonimem Robert Galbraith). Dla każdego ze słów w ramach tych grup policzymy udział procentowy w całej grupie. Na koniec weźmiemy po 10% najbardziej popularnych słów z grup i policzymy współczynnik korelacji pomiędzy częstościami wystąpienia. Podobieństwo liczone w ten sposób daje nam wartość 0.76. To całkiem sporo, chociaż dla porównania w poprzednim poście autorstwo Enklawy przypisaliśmy Mrozowi na podstawie współczynnika równego 0.88 a Bezcennego przypisaliśmy Miłoszewskiemu ze współczynnikiem 0.83. Spróbujmy zatem inaczej - nie ma co się ograniczać do najpopularniejszych słów (tym bardziej, że bez filtrowania są to głównie imiona bohaterów i miejsca akcji), skoro można porównać każdą książkę z każdą na podstawie wszystkich wspólnych słów (i ich częstości występowania): Widać tutaj wyraźnie trzy obszary:

Lubimy czytać - coś o książkach

Wed, 28 Jun 2017 13:49:14 +0000

Jakiś czas temu była analiza ocen filmów (na podstawie bazy Filmwebu), obiecałem w różnych miejscach, że będzie też o książkach. Zatem sprawdźmy czego możemy się dowiedzieć z danych pobranych z serwisu LubimyCzytać.pl. Przez kilka tygodni skrypt działający sobie grzecznie na serwerze pobierał stronę po stronie z serwisu, analizował zapisane na niej dane i przepisywał je sobie do lokalnego pliku (dane zgromadziłem w pliku books_total.RDS, z którego za chwilę je wczytamy). I tutaj ciekawostka. Poprosiłem redakcję serwisu o przesłane danych, tak aby nie zapychać im serwerów. Poprosiłem jednocześnie zaznaczając, że chcę przygotować niniejszą analizę, a jeśli nie otrzymam danych - pobiorę je samodzielnie. Odmówiono mi. Żeby być miłym oszczędziłem serwery (swoje i cudze) i przed kolejnymi hitami w stronę czekałem losową liczbę sekund (od 1 do 3). Warto to robić, warto być przyzwoitym. Ale mimo wszystko nie udało się pobrać wszystkich danych (a ileż możecie czekać na nowy post?). Tak czy inaczej - mamy ponad 330 tysięcy wierszy. Wiersze zawierają informację o tytule książki, jej autora, wydawnictwo, datę wydania (skorzystamy tylko z roku), liczbie stron i kategorii do której dana książka została przypisana w serwisie. Dodatkowo - to co najbardziej ciekawe - mamy średnią ocenę, liczbę ocen oraz liczbę każdej z ocen przyznanych przez użytkownika (od 1 do 10 gwiazdek). Gdzieś jest też znacznik w jakim języku jest książka. Fajne dane, można sobie porobić różne przekroje. I tak zrobimy. Zaczynamy oczywiście od przygotowania środowiska - wczytanie pakietów i danych:

Tramwajem po grafie

Wed, 17 May 2017 15:09:13 +0000

Dzisiaj trochę o grafach. Po drodze na nie się powoływałem, czasem nawet jakieś można było zobaczyć. Ale co to są te grafy? Był wpis “edukacyjny” o metodach klasyfikacji, czas na kolejny. Grafy to stwory matematyczne, które przydatne są na przykład w analizie sieci społecznych (wykrywanie “grup wzajemnej adoracji” albo ważnych osób wokół których skupiają się inni), logistyce (planowanie tras transportu). My zajmiemy się warszawskimi tramwajami. Bo to sieć, jakby nie było. Dane o trasach pobrałem ze strony Warszawa.wikia.com ręcznie przepisując (Ctrl-C + Ctrl-V plus trochę Ctrl-H oraz USUŃ.ZBĘDNE.ODSTĘPY() w Excelu) do tabeli, w której w pierwszej kolumnie jest numer linii, a w drugiej - kolejne przystanki na tej linii (ich nazwy).

Nowe pojazdy w Polsce po roku 2010

Sat, 29 Apr 2017 09:57:58 +0000

Gdzie rejestruje się najwięcej nowych samochodów? Jak to porównywać i pokazywać?

Dzisiaj proste zadanie, ale wymagające nieco gimnastyki. Otóż sprawdzimy gdzie przybywa najwięcej nowych samochodów. Skorzystamy z danych GUSu (precyzyjniej jest to Kategoria: TRANSPORT I ŁĄCZNOŚĆ, Grupa: POJAZDY, Podgrupa: Zarejestrowane nowe pojazdy samochodowe (dane kwartalne)). Pobieramy ręcznie plik CSV (dane dla wszystkich okresów i wszystkich lat, tylko samochody osobowe), pamiętając żeby przed pobraniem pliku przełączyć układ danych na “według TERYT” (klucz TERYT jest najlepszy do łączenia danych z mapami - pobranymi w plikach SHP z CODGiK - zdaje się, że było już o tym).

Prognoza stopy bezrobocia na 2017-2018

Wed, 26 Apr 2017 12:28:23 +0000

Jakie będzie bezrobocie za dwa lata? A właściwie - jak wyznaczyć przyszłe dane na podstawie historii? Dzisiaj zajmiemy się prostą (automatyczną) predykcją szeregów czasowych. Co to jest szereg czasowy? Ano, zbiór danych przypisanych do kolejnych dat (chwil w czasie - będąc bardziej precyzyjnym). Może to być wartość akcji dzień po dniu, może to być temperatura (czy dowolne inne wartości opisujące pogodę) lub cokolwiek innego, co ma swoje wartości w kolejnych momentach czasu. My zajmiemy się stopą bezrobocia w Polsce. Skorzystamy z miesięcznych danych publikowanych przez GUS. Dane są w ładnej tabelce na stronie, można więc je łatwo z niej wyciągnąć.

Oscary 2017 - kto wygrał? Bez czytania wiadomości!

Mon, 27 Feb 2017 15:44:51 +0000

Jak dowiedzieć się kto wygrał Oscara? Bez czytania wiadomości. W każdej z kategorii. Korzystając tylko z Twittera, ale bez czytania poszczególnych twittów! Da się? Oczywiście, że się da. Potrzebujemy tylko danych i odrobiny sprytu przy ich przetwarzaniu. Najpierw dane. Napisałem skrypt, który pobierał co 5 minut wszystkie nowe twitty z hashtagu #Oscars i zapisywał je w pliku “Oscars_hash.Rds” lokalnie na dysku. Sposobów na pobranie danych z Twittera jest wiele, ja wybrałem ten - najszybciej było mi napisać odpowiedni skrypcik (w R - mniej więcej robiący tyle: wyszukaj najnowsze twitty z określonym hasłem, dodaj je do już znalezionych) i po prostu zostawić komputer na noc. Te same dane można pobrać i wpakować do bazy danych. Można też przygotować skrypt, który pobierze wszystko na raz. Skrypt możecie przygotować sobie samodzielnie, zachęcam. Tak czy inaczej - w R polecam bibliotekę twitteR. Trzeba jednak liczyć się z ograniczeniami API Twittera - określona liczba zapytań w czasie, określona (maksymalna) liczba wyników zwracanych dla jednego zapytania. Z powodu tych ograniczeń dane przygotowane przeze mnie zawierają maksymalnie 3200 Twittów pobranych raz na 5 minut. Do naszej analizy to wystarczy. Poza tym - moją ideą przy prezentowaniu kolejnych postów jest pokazanie, że bez płacenia za jakiekolwiek dane można fajnie się pobawić i czegoś nauczyć. Dzisiaj korzystamy jak zazwyczaj z bibliotek ggplot2, dplyr, lubridate oraz tidytext do operacji na słowach. Fajna biblioteka, dużo przykładów, jeszcze się będziemy nią bawić. Pobieramy dane zapisane przez skrypty zapisujące to, co działo się na Twitterze i rozdzielamy czas opublikowania twittu na dzień, godzinę i minutę (po tym będziemy później szukać i grupować). Przy okazji wytniemy dane tylko dla 27 lutego (ceremonia była już 27 lutego naszego czasu), żeby nie ciągnąć za dużego ogona ze sobą.

Oskarowe nominacje i filmy

Fri, 23 Feb 2007 17:35:55 +0000

U RAFiego przeczytałem króciutki wpis (właściwie tylko link) o serwisie poświęconym tegorocznym Oscarom. Takie prawie Oscary w wersji Web2.0 ;) Jest sobie lista, jest głosowanie. I co najciekawsze - są linki do torrentów z filmami (lub wyszukiwaczki tychże torrentów). Piękna inicjatywa ;) Ciekawe czy dotrwa do rozdania nagród? Swoją drogą - ciekawe czy w dobie web2.0 panoszącego się wszędzie kiedyś zniknie coś takiego jak Akademia Filmowa i Oscary przyznawać będą np. internauci? Coś jak ranking na stronach IMDB.com, ale dla filmów z danego roku. Plus filmy do ściągnięcia (nawet za opłatą).