SQLite on Łukasz Prokulski, Dane i Analizy

Więcej niż podstawy: AI, lakehouse, zaawansowany SQL

Mon, 02 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu eksplorujemy najnowsze trendy w świecie danych i AI – od inteligentnych agentów wspomagających pracę z kodem i platformami analitycznymi, przez zaawansowane techniki machine learning i tokenizacji, aż po praktyczne podejścia do architektury systemów i inżynierii danych.

Poznaj narzędzia, które realnie skracają czas developmentu, dowiedz się, jak wykorzystać embeddings w prognozowaniu szeregów czasowych, a także sprawdź, dlaczego PostgreSQL oferuje znacznie więcej niż podstawowe zapytania SQL. Nie zabraknie również praktycznych projektów z wykorzystaniem H3 do analiz geoprzestrzennych, przewodnika po architekturze lakehouse oraz wskazówek, jak unikać krytycznych błędów w API Pythona i pipeline’ach danych. Dla dla entuzjastów wizualizacji – profesjonalne wykresy w R oraz zasady projektowania efektywnych dashboardów.

Polski tutorial z vide codingu + nierówności w globalnej adopcji AI - Newsletter Dane i Analizy (🗓 %Y-%m-%d)

Mon, 22 Sep 2025 15:00:00 +0000

Jeśli dopiero zaczynasz przygodę z vibe codingiem i Claude Code, koniecznie obejrzyj 48-minutowy tutorial, który przeprowadzi Cię przez budowę kompletnej aplikacji. Dla bardziej zaawansowanych użytkowników są materiały o zarządzaniu serwerami MCP w produkcji oraz wyzwaniach związanych z governance w systemach autonomicznych.

Miłośnicy analizy danych znajdą praktyczne wskazówki dotyczące wizualizacji z wykorzystaniem Pythona i Seaborn, implementację XAI z biblioteką SHAP, a także 10 sprytnych trików do pracy z danymi kategorycznymi w scikit-learn. Szczególnie imponujący jest przypadek optymalizacji SQLite, gdzie wydajność wzrosła (jak twierdzi autor) z 19 tysięcy do 4,2 miliona zdarzeń na sekundę!

Newsletter Dane i Analizy, 2024-12-16

Mon, 16 Dec 2024 15:00:00 +0000

Czego szukali ludzie w Google w mijającym roku? Google dostarcza podsumowanie dla całego świata i większości krajów z osobna (tutaj Polska, tutaj global). Podsumowania te są o tyle interesujące, że stanowią pewnego rodzaju obraz naszego społeczeństwa i jego zainteresowań.

Wiecie, że w Afryce w większości państw ruch w internecie z komórki przeważa ruch z komputerów? W przykładowym Sudanie ponad 77% to komórki. Tego typu rzeczy można dowiedzieć się z corocznego raport Cloudflare Radar. Raport mówi nie tylko o dominacji Google, ale też zawiera statystyki dotyczące szyfrowania ruchu, popularności różnych technologii sieciowych czy kwestii bezpieczeństwa.

Newsletter Dane i Analizy, 2023-03-27

Mon, 27 Mar 2023 15:00:00 +0000

Być może przeczytaliście wszystko co było do przeczytania z poprzedniego wydania newslettera, a może coś jeszcze Wam zostało? Dlatego dzisiaj nieco mniej (właściwie - tyle co zwykle) nowości, ale nie oznacza to wcale że jakoś gorzej.

Sporo materiałów dotyczy Sparka i różnych z nim kombinacji - do nauki i szukania kierunków poszerzania wiedzy znakomite punkty wyjścia. Można też nauczyć się czegoś joinach w SQL.

Z nieco bardziej zaawansowanych tekstów polecam ten o Apache Hudi w Uberze oraz o tym jak właściwie działa ChatGPT. A skoro już przy nim jesteśmy - wiele w minionym czasie pojawia się tekstów o tym jak to ChatGPT zabierze pracę różnym ludziom, w tym programistom. Czy zabierze? Przekonamy się. Ale już teraz przeczytajcie jak może być pomocny przy tworzeniu kodu (na przykładzie aplikacji w Streamlit).

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Przewidywanie pogody

Thu, 12 Apr 2018 08:42:57 +0000

W poprzednim odcinku zebraliśmy dane o pogodzie w Polsce od 1951 roku. Dzisiaj przygotujemy prognozę pogody. Ale przede wszystkim nauczymy się weryfikować modele. Mając zgromadzone dane o pogodzie z ponad 60 lat (1951-2017) możemy pokusić się o prognozowanie temperatury w przyszłości. Wykorzystamy trzy (właściwie dwa) modele dostępne od ręki w popularnych bibliotekach R oraz zaprzęgniemy do prognozowania sieć neuronową. Zaczniemy od potrzebnych bibliotek:

library(tidyverse)
library(lubridate)
library(DBI) # pobieranie danych z bazy SQLite
library(forecast) # na potrzeby modeli ARIMA i ETS/STLF
library(keras) # na potrzeby LSTM w TensorFlow
library(corrgram) # wykres korelacji

Na początek pobieramy dane o średniej dziennej temperaturze wszystkich stacji w latach 2000-2016. Te dane potraktujemy jako dane treningowe. Dane z 2017 roku potraktujemy jako testowe.

A lato było cieplejsze...

Tue, 27 Mar 2018 10:22:04 +0000

Czy w Boże Narodzenie zawsze brakowało śniegu? Czy klimat się ociepla? Jak ciepło przepływa przez Polskę? Dzisiaj zajmiemy się pogodą. Sporo ciekawych zagadnień przed nami:

Skąd wziąć dane o pogodzie w Polsce?
Pory roku na przestrzeni lat - czy wiosna przychodzi szybciej? A może lat trwa krócej?
- zobaczymy procentowy podział dni w roku na poszczególne pory roku (ile było dni wiosennych, a ile zimowych)
- czy wiosna przychodzi coraz szybciej - jak kształtowała się temperatura w marcu na przestrzeni lat?
Czy klimat się ociepla?
- jak wyglądały różnice w temperaturze na przestrzeni lat
- czy poszczególne miesiące są coraz cieplejsze lub zimniejsze?
- podobnie dla kolejnych dni - jak wyglądała liczba dni cieplejszych i zimniejszych niż średnia?
Czy jest różnica miedzy temperaturami w kraju?
- przygotujemy animowane mapki temperatury dla 2017 roku
A kiedyś to było…
- Boże Narodzenie ze śniegiem
- w Lany Poniedziałek było cieplej

Pobranie danych

Zanim przejdziemy do analizy potrzebujemy danych o pogodzie. Zgodnie z ustawą o dostępie do danych publicznych IMGW udostępnia dane historycznie na stronie https://dane.imgw.pl/. Dane aktualne są dostępne poprzez API, ale dane historyczne spakowane już niestety nie. Dostępne są w postaci spakowanych plików CSV, podzielone na kilkanaście katalogów. Do wszystkiego da się jednak dobrać. Aby skorzystać z tych zasobów należy każdy plik (archiwum) pobrać, rozpakować i wyciągnąć z niego dane. Aby nie operować na dużej liczbie plików przepiszemy je do bazy danych (w tym przypadku będzie to plikowa baza SQLite, chociaż może być dowolna - mySQL, PostgreSQL). Skrypt przepisujący dane znajdziecie na moim githubie (jak i pozostałe poniżej zaprezentowane kody).

Rowery Veturilo - część pierwsza

Mon, 08 May 2017 15:54:27 +0000

Czy popularność rowerów Veturilo w Warszawie od czegoś zależy? Dzisiaj, po majowej przerwie (spędzonej między innymi na rowerze) zajmiemy się nieco większymi zbiorami danych. Na początek kilka słów o przygotowaniu danych.

Rowery Veturilo

Od początku marca (od bodaj 11) zbierałem dane wystawione przez NextBike (operatora rowerów m.in. Veturilo) dla kilkudziesięciu miast. Ograniczyłem się tylko do Warszawy, dane były pobierane co 5 minut. Jak wyglądają te dane możecie sprawdzić sami - to dostępny online plik XML. W pliku znaleźć można wszystkie potrzebne nam informacje: