DuckDB on Łukasz Prokulski, Dane i Analizy

DuckDB 250x szybszy od Postgresa, 14 indeksów pod lupą i architektura MCP na produkcji

Tue, 22 Sep 2026 11:42:48 +0000

W tym tygodniu (znowu) dużo konkretów: pomiary, decyzje architektoniczne i rzeczy, które wyglądają na dobre praktyki, dopóki ktoś nie zmierzy, co naprawdę robią. Jak indeks w Postgresie, który spowalnia 4-krotnie zamiast przyspieszać.

Tematy rozłożone między:

inżynierię danych (bazy, pipeline, data lake, migracje), systemy agentów AI i ich bezpieczeństwo, inżynierię oprogramowania (design doc, code review, monorepo), praktyczny Python i DevOps.

Przy okazji — tym razem pokusiłem się o polskie tytuły artykułów. Daj znać, czy to działa, czy jednak wolisz oryginalne angielskie. Odpowiedź na tego maila wystarczy.

Agenty piszą CV, Atlassian zmienia Jirę, a Polars i DuckDB łączą siły

Mon, 20 Jul 2026 15:00:00 +0000

Cześć! Za nami finał piłkarskich mistrzostw świata, gdzie Argentyna mierzyła się z Hiszpanią. Niezależnie od wyniku i wczorajszych emocji, poniedziałkowy poranek w IT przynosi powrót do naszej technologicznej rzeczywistości. Oby Twój tydzień zaczął się bez pożarów na produkcji!

W tym tygodniu styk AI oraz codziennych procesów deweloperskich.

Coraz więcej narzędzi, na czele z odświeżoną Jirą od Atlassiana, stawia na głęboką integrację z agentami AI, Pojawiają się innowacyjne frameworki, które potrafią napisać CV, analizować ogłoszenia o pracę i przejść przez rekrutacyjne sito, Obok rosnącej roli modeli LLM, dużo mówi się o sztuce sprawnego kierowania zapytaniami do odpowiednich silników językowych.

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

AI agenci, nudny backend i polskie głosy o architekturze hexagonalnej

Mon, 18 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz powrotu do sprawdzonych, “nudnych” technologii.

Analizujemy, jak agenci AI i modele LLM (Claude, ChatGPT) ewoluują w stronę praktycznych narzędzi do budowania skillów i automatycznego naprawiania testów, pokazujemy, dlaczego architekci coraz częściej rezygnują ze złożonych baz grafowych na rzecz sprawdzonych ontologii SQL, i tłumaczymy, dlaczego w backendzie prostota i standaryzacja wygrywają z niepotrzebną innowacyjnością.

W świecie Data Engineeringu skupiamy się na hybrydowym podejściu do analityki i optymalizacji kosztów.

Agenty w produkcji, DuckDB na sterydach i kłamstwa Kubernetesowi

Mon, 11 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na profesjonalizacji narzędzi AI w codziennej pracy inżynierskiej.

Analizujemy, jak Databricks i Shopify wbudowują agentów AI bezpośrednio w swoje platformy, pokazujemy, dlaczego AI przestaje być dodatkiem, a staje się integralną warstwą systemów, i tłumaczymy zmianę podejścia: od prompt engineeringu do context engineeringu i pracy na głębszych warstwach modeli LLM.

W świecie Data Engineeringu wracają do gry lekkie, lokalne silniki analityczne.

Przyglądamy się, jak DuckDB i Polars redefiniują wydajność pracy z danymi na pojedynczej maszynie, pokazujemy, kiedy lokalne przetwarzanie wygrywa z klasycznym podejściem cloud-first, a także wracamy do fundamentów: Kafka i Spark wciąż żyją, ale wymagają konkretnych checklist optymalizacyjnych przy skali produkcyjnej.

Lany Poniedziałek bez lania wody

Mon, 06 Apr 2026 11:00:00 +0000

W dzisiejszym wydaniu przyglądamy się dynamicznym zmianom w ekosystemie narzędzi AI oraz ewolucji architektury danych. Dominującym trendem staje się odejście od prostych chatbotów na rzecz złożonych systemów agentowych, co wymusza rewizję dotychczasowych podejść do jakości kodu i automatyzacji. Jednocześnie obserwujemy renesans wydajnych, osadzonych baz danych, takich jak DuckDB, które redefiniują sposób, w jaki myślimy o analityce “lokalnej” i przygotowaniu danych pod ML. Druga część zestawienia skupia się na inżynierii systemów o dużej skali. Analizujemy lekcje płynące z zarządzania tysiącami podów GPU w klastrach Kubernetes oraz wyzwania, jakie stawia przed inżynierami projektowanie globalnych usług o najwyższej dostępności. Nie zapominamy o “miękkich” aspektach pracy – odświeżamy spojrzenie na proces Code Review i wizualizację techniczną, szukając sposobów na zwiększenie efektywności zespołów deweloperskich w świecie zdominowanym przez automatyzację. Mamy nadzieję, że to poniedziałkowe zestawienie dostarczy Wam solidnej dawki inspiracji do nadchodzących projektów. Miłej lektury!

Agenty piszą kod, ale nie projektują systemów. Plus ponad 20 innych materiałów

Mon, 23 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują dwa tematy: agenty AI i granice tego, co faktycznie potrafią, oraz architektura systemów na konkretnych przykładach z produkcji.

Znajdziesz tu też case study Slacka (przebudowa powiadomień), Twittera (500 tys. tweetów na minutę) i Stripe’a (1300 PR-ów tygodniowo), a obok nich – praktyczne materiały o DuckDB, dbt, LangGraph i ClickHouse.

Osobny wątek to praca z modelami językowymi: od kursów Anthropic, przez projektowanie system promptów, po refleksję o tym, dlaczego zaczynamy przepraszać chatboty.

Czy Power BI umiera? A GitHub Actions zabija zespoły?

Mon, 23 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z inżynierią danych i automatyzacją: od debaty o przyszłości Power BI i praktycznych zastosowań DuckDB w pipeline’ach ETL, przez kontrakty danych w produkcji, aż po wzorce projektowe w PySparku.

W sekcji AI i agentów przyjrzymy się ograniczeniom vibe codingu i propozycjom nowej warstwy abstrakcji dla systemów agentowych.

Nie zabraknie także materiałów o architekturze (case study migracji Airbnb z monolitu), DevOps (optymalizacja GitHub Actions), MLOps (metryki predykcyjne incydentów) oraz praktycznych poradników – od konfiguracji tmux dla pracy zdalnej po budowę dashboardów AI w kilka minut.

Zero ETL i hackathon z Bielikiem

Mon, 09 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu: architektura Zero ETL jako nowy standard w inżynierii danych (albo kolejny buzz word - różnie to bywa z nowościami), praktyczne zastosowania AI w zespołach data science, oraz ewolucja DuckDB w kierunku pełnoprawnego lakehouse.
Znalazłem też przegląd antywzorców w architekturach mikroserwisowych, strategie cache’owania w REST API i przewodnik po zarządzaniu ewolucją schematów w pipeline’ach strumieniowych (to potrafi być ból!).
Znajdziesz dzisiaj również frameworki analityczne dla e-commerce, techniki feature engineering w SQL dla szeregów czasowych oraz narzędzia do observability systemów ML w produkcji.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Agenci AI, skalowanie pipeline'ów i ewolucja Pythona

Mon, 19 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu głęboko zanurzamy się w świat agentów AI i agentic AI: od fundamentalnych rozróżnień między generatywną AI, agentami i podejściem agentycznym, przez praktyczne wyzwania bezpieczeństwa w postaci mapowania API, aż po optymalizację zarządzania kontekstem w Model Context Protocol. Nie zabraknie również solidnych podstaw machine learningu: kodowanie danych kategorycznych, Support Vector Machines oraz kompleksowy przegląd metod detekcji anomalii w Pythonie.

Na froncie inżynierii danych pokazujemy, jak ewoluować od prostych crontabów do systemów obsługujących miliardy zdarzeń, jak wykorzystać DuckDB do szybkich analiz bez ciężkiej infrastruktury oraz dlaczego dokumentacja jako kod w dbt-checkpoint staje się silnikiem jakości danych. Praktyczny przewodnik end-to-end z darmowymi narzędziami oraz refleksje nad zawodem data engineera dopełniają obrazu codziennych wyzwań w tej dziedzinie.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

AI: "jednocześnie dużo mądrzejsze i dużo głupsze, niż się spodziewałem"

Mon, 05 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu szeroki przegląd tego, co dzieje się na styku AI, danych i infrastruktury. Zajrzymy pod maskę architektur agentowych, gdzie bazy danych przejmują rolę pamięci długoterminowej i koordynują działanie systemów wieloagentowych. Zobaczymy, jak w praktyce działają autonomiczne pipeline’y AI — od generatora pomysłów biznesowych po systemy RAG obsługujące tysiące zapytań na sekundę.

Nie zabraknie konkretów z obszaru data engineeringu: hybrydowe tabele BigQuery z sekundową świeżością danych, otwarte formaty tabelaryczne (Delta Lake, Iceberg) i nowe możliwości DuckDB — od notebooków w przeglądarce po przetwarzanie terabajtów lokalnie. PostgreSQL również dostaje swoje pięć minut: od wewnętrznych mechanizmów recovery po niedoceniane funkcje, które warto znać.

Ostatni raz w tym roku

Mon, 22 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i modelami AI. Z obszaru Data Engineering znajdziecie rozwiązania eliminujące nocne przetwarzanie batchowe przy pomocy DuckDB i dbt, przewodnik po strategiach obsługi danych wrażliwych oraz techniki checkpointingu w systemach event-driven. O DuckDB aż trzy materiały - bo to świetne narzędzie. Podobnie PostgreSQL to świetne narzędzie, “zamiatające” inne typy baz - tutaj na przykładzie baz wektorowych i indeksowania 100 milionów wektorów w 20 minut.

Jak ludzie korzystają z AI w pracy?

Mon, 15 Dec 2025 15:00:00 +0000

Ten tydzień - ostatni pełny przed świętami - to raczej czas porządków, niż wielkich premier. Choć niektórzy testują, jak naprawdę radzi sobie GTP-5.2 - najnowsze dziecko OpenAI.
Na dziś wystarczy tej dolinokratycznej magii. Przejdźmy do rzeczy, które mają większy sens: praktyka, konkret, zero ściemy (bo po to tu jesteś, nie?).

W tym numerze skupiamy się na tym, co daje realny efekt. Optymalizacja. Wydajność. Sprytne podejścia do codziennej roboty z danymi. Mamy PostgreSQL i DuckDB w akcji, Parquet na sterydach oraz garść sztuczek w Apache Spark i SQLAlchemy. Dorzucamy integrację DuckDB z Amazon S3 i pomysł na streamingowy ETL bez klasycznych hurtowni - lekko, elastycznie i bez ton konfiguracji.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Sporo "przydasiów" do Linuxa oraz LLMów

Mon, 01 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach zarządzania danymi i sztuczną inteligencją w środowiskach produkcyjnych. Przedstawiamy kompleksowe podejścia do integracji modeli językowych: orkiestrację wielu LLM za pomocą Spring AI oraz budowę niestandardowych pipeline’ów z LangGraph. Znajdziecie również porównanie platform MLOps (MLFlow, Metaflow, Kubeflow).

W obszarze Big Data i data engineeringu omawiamy kluczowe technologie i wzorce architektoniczne. Delta Lake jako warstwa transakcyjna dla Apache Spark, praktyczne wzorce współpracy zespołowej z DuckDB, dyskusja o przyszłości koncepcji data mesh oraz kompleksowe spojrzenie na ekosystem Big Data – od kolejek wiadomości po HDFS, czyli standardowy stack big data (nota bene - możesz mieć big data w domu - zapraszam do repo).

Jak wygląda "przerzucanie liczb z worka do worka" w ubezpieczeniach i przemyśle?

Mon, 24 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz solidną dawkę praktycznej wiedzy – od optymalizacji agentów AI w GitHub Copilot i dyskusji o tym, czy serwer MCP rzeczywiście jest Ci potrzebny, przez zaawansowane techniki pracy z DuckDB i porównanie narzędzi do przetwarzania 650 GB danych, aż po konkretne konfiguracje Nginx, Terraform i Kubernetes.

Często tutaj trafiają teksty związane/zachwalające DuckDB (dzisiaj też będą). Alibaba tymczasem opublikowała trzyczęściowy cykl, w którym dogłębnie analizuje wewnętrzne mechanizmy DuckDB. Na blogu znajduje się analiza kodu DuckDB pod kątem formatu plików, formatu przechowywania tabel oraz warstwy wykonawczej. Część pierwsza, druga i trzecia.

Agenci AI, data engineering i fine-tuning LLM

Mon, 17 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i sztuczną inteligencją (co nie jest niczym nowym dla stałych czytelników newslettera; a nowych - serdecznie witam!).
Znajdziesz tu kompleksowe tutoriale budowy agentów AI z LangChain, przewodniki po fine-tuningu modeli językowych metodą QLoRA oraz zaawansowane techniki pracy z PostgreSQL i jego rozszerzeniami.

Szczególną uwagę poświęcamy inżynierii danych: od strategii inkrementalnego ładowania i projektowania idempotentnych pipeline’ów, przez real-time CDC z Debezium i Kafką, aż po nowoczesne podejście lakehouse z DuckDB.
Nie zabrakło również głębokiej analizy matematyki stojącej za zero-shot learning, przeglądu metryk klasyfikacyjnych oraz praktycznych rozwiązań dla systemów rozproszonych, jak predykcyjne autoskalowanie Apache Flink.

System design, bazy danych i praktyczny Python

Mon, 10 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach projektowania i optymalizacji systemów danych.
Zaczynamy od architektury: poznasz sprawdzone metody nauki projektowania systemów oraz zajrzysz pod maskę infrastruktury OpenAI opartej na Kubernetes i Apache Kafka.
W sekcji baz danych znajdziesz spojrzenie na BigQuery z perspektywy programistów Pythona oraz dwanaście realnych przypadków migracji do DuckDB z konkretnymi oszczędnościami.

Miłośnicy Pythona znajdą też kilka wartościowych materiałów: od elegancji dekoratorów, przez biblioteki przewyższające Excela, po praktyczną migrację z PostgreSQL do MongoDB. Warto zerknąć na porównanie HTTPX z Requests (nie tylko w kontekście projektów LLM, ale po prostu na httpx jako nowocześniejszy pakiet) oraz omówienie narzędzia UV Toolchain do stabilizacji środowisk CI/CD.

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Konkretne projekty z analizy danych (jak zawsze :)

Mon, 20 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych rozwiązaniach dla każdego etapu pracy z danymi - od modelowania i inżynierii cech przez optymalizację baz danych, aż po wdrażanie w produkcji.

Czeka Cię porównanie modeli predykcyjnych (typowe zadanie dla juniorów - wytłumaczone krok po kroku) i nowe możliwości DuckDB, które zastępują całe pipeline’y w Pandas. Znajdziesz też wyzwania związane z architekturą: jak budować skalowalne systemy danych od podstaw oraz gdzie naprawdę powinny znaleźć się kontrakty danych. Dla miłośników LLMów jest przewodnik po LangChain oraz LangGraph, praktyczną instrukcję budowy lokalnego systemu RAG oraz analizę gotowości foundation models do pracy z danymi tabelarycznymi.

Nie tylko obraz tego, co się dzieje, ale jak to wykorzystać w praktyce

Mon, 29 Sep 2025 15:00:00 +0000

Czy kiedykolwiek marzyłeś o tym, żeby skrócić generowanie raportu z 6 godzin do 15 minut? A może zastąpić tradycyjne procesy ETL jednym narzędziem, które działa nawet 100 razy szybciej niż Spark?

To nie science fiction – to rzeczywistość dzisiejszego numeru!

Od agentic AI, które rewolucjonizuje kariery specjalistów IT, po konkretne implementacje MCP w firmach CRM – jak zwykle w tym newsletterze nie tylko obraz tego, co się dzieje, ale przede wszystkim jak to wykorzystać w praktyce.

Newsletter Dane i Analizy, 2025-06-09

Mon, 09 Jun 2025 15:00:00 +0000

Dzisiaj momentami jest grubo - na przykład matematyczna elegancja B-spline’ów. Ale jest też trochę praktyki w DuckDB. Jeśli myślisz, że świat danych to tylko nudne CSVki i niekończące się ETLe, ten numer (mam nadzieję) przekona Cię, że to naprawdę fascynująca dziedzina pełna niespodzianek.

Szczególnie polecam zwrócić uwagę na historię firmya Tencent Music, która oszczędziła 80% kosztów przenosząc się z Elasticsearch na Apache Doris - to jeden z tych przypadków, gdy zmiana architektury naprawdę się opłaca. Z kolei dla miłośników optymalizacji opowieść o tym, jak Python API można przyspieszyć 10x bez przepisywania na Go czy Rust - czasem wystarczy po prostu dobrze pomyśleć!

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-11-11

Mon, 11 Nov 2024 15:00:00 +0000

Święto lasu słuchajcie! I to nie chodzi wcale o to, że dzisiaj mamy Narodowe Święto Niepodległości, ale o to, że w newsletterze mało o Pythonie! Więcej mamy w działce “DevOps” (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB…

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Newsletter Dane i Analizy, 2024-11-04

Mon, 04 Nov 2024 15:00:00 +0000

Odkrycie tego tygodnia: Bolt.new. Serwis, który korzystając modeli językowych przygotuje całą aplikację i - o ile jest ona frontendowa - pozwoli jednym guzikiem ją wdrożyć.
Testując to chwilę udało się po kilku dopytaniach przygotować kod, który daje GUI (dostępny przez WWW) do edycji obserwowanych kanałów na YouTube. Obserwowanie polega na tym, że jeśli pojawi się nowy film na kanale to wysyłana ma być informacja poprzez komunikator Signal (specjalnie, bo Signal nie ma API, trzeba wywoływać polecenie w konsoli). Powstały kod wzbogacony został o Dockerfile (razem z pobraniem odpowiedniej wersji Signala oraz potrzebnej mu Javy) i deployment na Kubernetesa. Kiedy wiemy co robimy i czego oczekujemy oraz potrafimy wyłapać błędy - na pewno ułatwia to pracę. I jeszcze jedno: zapytania pisałem po polsku (w ramach eksperymentu) i zostałem w pełni zrozumiany, chociaż odpowiedzi były po angielsku. Wynik działania tutaj (mam nadzieję, że link zadziała).

Newsletter Dane i Analizy, 2024-10-21

Mon, 21 Oct 2024 15:00:00 +0000

OpenAI ze swoim modelem w wersji o1 wróciło na szczyt listy przebojów w kategorii LLM. Garść firm zajmujących się GenAI zaczyna generować poważne przychody. Co jeszcze dzieje się na rynku AI w 2024 roku? Jaki jest “Stan AI w 2024”? O tym dowiecie się z raportu, do którego link poniżej, w sekcji AI/ML.

Sporo w tym wydaniu o bazach danych (co najmniej dwa razy pojawia się Postgres i Redis, ale są też inne rozwiązania: wektorowa Milvus, InfluxDB do szeregów czasowych, grafowa Neo4j, dobrze znany stałym czytelnikom DuckDBoraz Tile38 do zadań geo).

Newsletter Dane i Analizy, 2024-05-20

Mon, 20 May 2024 15:00:00 +0000

Dzisiaj w sekcji poświęconej językowi R mamy tekst, w którym w atrakcyjny, animowany sposób pokazano kilka podstawowych operacji na ramkach danych (albo jak kto woli - tabelkach, np. w bazie danych). Jeśli nie wiesz jak działają operacje grupowania, agregacji czy łączenia danych - po tych przykładach nie powinno być z tym problemu.

Jeśli już przy bazach danych jesteśmy - powraca DuckDB, bo to jest cudo. Tym razem m.in. porównanie ze Sparkiem.
Od Sparka niedaleko zaś do ogólnie pojętego big data - w tej sekcji kompletny przewodnik jak zbudować cały zestaw do strumieniowego przetwarzania danych: czyli pełne środowisko zawierające Kafkę, Schema Registry, Kafka Connect, ksql i co tam jeszcze wokoło potrzebne.

Newsletter Dane i Analizy, 2024-05-06

Mon, 06 May 2024 15:00:00 +0000

Witamy po majówce. Akumulatory naładowane? Głowy przewietrzone? Karkóweczka zjedzona? :)
Zatem czas na kolejną porcję rozwijających treści.

Jakoś tak wyszło, że w tym tygodniu mamy kilka zagadnień związanych z Kubernetesem, ale nie odpuszczamy programowania jako takiego (z przewagą Pythona, wiadomo). Poza tym - chyba masz zaległości z poprzedniego numer, prawda?

#ai_ml

GenAI Demo with Kafka, Flink, LangChain and OpenAI
Architektura i demo procesu przesyłania danych Kafką i użycia modeli LLM na tychże danych. W treści tekstu znajdziesz też link do nagrania na YT

Newsletter Dane i Analizy, 2024-04-29

Mon, 29 Apr 2024 15:00:00 +0000

#ai_ml

How to Run Llama 3 Locally?
W zeszłym tygodniu nie było nic o Llama 3, zatem dzisiaj instrukcja jak ten najnowszy model językowy od Facebooka uruchomić lokalnie.

#analiza_danych_koncepcje

Fabric Madness: Experiments
Eksperymenty z MLFlow spięte z MS Fabric

Representing Matrices as JSON Objects
Czy macierz można zapisać w JSONie? Pierwszy z serii artykułów na temat kompromisów pomiędzy macierzami a tym formatem plików

#analiza_danych_projekty

Public Transport Accessibility in Python
Analiza danych geograficznych w Pythonie - dostępność komunikacji miejskiej w Budapeszcie. Ale może to być dostępność do restauracji, aptek czy paczkomatów…

Newsletter Dane i Analizy, 2024-03-11

Mon, 11 Mar 2024 15:00:00 +0000

Chłodzenie procesora - jak robi to inżynier? Jeden pójdzie do sklepu czy serwisu i po prostu kupi “mocne” chłodzenie, a drugi - poświęci “nieco” czasu na napisanie kodu zbierającego dane z różnych czujników, zbuduje dashboard w Grafanie i na podstawie tego co jest na wykresach odpowiednio “pokręci śrubkami”. Mamy o tym tekst dzisiaj, znajdziesz go w Ciekawostkach.

W sekcji o bazach danych znajdziesz coś o DuckdB (znowu… pewien Maciej podejrzewa że mam jakiś procent od DuckDB… ale to serio świetne narzędzie!) czytającym dane z Open Street Map, przy okazji o samym formacie danych OSM. DuckDB za darmo, OSM za darmo, czego chcieć więcej? Zerkaj w sekcję Bazy danych.

Newsletter Dane i Analizy, 2024-02-26

Mon, 26 Feb 2024 15:00:00 +0000

Skupiamy się w tym tygodniu na zagadnieniach związanych z budowaniem rozwiązań skonteneryzowanych. Mamy więc coś o Dockerze i pakowaniu do niego naszych aplikacji (napisanych w różnych językach, żeby było “dla każdego coś miłego”), coś (może nieco więcej niż “coś”) o Kubernetesie - bo to kolejny krok, a wydaje się to być nieco zakręcone. Do tego garść tricków i porad związanych z tymi zagadnieniami, chociażby o nieznanych (albo raczej: nie używanych) opcjach Gita. Ale to dla prawdziwych wyjadaczy.

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2024-01-22

Mon, 22 Jan 2024 15:00:00 +0000

YOLO. Nie tylko “you only live once” ale - w kontekście ML/AI i computer vision - przede wszystkim modele do rozpoznawania obiektów na zdjęciach.
Doczekaliśmy się już kilku wersji algorytmu YOLO, każda kolejna jest szybsza, sprawniejsza, rozpoznająca więcej i lepiej. Na to właśnie idzie klikanie w światła drogowe albo autobusy w obrazkowych captcha ;-)
Więcej o kolejnych wersjach YOLO i ich architekturach dowiesz się z tekstu, w którym dodatkowo znajdziesz linki do tego jak trenować i używać tych modeli.

Newsletter Dane i Analizy, 2023-12-11

Mon, 11 Dec 2023 15:00:00 +0000

Miniony tydzień to uruchomienie nowej wersji asysstenta AI od Google, czyli Gemini (w miejsce Barda). Sam model mówi o sobie, że “jestem zarówno Bardem, jak i Gemini. Bard to nazwa użytkownika, którą wykorzystuję do interakcji z użytkownikami, podczas gdy Gemini to nazwa platformy AI, na której jestem oparty”.
Przedstawienie projektu (przez twórców) mówi o lepszych wynikach od ChataGPT v4 w prawie każdym mierniku., ale niby ma to dostęp do najnowszej wiedzy, ale jednak taki sobie. Z literaturą nieco starszą radzi sobie… sami zobaczcie. Słowacki i “Wesele”? to mogłoby być ciekawe, ale wolę wersję Wyspiańskiego (a filmową od Wajdy stawiam tuż za wajdowską “Ziemią obiecaną”). Czyli też zmyśla.

Newsletter Dane i Analizy, 2023-12-04

Mon, 04 Dec 2023 15:00:00 +0000

W poprzednim tygodniu przeczytać mogliście króciutkie podsumowanie Data Science Summit, a tam stwierdzenie, że dużo się mówi o Streamlit jako sposobie na PoC-owanie prezentacji danych. Świat obecnie idzie również w stronę streamingu i obsługi tak przesyłanych danych - głównie Flinkiem. I na Flinku skupia się dzisiejszy numer naszego newslettera.

Ciekawy jest też niespełna półgodzinne nagranie prezentujące możliwości DuckDB w kontekście danych przestrzennych pozyskanych z Open Street Maps. Chwilę bawiłem się DuckDB ale w połączeniu ze sporymi zbiorami geo (zapisanymi w ShapeFile’ach) i śmiga to wspaniale. Jedyny minus - to baza plikowa, więc średnio do użycia w przypadku dostępu przez wiele aplikacji na raz. Ale jako element w procesie data engineeringu może się bardzo przydać.

Newsletter Dane i Analizy, 2023-10-23

Mon, 23 Oct 2023 15:00:00 +0000

Lubię DuckDB i lubię AirFlow. Kafka jest naturalnym sposobem na przesyłanie danych między systemami czy też mikroserwisami. Stąd też dzisiaj kilka tekstów zahaczających o te wszystkie technologie.

Dodatkowo trochę z obszaru zarządzania - zarówno opis typowego projektu data science jak i metryka opisująca stabilność kolejki prac.

No i trochę o mapkach, bo mapki są fajne.

#ai_ml

Fully Explained Softmax Regression for Multi-Class Label with Python
Klasyfikacja do wielu klas - o co tutaj chodzi? Przewodnik dla początkujących

Newsletter Dane i Analizy, 2023-09-25

Mon, 25 Sep 2023 15:00:00 +0000

W tym tygodniu stawiam na potoki przetwarzające dane i pokazujące je finalnie w jakimś dashboardzie. To najczęstsza robota w korporacjach, szczególnie w zespołach “raportowych”. Dlatego gorąco polecam dzisiejszy dział “Analiza danych - projekty”.

Przy przetwarzaniu danych częstym krokiem jest analiza tego co przychodzi. Można użyć narzędzi BI, można ręcznie rzeźbić kod, a można skorzystać z Data Wranglera - dodatku do VSCode, w którym poszczególne kroki pochodzą z takiego niby wizarda, a w efekcie dostajemy gotowy kod. No trzeba to zobaczyć (10 minut filmu z dość specyficznym akcentem, ale nie takim jak myślicie), a potem można zainstalować.

Newsletter Dane i Analizy, 2023-03-27

Mon, 27 Mar 2023 15:00:00 +0000

Być może przeczytaliście wszystko co było do przeczytania z poprzedniego wydania newslettera, a może coś jeszcze Wam zostało? Dlatego dzisiaj nieco mniej (właściwie - tyle co zwykle) nowości, ale nie oznacza to wcale że jakoś gorzej.

Sporo materiałów dotyczy Sparka i różnych z nim kombinacji - do nauki i szukania kierunków poszerzania wiedzy znakomite punkty wyjścia. Można też nauczyć się czegoś joinach w SQL.

Z nieco bardziej zaawansowanych tekstów polecam ten o Apache Hudi w Uberze oraz o tym jak właściwie działa ChatGPT. A skoro już przy nim jesteśmy - wiele w minionym czasie pojawia się tekstów o tym jak to ChatGPT zabierze pracę różnym ludziom, w tym programistom. Czy zabierze? Przekonamy się. Ale już teraz przeczytajcie jak może być pomocny przy tworzeniu kodu (na przykładzie aplikacji w Streamlit).

Newsletter Dane i Analizy, 2023-03-13

Mon, 13 Mar 2023 15:00:00 +0000

Wielokrotnie na łamach niniejszego newslettera poruszane były tematy związane z Apache Kafka. A to podejście architektoniczne z grubsza mówiące dlaczego Kafka jest fajna i przydatna, a to podejście developerskie - o tym jak wysyłać i konsumować wiadomości z Kafki. Często też trafiają się bardziej zaawansowane przykłady - traktujące Kafkę jako bazę danych (z ktable czy ksql), czasem uzupełnione o Spark Streaming czy inne dodatkowe narzędzia typu Trino.

Ale najczęściej chyba Kafka wykorzystywana jest do przesyłania komunikatów w podejściu publish & subscribe. Są jednak przecież inne rozwiązania kolejkowe - Rabbit, czy na przykład MQTT popularne w rozwiązaniach Internet of Things. Przeczytajcie o podobieństwach i różnicach Kafki z MQTT (tekst Kafka vs Rabbit też oczywiście jest).

Newsletter Dane i Analizy, 2023-02-27

Mon, 27 Feb 2023 15:00:00 +0000

W dzisiejszym wydaniu najwięcej miejsca poświęcam wizualizacji danych i okolicach.

Kalibracja obrazu jest okolicą (bardzo odległą - w sumie oba tematy łączy tylko to, że mamy do czynienia z obrazem), jest też więc coś o tym. Kalibracja jest potrzebna przy problemach natury computer vision, a takowy - w postaci maskowania obiektów na obrazie - też dzisiaj poruszamy.

W poprzednim tygodniu dużym powodzeniem cieszył się tekst o MLOps (jeśli boisz się, że umknęło - zerknij do archiwum), więc dzisiaj kontynuacja, niejako na fali z poprzedniego tygodnia.