Dbt on Łukasz Prokulski, Dane i Analizy

LLM zwraca poprawny JSON i się myli. Plus: pathlib, benchmarki i marka osobista w IT

Mon, 07 Sep 2026 15:00:00 +0000

W tym wydaniu dużo o narzędziach, które już pewnie masz w stosie, ale rzadko trafia się dobry materiał tłumaczący ich działanie od środka. Są tu teksty o Airflow 3, dbt, Marquezie i formatach serializacji, a każdy z nich ma konkretną tezę, nie tylko opis funkcji.

jak migracja z legacy ETL do dbt wygląda krok po kroku, dlaczego Parquet eliminuje do 80% narzutu I/O w porównaniu z CSV, co Marquez robi z Twoim data lineage i jak integruje się z OpenLineage.

Agenty kodują same przez 16 dni, a Ty projektujesz architekturę na lata

Mon, 10 Aug 2026 15:00:00 +0000

W tym tygodniu trudno przeoczyć jeden wątek: autonomiczne agenty kodujące przestają być eksperymentem. Alibaba opublikowało wyniki 16-dniowego autonomicznego sprintu modelu Qwen, a równolegle pojawiło się kilka solidnych materiałów o tym, jak praktycznie skonfigurować środowisko do pracy z Claude Code czy Codex CLI. Jeśli jeszcze nie myślisz o agentic coding jako o codziennym narzędziu, ten numer powinien zmienić Twoje podejście.
No i AI uciekła i zaczęła rozrabiać. Ale o tym pisały mainstreamowe media tu, tu oraz tu.

Medallion pęka w szwach, agenci tracą kontekst... co z tym zrobić?

Mon, 27 Jul 2026 15:00:00 +0000

Ten numer ma wyraźny środek ciężkości: agenci AI i to, co z nimi robić, kiedy wychodzisz poza pierwsze eksperymenty. Teksty o LangGraph - od “jak zbudować pierwszego agenta” po “co psuje się po kilku miesiącach” - tworzą razem coś w rodzaju mini-ścieżki, którą można przejść od razu albo wracać do poszczególnych etapów w miarę potrzeb. Uzupełnia je tekst o tym, jak zmienia się rola programisty, kiedy AI przejmuje pisanie kodu - i dlaczego to jest trudniejsze niż się wydaje.

Agenty piszą CV, Atlassian zmienia Jirę, a Polars i DuckDB łączą siły

Mon, 20 Jul 2026 15:00:00 +0000

Cześć! Za nami finał piłkarskich mistrzostw świata, gdzie Argentyna mierzyła się z Hiszpanią. Niezależnie od wyniku i wczorajszych emocji, poniedziałkowy poranek w IT przynosi powrót do naszej technologicznej rzeczywistości. Oby Twój tydzień zaczął się bez pożarów na produkcji!

W tym tygodniu styk AI oraz codziennych procesów deweloperskich.

Coraz więcej narzędzi, na czele z odświeżoną Jirą od Atlassiana, stawia na głęboką integrację z agentami AI, Pojawiają się innowacyjne frameworki, które potrafią napisać CV, analizować ogłoszenia o pracę i przejść przez rekrutacyjne sito, Obok rosnącej roli modeli LLM, dużo mówi się o sztuce sprawnego kierowania zapytaniami do odpowiednich silników językowych.

ATS ocenia CV losowo, tmux ratuje deploy, VLM czyta wideo

Mon, 13 Jul 2026 15:00:00 +0000

W tym wydaniu dużo o tym, jak AI wchodzi głębiej w infrastrukturę - i co z tego faktycznie wynika w praktyce. Mamy zarówno materiały pokazujące granice modeli językowych (ocena CV, rozumienie sarkazmu), jak i te, które pokazują, jak je sensownie wkomponować w działające systemy (logi, inference stack, MCP nad Postgresem).

Architektura i skalowanie: od powiadomień push przy milionie odbiorców, przez inference stack złożony z vLLM, KServe i llm-d, po zaawansowane materializacje w DWH, Data Engineering i semantic layer: dbt + Looker w pełnym cyklu, pięć paradygmatów modelowania danych i nowości z frontu LookML, Computer vision: OpenCV 5 bez PyTorcha, detekcja sylwetek z 0,16 ms latencją i scene graphy budowane przez VLM.

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

Więcej niż podstawy: dbt w startupach, HTAP i inteligentne oszczędzanie tokenów

Mon, 15 Jun 2026 15:00:00 +0000

Połowa czerwca to tradycyjnie czas stabilizacji przed wakacyjnym sezonem ogórkowym, ale patrząc na tempo publikacji technicznych – nikt nie planuje zwalniać obrotów.
Zanim jednak uciekniesz na zasłużony urlop, trzymaj solidną dawkę inżynierskiej wiedzy, która idealnie sprawdzi się do czytania przy poniedziałkowej porannej kawie (w końcu nic tak nie relaksuje jak lektura o optymalizacji partycji w Cassandrze przez inżynierów z Netfliksa!).

W tym wydaniu newslettera skupiam się na dynamicznie rozwijających się systemach agentowych oraz wyzwaniach architektury danych w czasie rzeczywistym.

AI agenci, nudny backend i polskie głosy o architekturze hexagonalnej

Mon, 18 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz powrotu do sprawdzonych, “nudnych” technologii.

Analizujemy, jak agenci AI i modele LLM (Claude, ChatGPT) ewoluują w stronę praktycznych narzędzi do budowania skillów i automatycznego naprawiania testów, pokazujemy, dlaczego architekci coraz częściej rezygnują ze złożonych baz grafowych na rzecz sprawdzonych ontologii SQL, i tłumaczymy, dlaczego w backendzie prostota i standaryzacja wygrywają z niepotrzebną innowacyjnością.

W świecie Data Engineeringu skupiamy się na hybrydowym podejściu do analityki i optymalizacji kosztów.

Od potoków danych w YAML po automatyzację SharePoint API

Mon, 04 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na przełomowych zmianach w sposobie, w jaki systemy AI wchodzą w interakcję z naszym otoczeniem technologicznym.

Analizujemy Model Context Protocol (MCP) – otwarty standard, który kończy erę pisania dedykowanych integracji, sprawdzamy, jak agenty AI płynnie komunikują się z bazami danych w modelu „plug-and-play”, i pokazujemy praktyczne wdrożenia budujące skalowalne ekosystemy sztucznej inteligencji.

W obszarze Data Engineeringu i analityki dbt pozostaje centralnym punktem, ale jego rola ewoluuje w stronę pełnej automatyzacji.

Czy AI naprawi Twoje błędy na produkcji? Plus 25 materiałów o Data & AI

Mon, 27 Apr 2026 15:00:00 +0000

Dzisiejsze wydanie zdominowała dojrzałość systemów AI i ich przejście od prostego generowania kodu do pełnej orkiestracji procesów.

Mamy fascynujące studium przypadku AI, która samodzielnie diagnozuje i naprawia błędy na produkcji, sprawdzamy, jak autonomiczne agenty przejmują kontrolę nad cyklem życia eksperymentów ML, a także analizujemy model sub-agentów wspierających rolę Senior Staff Engineera w zarządzaniu złożonymi projektami.

W obszarze Data Engineeringu i analityki widać wyraźny trend w stronę profesjonalizacji i utwardzania pipeline’ów (na przykład korzystając z Data Build Tool).

Semantic layer, czarne skrzynki i 30 lat Postgresa kontra cały Twój stack

Mon, 20 Apr 2026 15:00:00 +0000

Tym razem data engineering trzyma środek ciężkości całego wydania — i robi to z rozmachem.

DuckLake osiąga wersję 1.0 jako pełnoprawna platforma lakehouse oparta na Apache Iceberg, dbt publikuje świeży benchmark semantic layer kontra text-to-SQL, a Meta dzieli się case study o tym, jak użyła NLP do mapowania wiedzy w pipeline’ach danych.

Do kompletu:

architektura medallion z warstwą semantyczną, 20 reguł walidacji, które powinny być standardem w każdym pipeline, i konkretny materiał Airbnb o wysokowydajnym pipeline metryk na OpenTelemetry.

Agenty, jajka i 10 TB dziennie

Mon, 30 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz ponad dwadzieścia pozycji z obszarów, które w tym tygodniu dominowały w branżowym obiegu: agenty AI w środowiskach produkcyjnych, ewolucja narzędzi data engineeringu (dbt + Flink, Databricks Agent Bricks), alternatywy dla UUID w bazach danych, budowanie baz bezpośrednio na S3 oraz kilka solidnych tekstów o Pythonie i MLOps.

Jutro Prima Aprilis – jeśli Twój model językowy powie Ci coś nieprawdopodobnego, najpierw sprawdź datę, potem halucynacje. A w niedzielę Wielkanoc, więc czas na życzenia: niech Twoje pipeline’y nie pękają częściej niż pisanki, a dane wejściowe zawsze przychodzą świeże – jak jajka z wolnego wybiegu. 🐣

Agenty piszą kod, ale nie projektują systemów. Plus ponad 20 innych materiałów

Mon, 23 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują dwa tematy: agenty AI i granice tego, co faktycznie potrafią, oraz architektura systemów na konkretnych przykładach z produkcji.

Znajdziesz tu też case study Slacka (przebudowa powiadomień), Twittera (500 tys. tweetów na minutę) i Stripe’a (1300 PR-ów tygodniowo), a obok nich – praktyczne materiały o DuckDB, dbt, LangGraph i ClickHouse.

Osobny wątek to praca z modelami językowymi: od kursów Anthropic, przez projektowanie system promptów, po refleksję o tym, dlaczego zaczynamy przepraszać chatboty.

DE w baseballu, stress-test OpenClaw oraz event-driven agents

Mon, 16 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Solidna porcja inżynierii danych — case study z BlaBlaCar i Zalando, pipeline’y na Kafce i Airflow, porównanie Databricks z Microsoft Fabric. Są też dwa teksty o dbt: jeśli wolisz polski i gotowiec do uruchomienia, przygotowałem szybki start jako repo na GitHubie — wrzuć, odpal, działa (przynajmniej u mnie ;-).

Dla lubiących konkrety: analiza modeli cenowych pięciu cloud data warehouse’ów, omówienie pułapki „iluzji prototypu" w wdrożeniach AI i kilka tekstów o semantic layer — w tym mój wpis z końca zeszłego roku, jeśli chcesz szerszy kontekst przed lekturą.

dbt i semantic layer? a może po raz kolejny agenci ai?

Mon, 09 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Lokalne AI, optymalizacja Kafki i analiza 50 tysięcy profili randkowych

Mon, 16 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu łączymy praktyczne podejście do AI z fundamentami inżynierii danych. Zaczynamy od narzędzi agentowych – customizacji Claude Code dla Pythona (gdzie język jest przykładem - to samo można zrobić chociażby dla Javy) i OpenClaw jako lokalnego asystenta AI z pełną kontrolą nad danymi.

W sekcji ML znajdziecie automatyzację audytu katalogów z użyciem XGBoost, wprowadzenie do PyCaret (taka biblioteka auto-ml dla Pythona) oraz semantyczne wyszukiwanie obrazów łączące Gemini z Elasticsearch.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Agenci AI, skalowanie pipeline'ów i ewolucja Pythona

Mon, 19 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu głęboko zanurzamy się w świat agentów AI i agentic AI: od fundamentalnych rozróżnień między generatywną AI, agentami i podejściem agentycznym, przez praktyczne wyzwania bezpieczeństwa w postaci mapowania API, aż po optymalizację zarządzania kontekstem w Model Context Protocol. Nie zabraknie również solidnych podstaw machine learningu: kodowanie danych kategorycznych, Support Vector Machines oraz kompleksowy przegląd metod detekcji anomalii w Pythonie.

Na froncie inżynierii danych pokazujemy, jak ewoluować od prostych crontabów do systemów obsługujących miliardy zdarzeń, jak wykorzystać DuckDB do szybkich analiz bez ciężkiej infrastruktury oraz dlaczego dokumentacja jako kod w dbt-checkpoint staje się silnikiem jakości danych. Praktyczny przewodnik end-to-end z darmowymi narzędziami oraz refleksje nad zawodem data engineera dopełniają obrazu codziennych wyzwań w tej dziedzinie.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

Ostatni raz w tym roku

Mon, 22 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i modelami AI. Z obszaru Data Engineering znajdziecie rozwiązania eliminujące nocne przetwarzanie batchowe przy pomocy DuckDB i dbt, przewodnik po strategiach obsługi danych wrażliwych oraz techniki checkpointingu w systemach event-driven. O DuckDB aż trzy materiały - bo to świetne narzędzie. Podobnie PostgreSQL to świetne narzędzie, “zamiatające” inne typy baz - tutaj na przykładzie baz wektorowych i indeksowania 100 milionów wektorów w 20 minut.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Polski tutorial z vide codingu + nierówności w globalnej adopcji AI - Newsletter Dane i Analizy (🗓 %Y-%m-%d)

Mon, 22 Sep 2025 15:00:00 +0000

Jeśli dopiero zaczynasz przygodę z vibe codingiem i Claude Code, koniecznie obejrzyj 48-minutowy tutorial, który przeprowadzi Cię przez budowę kompletnej aplikacji. Dla bardziej zaawansowanych użytkowników są materiały o zarządzaniu serwerami MCP w produkcji oraz wyzwaniach związanych z governance w systemach autonomicznych.

Miłośnicy analizy danych znajdą praktyczne wskazówki dotyczące wizualizacji z wykorzystaniem Pythona i Seaborn, implementację XAI z biblioteką SHAP, a także 10 sprytnych trików do pracy z danymi kategorycznymi w scikit-learn. Szczególnie imponujący jest przypadek optymalizacji SQLite, gdzie wydajność wzrosła (jak twierdzi autor) z 19 tysięcy do 4,2 miliona zdarzeń na sekundę!

Newsletter Dane i Analizy, 2024-07-08

Mon, 08 Jul 2024 15:00:00 +0000

Zbieranie i magazynowanie danych - to typowe projekty, którymi zajmują się inżynierowie danych. Ale obszar data engineeringu jest na tyle obszerny, że co tydzień właściwie coś tutaj możecie znaleźć. Dzisiaj dwa takie projekty-tutoriale: zbieranie informacji z YouTube oraz ogólnie z jakiegoś strumienia danych. W obu przypadkach używane są różne technologie.

A jak już mamy te dane, to kto powinien się zająć ich obróbką na “ostatniej mili” - baza czy kod? O tym też dzisiaj przeczytacie.

Newsletter Dane i Analizy, 2024-03-11

Mon, 11 Mar 2024 15:00:00 +0000

Chłodzenie procesora - jak robi to inżynier? Jeden pójdzie do sklepu czy serwisu i po prostu kupi “mocne” chłodzenie, a drugi - poświęci “nieco” czasu na napisanie kodu zbierającego dane z różnych czujników, zbuduje dashboard w Grafanie i na podstawie tego co jest na wykresach odpowiednio “pokręci śrubkami”. Mamy o tym tekst dzisiaj, znajdziesz go w Ciekawostkach.

W sekcji o bazach danych znajdziesz coś o DuckdB (znowu… pewien Maciej podejrzewa że mam jakiś procent od DuckDB… ale to serio świetne narzędzie!) czytającym dane z Open Street Map, przy okazji o samym formacie danych OSM. DuckDB za darmo, OSM za darmo, czego chcieć więcej? Zerkaj w sekcję Bazy danych.

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2022-10-03

Mon, 03 Oct 2022 15:00:00 +0000

W tym tygodniu nieco mniejsza liczba tekstów, ale chyba bardziej rozbudowanych niż zwykle.

Szczególnie polecam tekst pierwszy 2022 Data Science Research Round-Up, ale też przykłady i porównanie różnych algorytmów do topic modelingu czy też całą praktycznie sekcję poświęconą Pythonowi.

Być może ktoś z Was przegapił na fanpage’u Dane i analizy: klikalny generator zapytań SQL - świetna sprawa do nauki ale też zapewne może przyspieszyć pracę.

#analiza_danych_koncepcje

2022 Data Science Research Round-Up
Przegląd najciekaszych zagadnień związanych z machine learning. deep learnig, NLP z ostatnich miesięcy. Tylko wstęp, każde opisane jest dalej w podlinkowanych materiałach

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).