Analiza Danych on Łukasz Prokulski, Dane i Analizy

Agenty piszą kod, ale nie projektują systemów. Plus ponad 20 innych materiałów

Mon, 23 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują dwa tematy: agenty AI i granice tego, co faktycznie potrafią, oraz architektura systemów na konkretnych przykładach z produkcji.

Znajdziesz tu też case study Slacka (przebudowa powiadomień), Twittera (500 tys. tweetów na minutę) i Stripe’a (1300 PR-ów tygodniowo), a obok nich – praktyczne materiały o DuckDB, dbt, LangGraph i ClickHouse.

Osobny wątek to praca z modelami językowymi: od kursów Anthropic, przez projektowanie system promptów, po refleksję o tym, dlaczego zaczynamy przepraszać chatboty.

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-04-29

Mon, 29 Apr 2024 15:00:00 +0000

#ai_ml

How to Run Llama 3 Locally?
W zeszłym tygodniu nie było nic o Llama 3, zatem dzisiaj instrukcja jak ten najnowszy model językowy od Facebooka uruchomić lokalnie.

#analiza_danych_koncepcje

Fabric Madness: Experiments
Eksperymenty z MLFlow spięte z MS Fabric

Representing Matrices as JSON Objects
Czy macierz można zapisać w JSONie? Pierwszy z serii artykułów na temat kompromisów pomiędzy macierzami a tym formatem plików

#analiza_danych_projekty

Public Transport Accessibility in Python
Analiza danych geograficznych w Pythonie - dostępność komunikacji miejskiej w Budapeszcie. Ale może to być dostępność do restauracji, aptek czy paczkomatów…

Newsletter Dane i Analizy, 2024-04-15

Mon, 15 Apr 2024 15:00:00 +0000

#analiza_danych_projekty

Mastering Exploratory Data Analysis (EDA)
Usystematyzowane podejście do analizy danych, której celem jest odkrycie istotnych dla przyszłych modeli cech. Za każdym razem robi się to podobnie, więc - warto znać zasady.

Improving Generalization in Survival Models
Analiza przeżycia jako sposób na predykcję odejść pracowników.

#architektura

So You Want to Build An Event Driven System?
Jak zbudować system sterowany zdarzeniami? Jakie są korzyści z przyjęcia tego stylu architektury, jakie są wyzwania i niektóre kompromisy? Nagranie z konferencji [YouTube, 52 minuty, po angielsku]

Newsletter Dane i Analizy, 2024-02-26

Mon, 26 Feb 2024 15:00:00 +0000

Skupiamy się w tym tygodniu na zagadnieniach związanych z budowaniem rozwiązań skonteneryzowanych. Mamy więc coś o Dockerze i pakowaniu do niego naszych aplikacji (napisanych w różnych językach, żeby było “dla każdego coś miłego”), coś (może nieco więcej niż “coś”) o Kubernetesie - bo to kolejny krok, a wydaje się to być nieco zakręcone. Do tego garść tricków i porad związanych z tymi zagadnieniami, chociażby o nieznanych (albo raczej: nie używanych) opcjach Gita. Ale to dla prawdziwych wyjadaczy.

Newsletter Dane i Analizy, 2023-11-06

Mon, 06 Nov 2023 15:00:00 +0000

Odcinek przeprowadzkowy, gdyż miniony tydzień (a nawet dwa) to jedno wielkie urwanie głowy. Cały tydzień minął mi pod hasłem “przeprowadzka”, a to jak pewnie możecie się domyślać czas spędzony na pakowaniu, na rozpakowywaniu i (co najgorsze dla pracownika umysłowego ;-) noszeniu paczek. Szczerze mówiąc jakieś 20, może 30 procent rzeczy trafiło do utylizacji. A niby człowiek sprząta i pozbywa się na bieżąco.

Ale nie poddajemy się i życie trwa, newsletter wychodzi, a żona dała radę też nagrać odcinek swojego programu o książkach (już z pustego mieszkania). Jeśli interesuje Was literatura to serdecznie polecam Znalezione przeczytane.

Newsletter Dane i Analizy, 2023-09-25

Mon, 25 Sep 2023 15:00:00 +0000

W tym tygodniu stawiam na potoki przetwarzające dane i pokazujące je finalnie w jakimś dashboardzie. To najczęstsza robota w korporacjach, szczególnie w zespołach “raportowych”. Dlatego gorąco polecam dzisiejszy dział “Analiza danych - projekty”.

Przy przetwarzaniu danych częstym krokiem jest analiza tego co przychodzi. Można użyć narzędzi BI, można ręcznie rzeźbić kod, a można skorzystać z Data Wranglera - dodatku do VSCode, w którym poszczególne kroki pochodzą z takiego niby wizarda, a w efekcie dostajemy gotowy kod. No trzeba to zobaczyć (10 minut filmu z dość specyficznym akcentem, ale nie takim jak myślicie), a potem można zainstalować.

Newsletter Dane i Analizy, 2023-08-07

Mon, 07 Aug 2023 15:00:00 +0000

Jakie bazy danych są popularne? Które są używane, a których programiści chcieliby użyć w swoim kolejnym projekcie? Między innymi takie pytania zadano w ankiecie State of Databases 2023, której podsumowanie właśnie opublikowano. Takie ankiety są obrazem rynku - warto śledzić trendy, bo można z nich wywnioskować jakich narzędzi używają inni, w jakie warto inwestować (aby znaleźć pracowników albo pracę). Czy wyniki takich ankiet odpowiadają na pytanie Która technologia jest najlepsza? - zdecydujcie sami.

Newsletter Dane i Analizy, 2023-06-05

Mon, 05 Jun 2023 15:00:00 +0000

Czy ChatGPT może nauczyć Cię data science? Czy czas mentorów się kończy?

Raczej nie “włoży” do Twojej głowy wiedzy, ale może pokazać kierunki, w których warto podążać w poszukiwaniu kolejnych elementów wiedzy. Może też odpowiedzieć na pytania, podać gotowe rozwiązania (chociażby w postaci fragmentów kodu). O tym mówi ten tekst.

Ale czy to, że mamy takie narzędzia dostępne na wyciągnięcie ręki sprawi, że staniemy się mądrzejsi? Dzisiaj dział ChatGPT dość obfity - chyba uczymy się powoli wykorzystywać to narzędzie w różnych zastosowaniach, po prostu w swojej pracy.

Newsletter Dane i Analizy, 2023-05-29

Mon, 29 May 2023 15:00:00 +0000

Dość przekrojowo dzisiaj.

Najciekasze według mnie tekstu to ten o sensownym nadawaniu gwiazdek produktom (ile razy filtrowaliście produkty w sklepie internetowym przed kupnem po najlepszej ocenie i okazywało się, że z “piątką” jest tylko jeden?), ten o SoftMax (nie przeraź się równaniami na początku, chociaż może podstawy matematyczne są akutat dla Ciebie cenne?).

Bardzo dajny jest też dział Python - od rzeczy prostych typu wiele wykresów na jednym obrazku do modelu (no…) informującego o tym że akcje należy kupić albo sprzedać.

Newsletter Dane i Analizy, 2023-01-23

Mon, 23 Jan 2023 15:00:00 +0000

Dzisiaj sporo materiałów edukacyjnych, konkretnych przykładów i rozwiązań (przynajmniej takie mam nadzieję, że tak zostaną przez Was odebrane).

Przypominam, że CuValley Hack, hackathon organizowany przez #KGHM, startuje już w tym tygodniu - 27.01!

Co Was czeka: 4 zadania i 127 500 PLN do wygrania! 40h kodowania analiza danych, #AI, #MachineLearning, #BigData webinary, Keynote Speakerzy i duża dawka wiedzy

Szczegóły (na przykład zadania) i darmowa rejestracja na stronie www.cuvalley.com

Dane i Analizy to patron społecznościowy, a ten konkretny konkurs to spełnienie mojej idei hackathonu: dane z przemysłu i rozwiązania dla przemysłu.

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2022-05-02

Mon, 02 May 2022 15:00:00 +0000

Dzisiaj wielkie święto. I nie chodzi o święto flagi, a o nowy post na blogu. Minął prawie rok od poprzedniego, więc dzień ten zasługuje na miano święta ;-)

Rozproszona architektura, mikroserwisy i baza nosql - taka armata na zwykły sklep internetowy? Tak! Z wyjaśnieniem dlaczego i przykładami w Pythonie! Właśnie to znajdziecie w moim wpisie Sklep rozproszony. To zrobiony w kilka dni proof of concept działania nowoczesnej architektury w dość prostym problemie. Zapraszam do lektury.

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).

Newsletter Dane i Analizy, 2022-04-11

Mon, 11 Apr 2022 15:00:00 +0000

Trochę mniej artykułów, ale jeden z nich to potężny kolos (ten o SHAP). Do tego bardzo fajne porady dla początkujących w Pythonie i ciekawe koncepcje w świecie big data (jakby ktoś chciał postawić klaster to jest o tym poradnik).

Zaś w przyszłym tygodniu zrobimy sobie przerwę świąteczną - polewajcie się wodą za tydzień (oby pogoda dopisała), a nie zajmujcie się komputerami. Wesołych Świąt!

#analiza_danych_koncepcje

Revisiting MNIST with Fresh Eyes
Każdy kto próbował machine learningu albo deep learningu (w szczególności sieci CNN) zetknął się ze zbiorem ręcznie pisanych cyfr MNIST. Tutaj inne podejście do znanego problemu

Newsletter Dane i Analizy, 2021-11-01

Mon, 01 Nov 2021 09:00:00 +0000

Beginner’s Guide to AutoML with an Easy AutoGluon Example
This article was published as a part of the Data Science Blogathon Machine Learning is popular and is being used everywhere for applications ranging from financial services to healthcare, marketing & advertising to manufacturing. Almost all industries seem to derive substantial benefit using some form of Machine Learning. Over the recent past, automation technology also […] The post (…)

Visualising Similarity Clusters with Interactive Graphs
Take advantage of Python, Plotly, and NetworkX to create interactive graphs to find similarity clusters Let us assume, as a running example, that my data is composed of word embeddings of the English language. I want to gain insights about the word distribution in the embedding space, specifically, if there are any clusters of very similar words, if there are words that are completely different (…)

Newsletter Dane i Analizy, 2021-09-20

Mon, 20 Sep 2021 09:00:00 +0000

VLOOKUP implementation in Python in three simple steps
Oftentimes, in the field of data analytics, it’s the data cleaning and processing that takes the most amount of time and effort. While the steps such as data cleaning, filtering, and pre-processing are generally under-evaluated or overlooked as compared to more juicy components such as the model development, it’s the quality of data that determines the quality of output. As it is rightly said, (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-08-30

Mon, 30 Aug 2021 09:00:00 +0000

Monte Carlo Cost Estimates: Engineers Throwing Dice
Estimating the cost of a complex project is not a trivial task. Traditional cost estimates are full of assumptions about the future state of the market and the final deliverable. Monte Carlo cost estimates are a tool to better understand the risks in your project and enable better cost control. Monte Carlo simulations are a technique to control your “known unknowns”. Albert Einstein famously said (…)

Newsletter Dane i Analizy, 2021-07-31

Sat, 31 Jul 2021 09:00:00 +0000

How to Model Time Between Events Using the Exponential, Gamma, and Poisson Distributions
How to model time-to-event and ‘time between events’ on real data using the Exponential Family to optimize returns of time driven investments. Screenshots from within the article. Usually, when we have time as a variable on a dataset, we can model other variables reflected in time itself, whether we apply Time Series Analysis or just use time to cut our data and apply continual ML or S tate Space (…)

Newsletter Dane i Analizy, 2021-06-14

Mon, 14 Jun 2021 09:00:00 +0000

Raspberry Pi Gardening: Monitoring a Vegetable Garden using a Raspberry Pi - Part 1
On how growing vegetables is more complicated how it looks, why bad soldering still works, on moving individual bits around, and what I learned about using technology where one probably does not need technology.

Air Piano using OpenCV and Python
Play the piano by just moving your fingers in the air! Taken from Unsplash My inspiration to make an “Air Piano” Recently I visited my cousin and she had been trying to learn piano for quite some time. However, due to the pandemic, her teacher could not come home and they were practising through (…)

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

Wyniki wyborów prezydenckich 2020 - coś więcej niż mapki

Sun, 19 Jul 2020 21:51:41 +0000

Wybraliśmy nowego prezydenta Polski. Jak zwykle internet zalała seria mapek z wynikami. Ale czy mapki to wszystko co można wyciągnąć?

Mapkami podniecają się wszyscy, ale tak właściwie co one mówią o wynikach wyborów i osobach, które oddały swój głos? Dlaczego Andrzej Duda wygrał w jednych rejonach, a Rafał Trzaskowski w innych?

Oczywiście media teraz nieco onanizują się tym, że jeden kandydat wygrał więcej gmin, a inny więcej województw (proporcjonalnie oczywiście). Mapkę narysować można zawsze (zresztą z wynikami po gminach publikowałem na Twitterze jako jeden z pierwszych - dlatego warto śledzić mnie na Twitterze), o tutaj:

Promocja na książki

Sat, 11 Jul 2020 10:03:15 +0000

Jeszcze tylko do poniedziałku 13.07 promka wakacyjna w Helionie, łapcie póki są porządne rabaty!

Deep learning z Kerasem w Pythonie, a konkretnie pozycja Deep Learning. Praca z językiem Python i biblioteką Keras i wersja dla R: Deep Learning. Praca z językiem R i biblioteką Keras
Ponoć najlepsza książka do nauki Pythona Automatyzacja nudnych zadań z Pythonem. Nauka programowania
Oraz dla równowagi - najlepsza książka do nauki R: Język R. Kompletny zestaw narzędzi dla analityków danych
Analiza danych to też SQL, zatem Praktyczny kurs SQL
Najlepszym środowiskiem do pracy jest mimo wszystko Linux - podstawy złapiesz dzięki Linux. Komendy i polecenia
Ale nie wszystko musisz mieć zainstalowane na jakimś serwerze - są rozwiązania kontenerowe, więc Docker. Praktyczne zastosowania może okazać się dobrym pomysłem.
Chyba, że wolisz pozostać w świecie Excela, wówczas przyda Ci się Biblia Excela. Sposobem na przejście do bardziej zaawansowanych technik jest Power Query, w korporacjach przyda się więc Power Query w Excelu i Power BI. Zbieranie i przekształcanie danych.

Więcej książek w ramach promocji znajdziecie na stronie.