Scikit-Learn on Łukasz Prokulski, Dane i Analizy

Więcej niż podstawy: dbt w startupach, HTAP i inteligentne oszczędzanie tokenów

Mon, 15 Jun 2026 15:00:00 +0000

Połowa czerwca to tradycyjnie czas stabilizacji przed wakacyjnym sezonem ogórkowym, ale patrząc na tempo publikacji technicznych – nikt nie planuje zwalniać obrotów.
Zanim jednak uciekniesz na zasłużony urlop, trzymaj solidną dawkę inżynierskiej wiedzy, która idealnie sprawdzi się do czytania przy poniedziałkowej porannej kawie (w końcu nic tak nie relaksuje jak lektura o optymalizacji partycji w Cassandrze przez inżynierów z Netfliksa!).

W tym wydaniu newslettera skupiam się na dynamicznie rozwijających się systemach agentowych oraz wyzwaniach architektury danych w czasie rzeczywistym.

Polski tutorial z vide codingu + nierówności w globalnej adopcji AI - Newsletter Dane i Analizy (🗓 %Y-%m-%d)

Mon, 22 Sep 2025 15:00:00 +0000

Jeśli dopiero zaczynasz przygodę z vibe codingiem i Claude Code, koniecznie obejrzyj 48-minutowy tutorial, który przeprowadzi Cię przez budowę kompletnej aplikacji. Dla bardziej zaawansowanych użytkowników są materiały o zarządzaniu serwerami MCP w produkcji oraz wyzwaniach związanych z governance w systemach autonomicznych.

Miłośnicy analizy danych znajdą praktyczne wskazówki dotyczące wizualizacji z wykorzystaniem Pythona i Seaborn, implementację XAI z biblioteką SHAP, a także 10 sprytnych trików do pracy z danymi kategorycznymi w scikit-learn. Szczególnie imponujący jest przypadek optymalizacji SQLite, gdzie wydajność wzrosła (jak twierdzi autor) z 19 tysięcy do 4,2 miliona zdarzeń na sekundę!

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2024-11-11

Mon, 11 Nov 2024 15:00:00 +0000

Święto lasu słuchajcie! I to nie chodzi wcale o to, że dzisiaj mamy Narodowe Święto Niepodległości, ale o to, że w newsletterze mało o Pythonie! Więcej mamy w działce “DevOps” (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB…

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Newsletter Dane i Analizy, 2024-09-09

Mon, 09 Sep 2024 15:00:00 +0000

W tym tygodniu prowadzę szkolenie (a w zeszłym prowadziłem przykładowo konkurs na imprezie firmowej - więc “szkolenia, prelekcje, podcasty, śluby, chrzciny i pogrzeby” są w ofercie Dane i Analizy :), więc nieco mniej czasu na przygotowanie newslettera - wybaczcie zatem, że bez standardowego wstępu. Liczę jednak na to, że dobór materiałów na zadowalającym poziomie.

#ai_ml

Evaluating Handwritten digital Recognition Models
MNIST to jeden z najpopularniejszych zbiorów danych. Porównanie modeli rozpoznających ręcznie pisane cyfry (i tu zbiorem nie jest MNIST).

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-06-26

Mon, 26 Jun 2023 15:00:00 +0000

Rozpoczynamy pierwszy tydzień wakacji, ale to wcale nie oznacza, że newsletter ma urlop. Wręcz przeciwnie.

W dzisiejszym wydaniu kilka tekstów opisujących dobre praktyki i całe cykle tutorialowe: CRUD-woe API dla MongoDB czy też asynchroniczne mikroserwisy spięte Rabbitem. To dla tych średniozaawansowanych programistów (i tych, którzy chcą swoją wiedzę przenieść z poziomu juniorskiego na wyższy). Dla tych bardziej juniorów - korepetycje z Window Functions w SQLu i “rozpakowywujących” gwiazdek w Pythonie (mimo że to nie Gwiazdka, he he, zacny suchar).

Newsletter Dane i Analizy, 2023-06-12

Mon, 12 Jun 2023 15:00:00 +0000

Piękna, słoneczna (przynajmniej ma Mazurach i w Warszawie) pogoda w “długi weekend” pozwoliła (mam nadzięję) na trochę wytchnienia od komputerów, programowania, budowania modeli i tworzenia sztucznych inteligencji. Po odpoczynku można do tego wrócić :)

A właśnie - budowanie większości modeli ML/AI sprowadza się do kilku podstawowych i powtarzalnych etapów:
gromadzenie danych przegląd danych i ich wzajemnych zależności czyszczenie i uzupełnianie braków dobór hiperparametrów do modelu trenowanie modelu ocena jego jakości użycie modelu na nowych danych

Newsletter Dane i Analizy, 2022-09-19

Mon, 19 Sep 2022 15:00:00 +0000

Dzisiaj sporo tekstów dotyka sieci neuronowych. a może lepiej powiedzieć: TensorFlow. Mamy krótkie przedstawienie jak w ogóle sieci działają, kilka tekstów pokazujących jak z TensorFlow pracować i przygotowywać modele. Interesujące jest porównanie modeli regresji liniowej zawartych w pythonowym SciKit-Learn.

Dla początkujących i średniozaawansowanych mamy dwa obszary: scheduler zadań czyli coś o Apache Airflow oraz (też Apache) Spark o łączeniu danych i wykorzystaniu w NLP

Mam też dla Was coś specjalnego. Każdy lubi rabaty, a ja daję bezterminowo 15% zniżki na Karty Data Science!

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2021-11-29

Mon, 29 Nov 2021 15:00:00 +0000

Po testach na produkcji z poprzedniego tygodnia przybyło Was równo pięćdziesiąt! Dzięki za zaufanie, mam nadzieję że niniejsze wydanie newslettera Dane i Analizy (jest archiwum!) Was nie rozczaruje i pozostaniecie wiernymi czytelnikami.

A dzisiaj sporo materiału, na nowo pokuładanego - liczę, że taki układ ułatwi Wam poruszanie się po newsletterze i docieranie do tych najbardziej interesujących treści. Po migracji na serwis Raindrop.io (polecam, nie mam w tym żadnego interesu) łatwiejsze dla mnie stało się przygotowanie newslettera, w tym - co chyba najważniejsze - ręczne wybieranie materiałów i ich opisywanie.

Newsletter Dane i Analizy, 2021-08-30

Mon, 30 Aug 2021 09:00:00 +0000

Monte Carlo Cost Estimates: Engineers Throwing Dice
Estimating the cost of a complex project is not a trivial task. Traditional cost estimates are full of assumptions about the future state of the market and the final deliverable. Monte Carlo cost estimates are a tool to better understand the risks in your project and enable better cost control. Monte Carlo simulations are a technique to control your “known unknowns”. Albert Einstein famously said (…)

Newsletter Dane i Analizy, 2021-07-19

Mon, 19 Jul 2021 09:00:00 +0000

Dobry, zły i brzydki – Parę słów o Pandas UDF w Apache Spark | Tech Blog ING Bank Śląski
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak (…)

Geocoding in Python: A Complete Guide
A step-by-step tutorial on geocoding with Python Continue reading on Towards Data Science »

Newsletter Dane i Analizy, 2021-05-31

Mon, 31 May 2021 09:00:00 +0000

Containers: The actual mechanism behind the technology and why Kubernetes depreciated Docker
In this article, we will be covering all the details about containers i.e. how they actually work behind the scene and all the parts it… Continue reading on Medium »

Fully Explained Hierarchical Clustering with Python
Programming Agglomerative clustering in unsupervised machine learning Hierarchical clustering. A photo by Author In this article, we will discuss hierarchical clustering algorithms in unsupervised machine learning. This algorithm is based on the splitting and merging of nested clusters. The linkage (…)

Hyperopt i szukanie najlepszego parametru

Wed, 23 Dec 2020 15:04:21 +0000

Kontynuując cykl o Pipelines w SciKit-Learn zajmiemy się tematem kręcenia śrubkami w modelach w poszukiwaniu najlepszego wyniku. Użyjemy do tego pakietu hyperopt.

W poprzednich częściach poznawaliśmy co to “pipeline” w SciKit-Learn, tworzyliśmy własne estymatory (przy okazji ucząc się trochę o programowaniu obiektowym, klasach i dziedziczeniu - nawet jeśli to było nieświadome). Dzisiaj ostatnia część z cyklu - kręcenie śrubkami zwanymi hyperparametrami.

Ostatnio przeszukiwaliśmy siatkę hyperparametrów (wszystkie możliwe kombinacje) przy użyciu wbudowanych w SciKit-Learn mechanizmów (na przykład GridSearchCV). Dzisiaj poszukamy innej metody, innego pakietu. A będzie nim hyperopt.

Pipeline w SciKit Learn - własny estymator

Thu, 05 Nov 2020 15:32:20 +0000

Dzisiaj napiszemy własny (a raczej poznamy mechanikę działania) oraz nauczymy się szukać najlepszych hyper parametrów dla modelu (właściwie: całego pipeline) w zwarty sposób.

W pierszej części zobaczyliśmy jak zbudować pipeline dla danych i modeli. Dzięki temu dostaliśmy możliwość zmiany sposobu transformacji danych i zmiany modeli w ramach prostego, zwartego kodu. Ale co jeśli potrzebujemy jakiś transformator którego nie ma w pakietach?

Tak jak poprzednio - nasze działania oprzemy na Pythonie i pakiecie scikit learn. Podobne rozwiązania można znaleźć w R (jeśli tego szukasz - zainteresuj się Tidymodels).

Pipeline w SciKit Learn

Sat, 10 Oct 2020 11:21:01 +0000

Co to są pipelines w sci-kit learn i jak je wykorzystać? Czyli bardziej efektywne szukanie najlepszego modelu.

Photo by JJ Ying on Unsplash

Jeśli zajmujesz się tworzeniem modeli na przykład klasyfikujących jakieś dane to pewnie wielokrotnie powtarzasz te same kroki:

wczytanie danych
oczyszczenie danych
uzupełnienie braków
przygotowanie dodatkowych cech (feature engineering)
podział danych na treningowe i testowe
dobór hyperparametrów modelu
trenowanie modelu
testowanie modelu (sprawdzenie skuteczności działania)

I tak w kółko, z każdym nowy modelem.