Pandas on Łukasz Prokulski, Dane i Analizy

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Agenci AI, data engineering i fine-tuning LLM

Mon, 17 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i sztuczną inteligencją (co nie jest niczym nowym dla stałych czytelników newslettera; a nowych - serdecznie witam!).
Znajdziesz tu kompleksowe tutoriale budowy agentów AI z LangChain, przewodniki po fine-tuningu modeli językowych metodą QLoRA oraz zaawansowane techniki pracy z PostgreSQL i jego rozszerzeniami.

Szczególną uwagę poświęcamy inżynierii danych: od strategii inkrementalnego ładowania i projektowania idempotentnych pipeline’ów, przez real-time CDC z Debezium i Kafką, aż po nowoczesne podejście lakehouse z DuckDB.
Nie zabrakło również głębokiej analizy matematyki stojącej za zero-shot learning, przeglądu metryk klasyfikacyjnych oraz praktycznych rozwiązań dla systemów rozproszonych, jak predykcyjne autoskalowanie Apache Flink.

Konkretne projekty z analizy danych (jak zawsze :)

Mon, 20 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych rozwiązaniach dla każdego etapu pracy z danymi - od modelowania i inżynierii cech przez optymalizację baz danych, aż po wdrażanie w produkcji.

Czeka Cię porównanie modeli predykcyjnych (typowe zadanie dla juniorów - wytłumaczone krok po kroku) i nowe możliwości DuckDB, które zastępują całe pipeline’y w Pandas. Znajdziesz też wyzwania związane z architekturą: jak budować skalowalne systemy danych od podstaw oraz gdzie naprawdę powinny znaleźć się kontrakty danych. Dla miłośników LLMów jest przewodnik po LangChain oraz LangGraph, praktyczną instrukcję budowy lokalnego systemu RAG oraz analizę gotowości foundation models do pracy z danymi tabelarycznymi.

Nie tylko obraz tego, co się dzieje, ale jak to wykorzystać w praktyce

Mon, 29 Sep 2025 15:00:00 +0000

Czy kiedykolwiek marzyłeś o tym, żeby skrócić generowanie raportu z 6 godzin do 15 minut? A może zastąpić tradycyjne procesy ETL jednym narzędziem, które działa nawet 100 razy szybciej niż Spark?

To nie science fiction – to rzeczywistość dzisiejszego numeru!

Od agentic AI, które rewolucjonizuje kariery specjalistów IT, po konkretne implementacje MCP w firmach CRM – jak zwykle w tym newsletterze nie tylko obraz tego, co się dzieje, ale przede wszystkim jak to wykorzystać w praktyce.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-01-27

Mon, 27 Jan 2025 15:00:00 +0000

Na bieżący numer złapało się kilka ciekawych tematów. Warto zwrócić uwagę na tekst o systemach automatyzacji w Amazonie i Netfliksie - pokazuje podejście dużych firm do skalowalności i bezpieczeństwa. Dobry jest artykuł o topic modeling z użyciem BERTopic i FASTopic - może się przydać przy przetwarzaniu skarg klientów.

Dla fanów Kafki znajdzie się materiał o konsumentach wiadomości, a dla pythonowców zestaw o wizualizacjach z Pythona w Power BI, budowaniu API gateway na FastAPI i poradnik “10 Tips to Become REALLY Good at Python”, gdzie w pół godziny Arjan mówi o tym, co jest najważniejsze przy nauce Pythona, od czego trzeba zacząć i co doskonalić na początku. Do tego jest też wideo dla początkujących adeptów Pandas.

Newsletter Dane i Analizy, 2024-11-11

Mon, 11 Nov 2024 15:00:00 +0000

Święto lasu słuchajcie! I to nie chodzi wcale o to, że dzisiaj mamy Narodowe Święto Niepodległości, ale o to, że w newsletterze mało o Pythonie! Więcej mamy w działce “DevOps” (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB…

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Newsletter Dane i Analizy, 2024-01-08

Mon, 08 Jan 2024 15:00:00 +0000

Dzisiaj w ramach wstępu - pakiet specjalny, pakiet linków dodatkowych, bo każdy z początkujących data scientistów przechodzi przez podobne zagadnienia. Najpierw uczymy się wczytywać dane, potem je filtrować i przekształcać.

Często przekształcenia polegają na przejściu wiersz po wierszu w naszych danych. Jak już umiemy nieco programować to - dla przykładu pandasowy iterrows() wydaje się być dobrym rozwiązaniem. Przecież dla każdego wiersza w naszej tabeli powinniśmy wykonać jakąś operację. No, ale nie zawsze pętle mają sens i ten notebook pokazuje jak się ich pozbyć, chociaż akurat nie w pandasowych tabelkach. No, ale nie po to wymyślono w Pythonie listy, żeby z nich nie korzystać! Często są bardzo szybkie i naprawdę wygodne!

Newsletter Dane i Analizy, 2023-12-11

Mon, 11 Dec 2023 15:00:00 +0000

Miniony tydzień to uruchomienie nowej wersji asysstenta AI od Google, czyli Gemini (w miejsce Barda). Sam model mówi o sobie, że “jestem zarówno Bardem, jak i Gemini. Bard to nazwa użytkownika, którą wykorzystuję do interakcji z użytkownikami, podczas gdy Gemini to nazwa platformy AI, na której jestem oparty”.
Przedstawienie projektu (przez twórców) mówi o lepszych wynikach od ChataGPT v4 w prawie każdym mierniku., ale niby ma to dostęp do najnowszej wiedzy, ale jednak taki sobie. Z literaturą nieco starszą radzi sobie… sami zobaczcie. Słowacki i “Wesele”? to mogłoby być ciekawe, ale wolę wersję Wyspiańskiego (a filmową od Wajdy stawiam tuż za wajdowską “Ziemią obiecaną”). Czyli też zmyśla.

Newsletter Dane i Analizy, 2023-11-13

Mon, 13 Nov 2023 15:00:00 +0000

Za chwilę w świat pójdą pierwsze odcinki nowego podcastu przygotowanego przez zespół Big Data & AI PZU: #SilniwIT o technologiach. To seria, w ramach której rozmawiam (wspólnie z Tomkiem z zespołu Fabryki Sztucznej Inteligencji) z gośćmi o szeroko pojętej sztucznej inteligencji. Wypatrujcie postów na FB, LinkedIn i pewnie w przyszłym newsletterze - mam nadzieję, że jak na amatorów - daliśmy radę. Staraliśmy się ucinać korpo-gadkę, powinno być interesująco ;-)

Wcześniej możecie posłuchać podsumowania z pierwszej konferencji OpenAI (firmy, która stworzyła ChatGPT) dla developerów w podcaście Technofobia Artura Kurasińskiego.

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2023-05-15

Mon, 15 May 2023 15:00:00 +0000

Wielokrotnie w newsletterze znalazły się teksty mówiące o wykorzystaniu Snowflake, BigQuery czy Databricks. Dzisiaj przyszedł jednak czas na szybkie wprowadzenie do tych narzędzi - jak zacząć z nich korzystać? Jak stworzyć konto, jak załadować pierwsze dane?

A wiecie, że narzędzia Microsoftu - na przykład Excel (poprzez VBA) czy też PowerBI potrafią współpracować z zewnętrznymi skryptami napisanymi w Pythonie albo R? Jeśli nie, to poniżej znajdziecie przykłady takiej współpracy. Swoją drogą - pewnie już ze dwa lata mija od plotek o wprowadzeniu Pythona do Excela… ale coś nie widać zmiany.

Newsletter Dane i Analizy, 2023-03-20

Mon, 20 Mar 2023 15:00:00 +0000

Wiecie kto generuje najwięcej ruchu w internecie? Kiedyś to było porno i torrenty (albo inne sposoby wymiany plików peer-to-peer). Teraz układ wygląda jak na poniższym obrazku, przynajmniej według danych opublikowanych przez serwis Statista.

Dzisiaj bardzo dużo treści - oraz eksperyment - polskie tytuły (ale przeważnie angielskie teksty). Wśród tych tekstów sporo o Apache Spark i konkretnych wykorzystaniach albo rozwiązaniach konkretnych problemów.
Znajdziecie też kilka fajnych tekstów o różnego typu problemach rozwiązywanych przez analizę czy modele danych (rekomendacje w Netflixie, OHE i Pandas), gorąco polecam tekst o Apache Arrow.

Newsletter Dane i Analizy, 2023-01-16

Mon, 16 Jan 2023 15:00:00 +0000

Czy wiecie, że książka “365 dni” jest bardziej o Massimo niż o Laurze? W sumie w całej książce użyte jest jakieś 8350 różnych słów, z czego 50% treści wykorzystuje 425 z nich (czyli 5% użytych słów stanowi 50% treści!). Oczywiście chodzi o lematy, z wykluczonymi stopwords. Polecam wykład na TEDx Koszalin o NLP dla laików, trochę zabawne, na pewno inspirujące - właśnie z tej inspiracji te wyliczenia.

A co poza tym dzisiaj? Sporo o MLOps (cały dział!) Trochę o przetwarzaniu danych dla początkujących - Pandas i PySpark.

Newsletter Dane i Analizy, 2022-08-29

Mon, 29 Aug 2022 15:00:00 +0000

Uważni czytelnicy fanpage’a Dane i Analizy już zapewne przeczytali mój nowy post o analizie tras rowerowych (heatmapa w nim prezentowana już nieaktualna), ale jeśli kogoś ominęło to zapraszam. Pokazuję w nim:
jak przeczytać plik XML jak agregować dwuwymiarowe dane w NumPy jak agregować je w Pandas jak przygotować mapkę w Folium

A jak już tamten tekst znasz to dzisiaj też niemało do wyboru. Zapraszam do lektury!

#AI_ML

Which Python Framework is Better for Machine Learning Apps?
Mamy jakiś nasz cudowny model, daje świetne wyniki, ale predykcje można dostać tylko uruchamiając skrypt z konsoli albo jeszcze gorzej w Jupyter Notebooku. Co zrobić, żeby było to użytecznie online’owe narzędzie? Opakować w API. Ale który pythonowy framework wybrać?

Newsletter Dane i Analizy, 2022-06-20

Mon, 20 Jun 2022 15:00:00 +0000

Długi weekend się przedłużył… ale zgodnie z planem (a nie że “melanż poniósł za daleko” ;-). Newsletter przygotowany, a (prawie) jednodniowe opóźnienie nie powinno zmienić Waszego stosunku do zawartości. Odrobina tęsknoty (mam nadzieję) nikomu jeszcze nie zaszkodziła.

Deszcz pada w całym kraju, zapraszam zatem do lektury!

#AI_ML

Model Tracking with MLFlow & Deployment with FastAPI
Fajny tutorial pokazujący jak śledzić wyniki modelu przez MLFlow oraz serwować ten najlepszy przez FastAPI

Newsletter Dane i Analizy, 2022-06-13

Mon, 13 Jun 2022 15:00:00 +0000

Jak być data scientistą w Pythonie?

import pandas as pd

i gotowe!

Żart oczywiście (taki familiadowy, ale kto boomerowi zabroni?), a o samym Pandasie polecam wystąpienie Jana Kantego Milczka z PyData w Bydgoszczy.

#AI_ML

Uber’s Real-Time Document Check
Jak Uber zrobił weryfikację na podstawie dokumentów typu dowód osobisty?

Intro to MLOps Using Amazon SageMaker
Co to MLOps i jak SageMaker pomaga? A chyba pomaga, skoro to najpopularniejsze tego typu narzędzie (tak przynajmniej wynika z case studies pokazywanych na konferencjach)

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2022-05-02

Mon, 02 May 2022 15:00:00 +0000

Dzisiaj wielkie święto. I nie chodzi o święto flagi, a o nowy post na blogu. Minął prawie rok od poprzedniego, więc dzień ten zasługuje na miano święta ;-)

Rozproszona architektura, mikroserwisy i baza nosql - taka armata na zwykły sklep internetowy? Tak! Z wyjaśnieniem dlaczego i przykładami w Pythonie! Właśnie to znajdziecie w moim wpisie Sklep rozproszony. To zrobiony w kilka dni proof of concept działania nowoczesnej architektury w dość prostym problemie. Zapraszam do lektury.

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).

Newsletter Dane i Analizy, 2022-03-21

Mon, 21 Mar 2022 15:00:00 +0000

Podoba nie rozpieszcza, nie ma czasu na pisanie. Mam nadzieję, że znajdziecie czas na czytanie :)

#analiza_danych_projekty

End-to-End Hotel Booking Cancellation Machine Learning Model
Czy gość przyjedzie do naszego pokoju hotelowego czy nie przyjedzie? Jak buduje się modele, które potrafią odpowiedzieć na takie pytania? Znajomity tutorial

#big_data

A Spark Streaming pipeline with microservices
Spark, Kafka i uczenie maszynowe w tle - takie projekty lubimy!

Querying Kafka Topics Using Presto
A gdyby tak pytać topików kafkowych tak jak bazę danych?

Newsletter Dane i Analizy, 2022-01-31

Mon, 31 Jan 2022 15:00:00 +0000

Dzisiaj odcinek dość pythonowy, ale za to z obszernym tekstem o tworzeniu modeli w R - cały proces opisany po kolei. Polecam!

#AI_ML

Natural Language Processing (NLP) for Semantic Search
Duża pozycja, która wprowadza w świat NLP

#ciekawostki

What Does a Data-Driven Government Look Like?
Teoretycznie więcej danych to lepsze decyzje. Czy zarządzanie maistem albo państwem jest możliwe w oparciu o dane? Jak może to wyglądać?

AI Geospatial Wildfire Risk Prediction
Przewidywanie zdarzeń związanych z geografią - pogoda, pożary - ciekawe zagadanienie, a często pomijane przy np. poradnikach ML.

Newsletter Dane i Analizy, 2021-11-08

Mon, 08 Nov 2021 09:00:00 +0000

Orchestrate a Data Science Project in Python With Prefect
Optimize Your Data Science Workflow in a Few Lines of Code Motivation As a data scientist, why should you care about optimizing your data science workflow? Let’s start with an example of a basic data science project. Imagine you were working with an Iris dataset. You started with building functions to process your data. https://medium.com/media/e479ca8deb87434b1859864118ec3bcc/href After defining (…)

Dealing With Dates in Pandas — 6 Common Operations You Should Know
Dealing With Dates in Pandas — 6 Common Operations You Should Know Never confused with dates again, hopefully. Besides texts and numbers, dates are a very common data type in our datasets. When we use Pandas to process dates, it’s definitely not the most straightforward task for most data scientists. When I began to use Pandas, I wasn’t familiar with date-related features, so every time when I (…)

Newsletter Dane i Analizy, 2021-09-20

Mon, 20 Sep 2021 09:00:00 +0000

VLOOKUP implementation in Python in three simple steps
Oftentimes, in the field of data analytics, it’s the data cleaning and processing that takes the most amount of time and effort. While the steps such as data cleaning, filtering, and pre-processing are generally under-evaluated or overlooked as compared to more juicy components such as the model development, it’s the quality of data that determines the quality of output. As it is rightly said, (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-09-06

Mon, 06 Sep 2021 09:00:00 +0000

How Much More Time We Spent at Home
We had to do more from home. Here’s how much everything shifted by total minutes in a day. Tags: home , time use

A Comprehensive Guide to Image Processing: Using an OpenCV Tool
Image Processing Essentials An image processing tool with OpenCV, QT Creator, and C++ As the last part of this series on the Image Processing flow, I want to present a simple Image Processing Tool implemented using OpenCV 3.2.0 on QT Creator (5.12.10) with C++ to apply almost all the Image Processing operations discussed in the previous posts. To be able to use it, it’s enough to build OpenCV (…)

Newsletter Dane i Analizy, 2021-08-30

Mon, 30 Aug 2021 09:00:00 +0000

Monte Carlo Cost Estimates: Engineers Throwing Dice
Estimating the cost of a complex project is not a trivial task. Traditional cost estimates are full of assumptions about the future state of the market and the final deliverable. Monte Carlo cost estimates are a tool to better understand the risks in your project and enable better cost control. Monte Carlo simulations are a technique to control your “known unknowns”. Albert Einstein famously said (…)

Newsletter Dane i Analizy, 2021-08-09

Mon, 09 Aug 2021 09:00:00 +0000

Multi Page Document Classification using NLP and ML
An approach to classify documents with different variations shapes, text and page sizes. Source: https://unsplash.com/photos/5cFwQ-WMcJU This article describes a novel Multi Page Document Classification solution approach, which leverages advanced machine learning and textual analytics to solve one of the major challenges in the Mortgage industry. Abstract Even in today’s technological era most of (…)

Introduction to Concurrency in Python
PYTHON | PROGRAMMING | CONCURRENCY A guide to speeding up Python code Back in 1965, Gordon Moore predicted that the number of transistors on microchips will double every two years[1]. This prediction is referred to as Moore’s Law. Moore’s Law also states that the price of computing hardware will also half every two years. Source: (…)

Newsletter Dane i Analizy, 2021-08-08

Sun, 08 Aug 2021 09:00:00 +0000

Newsletter Dane i Analizy, 2021-07-19

Mon, 19 Jul 2021 09:00:00 +0000

Dobry, zły i brzydki – Parę słów o Pandas UDF w Apache Spark | Tech Blog ING Bank Śląski
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak (…)

Geocoding in Python: A Complete Guide
A step-by-step tutorial on geocoding with Python Continue reading on Towards Data Science »

Newsletter Dane i Analizy, 2021-06-28

Mon, 28 Jun 2021 09:00:00 +0000

Average colors of the world
I wrote that I wanted to expand creatively beyond maps in 2021, but here we are, halfway in, and half my posts are maps. In my defense, I made these last year and just haven’t gotten around to posting them yet! They’ve been sitting in a folder since December, mocking me. It’s time to get […]

4 Tricks to Use Python F-strings More Efficiently
Have full control over what you print out. String interpolation is a way to embed variables into strings. It makes it easy to manipulate and enrich strings. Thus, the print statements are much more powerful with string interpolation. Formatted string literals, also known as f-strings, are a highly (…)

Newsletter Dane i Analizy, 2021-05-31

Mon, 31 May 2021 09:00:00 +0000

Containers: The actual mechanism behind the technology and why Kubernetes depreciated Docker
In this article, we will be covering all the details about containers i.e. how they actually work behind the scene and all the parts it… Continue reading on Medium »

Fully Explained Hierarchical Clustering with Python
Programming Agglomerative clustering in unsupervised machine learning Hierarchical clustering. A photo by Author In this article, we will discuss hierarchical clustering algorithms in unsupervised machine learning. This algorithm is based on the splitting and merging of nested clusters. The linkage (…)

Newsletter Dane i Analizy, 2021-05-10

Mon, 10 May 2021 09:00:00 +0000

How to Perform Basic ML Serving With Python, Docker, and Kubernetes
This tutorial provides a basic, step-by-step example of real-time serving a machine learning (ML) model as a REST API with Python, Docker, and Kubernetes. We’ll build a basic REST API with Python, test it locally with Docker, and deploy our API with Kubernetes. By the way, if you want to go faster, (…)

Dockerizing Shiny Applications
Docker provides isolation to applications. Images are immutable. Running multiple instances of the same image can serve many users at the same time. All these general advantages of containerized applications apply to Shiny apps too. The post Dockerizing Shiny Applications first appeared on (…)

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

Hyperopt i szukanie najlepszego parametru

Wed, 23 Dec 2020 15:04:21 +0000

Kontynuując cykl o Pipelines w SciKit-Learn zajmiemy się tematem kręcenia śrubkami w modelach w poszukiwaniu najlepszego wyniku. Użyjemy do tego pakietu hyperopt.

W poprzednich częściach poznawaliśmy co to “pipeline” w SciKit-Learn, tworzyliśmy własne estymatory (przy okazji ucząc się trochę o programowaniu obiektowym, klasach i dziedziczeniu - nawet jeśli to było nieświadome). Dzisiaj ostatnia część z cyklu - kręcenie śrubkami zwanymi hyperparametrami.

Ostatnio przeszukiwaliśmy siatkę hyperparametrów (wszystkie możliwe kombinacje) przy użyciu wbudowanych w SciKit-Learn mechanizmów (na przykład GridSearchCV). Dzisiaj poszukamy innej metody, innego pakietu. A będzie nim hyperopt.

Pipeline w SciKit Learn - własny estymator

Thu, 05 Nov 2020 15:32:20 +0000

Dzisiaj napiszemy własny (a raczej poznamy mechanikę działania) oraz nauczymy się szukać najlepszych hyper parametrów dla modelu (właściwie: całego pipeline) w zwarty sposób.

W pierszej części zobaczyliśmy jak zbudować pipeline dla danych i modeli. Dzięki temu dostaliśmy możliwość zmiany sposobu transformacji danych i zmiany modeli w ramach prostego, zwartego kodu. Ale co jeśli potrzebujemy jakiś transformator którego nie ma w pakietach?

Tak jak poprzednio - nasze działania oprzemy na Pythonie i pakiecie scikit learn. Podobne rozwiązania można znaleźć w R (jeśli tego szukasz - zainteresuj się Tidymodels).

Pipeline w SciKit Learn

Sat, 10 Oct 2020 11:21:01 +0000

Co to są pipelines w sci-kit learn i jak je wykorzystać? Czyli bardziej efektywne szukanie najlepszego modelu.

Photo by JJ Ying on Unsplash

Jeśli zajmujesz się tworzeniem modeli na przykład klasyfikujących jakieś dane to pewnie wielokrotnie powtarzasz te same kroki:

wczytanie danych
oczyszczenie danych
uzupełnienie braków
przygotowanie dodatkowych cech (feature engineering)
podział danych na treningowe i testowe
dobór hyperparametrów modelu
trenowanie modelu
testowanie modelu (sprawdzenie skuteczności działania)

I tak w kółko, z każdym nowy modelem.

(py)Spark, Hadoop i HDFS - podstawy

Thu, 09 Apr 2020 19:06:13 +0000

Dzisiaj zajmiemy się wykorzystaniem Sparka i Hadoopa do przetwarzania większej ilości danych. Oraz do budowania prostego modelu (regresji liniowej). Może jeszcze nie jest to big data, ale mechanizmy są identyczne jak w przypadku większej liczby danych. Wystarczy tylko tych danych więcej zgromadzić, zbudować większe środowisko (dużo serwerów) i… też będzie działało.

A w dodatku poznamy pakiet faker który pozwoli nam na wygenerowanie sztucznych danych.

Spark i Hadoop

Apache Spark to rozwijana na zasadach open source platforma klastrowego przetwarzania danych, która ma interfejsy API dla takich języków programowania jak Scala, Python, Java i R.

Muzyka i data science

Tue, 24 Mar 2020 17:11:08 +0000

Każdego dnia pojawia się nowa muzyka, w wielu różnych gatunkach. Jak wybrać to, czemu warto poświęcić czas?

Dodatkowo dowiemy się jakie znaczenie ma uczciwe przygotowanie danych.

Zdjęcie na okładce: Franck V. on Unsplash

Gdybym miał powiedzieć co lubię najbardziej bez wątpienia byłaby to muzyka. Słucham dużo, nie wyobrażam sobie życia w ciszy. Ale mimo dostępu do nieskończonych (powiedzmy) zasobów muzycznych chociażby poprzez Spotify zauważyłem, że zamykam się w bańce już znanych wykonawców i utworów. A ja lubię odkrywać nowe dźwięki, tylko nie mam czasu (trochę też zbyt na to jestem leniwy) na szukanie nieznanych utworów czy wykonawców. Po co mam poświęcać kupę czasu na szukanie czegoś co mi się nie spodoba?

Mapy w Pythonie

Fri, 28 Feb 2020 15:07:09 +0000

Jakiś czas temu pokazywałem jak w prosty sposób narysować mapę w R. Dzisiaj powtórzymy zadanie dla Pythona.

Skorzystamy z danych GUS na temat bezrobocia oraz liczby ludności (pomijając dokładność złożenia danych - interesuje nas rysowanie map, a nie analiza bezrobocia) oraz map z Głównego Urzędu Geodezji i Kartografii.

Jeśli potrzebujesz podobnych informacji jak zrobić to wszysto w R sprawdź na początek wszystko co jest w ramach tagu mapa

Skąd pobrać dane?

Dane o liczbie ludności: Ludność / Stan ludności / Ludność wg grup wieku i płci w tzw. BDLu (czyli Banku Danych Lokalnych GUS) - bierzemy dane z 2018 roku (najnowsze pełne jakie są); Wiek = ogółem, Płeć = ogółem; wszystkie jednostki terytorialne. W wyniku klikania dostaniemy się do tabeli, którą ściągamy lokalnie poprzez Export / CSV - tablica wielowymiarowa.
Dokładnie tak samo pozyskujemy dane o liczbie bezrobotnych: Rynek pracy / Bezrobocie rejestrowane / Bezrobotni zarejestrowani wg płci w gminach (znowu: ogółem, 2019 rok, wszystkie jednostki; pobieramy plik CSV dokładnie tak samo jak wyżej).
Dane mapowe bierzemy z GUGiK - interesuje nas archiwum PRG – jednostki administracyjne (uwaga - to ma 375 MB!). To archiwum rozpakowujemy i (coś co ja robię, żeby później nie było problemów) zmieniamy nazwy plików tak, aby pozbyć się polskich znaków i wszystkie litery w nazwie były małe.

Przygotowanie danych z GUS

Ale zanim - potrzebne nam będzie kilka pakietów Pythona do dalszej pracy:`

Montaż filmowy w Pythonie?

Tue, 28 Jan 2020 13:56:30 +0000

Czy da się automatycznie rozdzielić film na poszczególne ujęcia?

Oczywiście da się. Ale jak do tego podejść?

Dzisiejszy wpis to swego rodzaju zapis sposobu rozwiązania problemu. Wielkiej sztuki programistycznej tutaj nie ma, ale (mam nadzieję) ciekawa jest droga przez całą analizę do uzyskania konkretnego efektu.

Obraz cyfrowy składa się z punktów (określonej ich liczbie - wysokość x szerokość) o różnej barwie. Barwę najczęściej opisują trzy składowe: czerwona, zielona i niebieska (RGB). Wideo to nic innego jak ciąg (kolejne klatki) takich statycznych obrazów.

Analiza własnych finansów

Fri, 13 Dec 2019 14:20:00 +0000

Jak nauczyć się analizy danych? Robiąc małe i duże projekty.

Kiedyś napisałem post o tym jak się przemieszczam w którym odsłoniłem dość dużo swojej prywatności, dzisiaj ciąg dalszy.

Postanowiłem, że mocniej wezmę się za Pythona i to co potrafię dość szybko zrobić w R będę robił w Pythonie. To najlepszy sposób na naukę - zmuszać się w pewnym sensie do przełamywania własnych oporów. Z drugiej strony - od dawna chodził za mną tekst związany z analizą własnych wydatków.

Najpopularniejsze imiona dzieci nadane w 2018 roku

Tue, 05 Mar 2019 16:07:11 +0000

Niedawno Ministerstwo Cyfryzacji opublikowało listę najpopularniejszych imion nadawanych dzieciom w 2018 roku. Wykorzystamy to do połączenia Pythona z R (albo R z Pythonem).

Lista opublikowana została w postaci serii tekstów na stronach Ministerstwa, w formie całkowicie niezjadliwej. Co więcej - prasa podała informacje dalej, bez żadnego obrobienia tych danych. Zróbmy to więc jak należy przy okazji łącząc R i Pythona.

Aby móc w RStudio używać Pythona oraz mieć dostęp do obiektów Pythona w sesji R potrzebujemy biblioteki reticulate - polecam się z nią zapoznać. Daje ciekawe możliwości, które właśnie za chwilę zobaczymy na konkretnym przykładzie.

R-base, R-dplyr, R-data.table i Python

Wed, 23 May 2018 15:44:07 +0000

Podstawy manipulacji danymi w tabelkach. W R (trzy wersje) oraz w Pythonie. Bo to pierwszy post z cyklu idziemy w stronę Pythona. W dzisiejszym wpisie zajmiemy się podstawowymi operacjami na tabelach (data frame) z danymi. Dlaczego to jest ważne? Są to najczęściej wykonywane operacje w trakcie analizy danych, bo przecież:

dane trzeba wczytać do komputera
czasem zmodyfikować, na przykład policzyć wartość na podstawie dwóch lub więcej kolumn
wybrać określone wiersze lub określone kolumny
połączyć jedną tabelę z inną

Z tak przygotowanych danych można później na przykład narysować wykres czy też wrzucić je do modelu. I to jest wystarczające, na co dowodem jest pewnie z 70% moich wpisów z ostatnich 12 miesięcy (albo i więcej). Kolejne 20% wpisów to sposób pozyskania danych. 10% było pewnie o modelach wszelakich. Osobiście uważam, że w R nauczyłem się na tyle dużo, aby przejść na kolejny poziom. W pracy są to aplikacje w Shiny czy też panele w wykorzystaniem flexdashboard (znowu: w obu przypadkach 70% pracy to manipulacja danymi w tabelkach), ale ciągnie mnie do Pythona. Gdybym zaczynał przygodę z machine learning czy data science to wybrałbym Pythona. Jednocześnie mam nadzieję, że dla osób znających jeden z języków niniejszy wpis będzie ciekawym wprowadzeniem w drugi język. Jeśli chodzi o R to zobaczymy jak wykonać podstawowe operacje wykorzystując standardowe możliwości R (R-base), wykorzystując pakiety dplyr (wchodzący w skład ekosystemu tidyverse) oraz data.table. W przykładach dla Pythona będzie to pandas. Dlaczego data.table? Porównanie prędkości pokazuje, że dla bardzo dużych tabel data.table jest najszybszy. Zaczniemy od wczytania odpowiednich bibliotek. W R oczywiście: