AWS on Łukasz Prokulski, Dane i Analizy

Jak wygląda "przerzucanie liczb z worka do worka" w ubezpieczeniach i przemyśle?

Mon, 24 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz solidną dawkę praktycznej wiedzy – od optymalizacji agentów AI w GitHub Copilot i dyskusji o tym, czy serwer MCP rzeczywiście jest Ci potrzebny, przez zaawansowane techniki pracy z DuckDB i porównanie narzędzi do przetwarzania 650 GB danych, aż po konkretne konfiguracje Nginx, Terraform i Kubernetes.

Często tutaj trafiają teksty związane/zachwalające DuckDB (dzisiaj też będą). Alibaba tymczasem opublikowała trzyczęściowy cykl, w którym dogłębnie analizuje wewnętrzne mechanizmy DuckDB. Na blogu znajduje się analiza kodu DuckDB pod kątem formatu plików, formatu przechowywania tabel oraz warstwy wykonawczej. Część pierwsza, druga i trzecia.

Kafka jest szybka, ale użyję Postgres

Mon, 03 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się rozwiązaniom praktycznym z kilku kluczowych obszarów analizy i przetwarzania danych. Zaczynamy od fuzzy string matching i technik dopasowywania niedoskonałych tekstów, przechodzimy przez architekturę pipeline’ów ETL opartych na open source, aż po szczegóły integracji Kafka, Flink i Spark w systemach streamingowych.

W sekcji Python znajdziesz porównanie nowości w wersjach 3.13 i 3.14, kompleksowy przewodnik (a nawet dwa, aby niejako dopełnić wiedzę) po Pydantic oraz praktyczne wzorce projektowe dla FastAPI. Nie zabraknie też tematów związanych z optymalizacją PostgreSQL w aplikacjach czasu rzeczywistego, zarządzaniem kosztami w chmurze AWS oraz głęboko partycjonowanymi danymi w Apache Spark.

Newsletter Dane i Analizy, 2025-02-10

Mon, 10 Feb 2025 15:00:00 +0000

Zanim przejdę do sedna, czyli bieżącego numeru, mam dla Ciebie informację. Otóż za moment będzie dostępny kompleksowy e-book typu “od juniora do mida”. Książka to projekt, który kompleksowo przeprowadza przez budowę aplikacji - od komunikacji z API, przez bazę danych, aż po konteneryzację. Bez pierdół teoretycznych, za to z mocnym naciskiem na praktykę. Szczegóły już niedługo w oddzielnym mailu, więc trzymajcie się blisko skrzynki odbiorczej!

A co Cię czeka w tym numerze?

Newsletter Dane i Analizy, 2024-10-21

Mon, 21 Oct 2024 15:00:00 +0000

OpenAI ze swoim modelem w wersji o1 wróciło na szczyt listy przebojów w kategorii LLM. Garść firm zajmujących się GenAI zaczyna generować poważne przychody. Co jeszcze dzieje się na rynku AI w 2024 roku? Jaki jest “Stan AI w 2024”? O tym dowiecie się z raportu, do którego link poniżej, w sekcji AI/ML.

Sporo w tym wydaniu o bazach danych (co najmniej dwa razy pojawia się Postgres i Redis, ale są też inne rozwiązania: wektorowa Milvus, InfluxDB do szeregów czasowych, grafowa Neo4j, dobrze znany stałym czytelnikom DuckDBoraz Tile38 do zadań geo).

Newsletter Dane i Analizy, 2024-04-08

Mon, 08 Apr 2024 15:00:00 +0000

#ai_ml

SVM One-Class Classifier For Anomaly Detection
Poznaj mechanizm One-Class SVM pod kątem wykrywania anomalii. Jakie są niuanse, hiperparametry? Do tego praktyczna implementacja identyfikacji rzadkich zdarzeń.

Decision Trees: Split Methods & Hyperparameter Tuning
O przycinaniu drzew decyzyjnych - rozbudowane podstawy algorytmów ML

Comprehensive Guide on Linear Discriminant Analysis
Rozbudowane podstawy algorytmów ML, ciąg dalszy - o redukcji wymiarów

#airflow

Utilizing DockerOperator in Airflow
Jak użyć AirFlow do zarządzania procesami składającymi się ze zdockeryzowanych elementów?

Newsletter Dane i Analizy, 2023-10-23

Mon, 23 Oct 2023 15:00:00 +0000

Lubię DuckDB i lubię AirFlow. Kafka jest naturalnym sposobem na przesyłanie danych między systemami czy też mikroserwisami. Stąd też dzisiaj kilka tekstów zahaczających o te wszystkie technologie.

Dodatkowo trochę z obszaru zarządzania - zarówno opis typowego projektu data science jak i metryka opisująca stabilność kolejki prac.

No i trochę o mapkach, bo mapki są fajne.

#ai_ml

Fully Explained Softmax Regression for Multi-Class Label with Python
Klasyfikacja do wielu klas - o co tutaj chodzi? Przewodnik dla początkujących

Newsletter Dane i Analizy, 2023-08-14

Tue, 08 Aug 2023 00:00:00 +0000

Na początek tutorial (YT, 30 minut, po polsku), tym razem z LLMami w roli głównej - o tym jak zbudować chatbota odpowiadającego na pytania z własnej bazy wiedzy. Bardzo fajny materiał, takich trochę brakuje - chłopaki opowiadają o tych najbardziej kluczowych kawałkach kodu a nie o podstawach. Rozumiesz o czym jest mowa, nie ma straty czasu na opowiadanie co do jest model albo funkcja w Pythonie ;-)

Dzisiaj też pelny proces MLOps - wprowadzenie zawierające wszystkie elementy. Super tekst na początek dla każdego DevOpsa który chce się zająć tematami ML oraz każdego data scientisty, który chce umieć nowocześnie wdrażać swoje modele.

Newsletter Dane i Analizy, 2023-07-10

Mon, 10 Jul 2023 15:00:00 +0000

Myślisz, że analitycy danych już nie będą potrzebni? Dlaczego? Bo pojawił się Code Interpreter, a jeśli nie wiesz o co chodzi to przeczytaj koniecznie o nim (i o tym jak go używać!) tutaj (“What AI can do with a toolbox… Getting started with Code Interpreter”) oraz tutaj (“It is starting to get strange”). Code Interpreter jest dostępny w planie “ChatGPT Plus”.

I ten temat, te dwa teksty to chyba najciekawszy materiał w tym tygodniu. Gdyby było mało - poniżej kilka kolejnych.

Newsletter Dane i Analizy, 2023-01-30

Mon, 30 Jan 2023 15:00:00 +0000

Dzisiaj na początek trochę o orkiestracji za pomocą Apache Airflow. Zobaczymy co potrafi to narzędzie w zakresie sterowania pobieraniem danych i jak sprawuje się na produkcji.

A jak już mamy pobrane dane to możemy z nimi coś zrobić korzystając z jednej z bibliotek pythonowych. Albo policzyć jakieś modele i z ich pomocą przeanalizować na przykład klientów i ich drogę przez koszyk zakupowy.

W sumie - u laików - synonimem słowa “model” jest “sztuczna inteligencja”. A jak sztuczna inteligencja to może od razu ChatGPT (z którego już dzieciaki korzystają żeby pisać prace domowe)?

Newsletter Dane i Analizy, 2022-12-27

Tue, 27 Dec 2022 15:00:00 +0000

Święta, święta i po świętach. Nawet newsletter opóźniony specjalnie o jeden dzień, żebyście mogli w pełni od komputerów odpocząć :)

W ostatnim w 2022 roku numerze trochę mniej tekstów, ale to nie znaczy że są one słabszej jakości. Spora część dzisiejszego tortu to technologie big data, ale jest też coś o Pythonie i kilka ciekawostek ogólnych.

Najbardziej chyba polecam zestawienie w zmianie liczby ludności w i wokół polskich miast - książkowe wręcz przykłady suburbanizacji. Dobre jest też wyjaśnienie algorytmów boostingowych.

Newsletter Dane i Analizy, 2022-11-07

Mon, 07 Nov 2022 15:00:00 +0000

Dzisiaj poniedziałek, ale w środę po południu przyjdzie do Ciebie mail z ankietą. To 6 prostych pytań, które pomogą w rozwoju newslettera. Dawno nie było ankiety, widzę statystyki tego co czytacie, ale statystyki to jedno, a odczucie prawdziwego czytelniak to drugie :) Ankieta sprowadza się do klikania, zajmuje 2-3 minuty, zachęcam do wypełnienia.

A dzisiaj jeszcze standardowo - dużo treści na przeróżne tematy :). Dzisiaj na prawdę dużo (drugie tyle czeka w garażu, mam przynieść?).

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2021-08-09

Mon, 09 Aug 2021 09:00:00 +0000

Multi Page Document Classification using NLP and ML
An approach to classify documents with different variations shapes, text and page sizes. Source: https://unsplash.com/photos/5cFwQ-WMcJU This article describes a novel Multi Page Document Classification solution approach, which leverages advanced machine learning and textual analytics to solve one of the major challenges in the Mortgage industry. Abstract Even in today’s technological era most of (…)

Introduction to Concurrency in Python
PYTHON | PROGRAMMING | CONCURRENCY A guide to speeding up Python code Back in 1965, Gordon Moore predicted that the number of transistors on microchips will double every two years[1]. This prediction is referred to as Moore’s Law. Moore’s Law also states that the price of computing hardware will also half every two years. Source: (…)

Newsletter Dane i Analizy, 2021-08-08

Sun, 08 Aug 2021 09:00:00 +0000

Newsletter Dane i Analizy, 2021-07-31

Sat, 31 Jul 2021 09:00:00 +0000

How to Model Time Between Events Using the Exponential, Gamma, and Poisson Distributions
How to model time-to-event and ‘time between events’ on real data using the Exponential Family to optimize returns of time driven investments. Screenshots from within the article. Usually, when we have time as a variable on a dataset, we can model other variables reflected in time itself, whether we apply Time Series Analysis or just use time to cut our data and apply continual ML or S tate Space (…)

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

MNIST dataset – sieci neuronowe, część 2 (Keras)

Tue, 13 Feb 2018 10:34:35 +0000

Tym razem przygotujemy środowisko do pracy z Keras i rozpoznamy kilka liczb (ponownie jak poprzednio).

Instalacja Keras

Zaczniemy od instalacji. Potrzebujemy zainstalowanego Pythona na maszynie. W unixach (w tym odcinku korzystam z serwera EC2 w AWS) nie jest to problem, pod Windowsem można zainstalować go na przykład instalując Anacondę. Kolejny krok to przygotowanie R do pracy z Keras. Najpierw instalujemy bibliotekę keras:

install.packages("keras")

a następnie sam silnik:

library(keras)
install_keras()

Ta ostatnia funkcja ma trochę parametrów - między innymi odpowiedzialnych z zainstalowanie TensorFlow skompilowanego pod korzystanie z GPU (wykorzystanie kart graficznych do obliczeń - znacznie przyspiesza to cały proces, ale potrzebny jest stosowny sprzęt). Odpowiedni ich opis znajdziecie w dokumentacji. Szczegółową dokumentację Keras znajdziecie na stronie Keras.io. Proces instalacji nieco trwa za pierwszym razem, później jest już z górki. Przy instalacji na Windowsie może się coś pogryźć w Anacondzie (mi powstało drugie środowisko i trochę z tym trzeba powalczyć). Na maszynie EC2 (szczególnie t2.micro) może być okazać, że zabraknie pamięci (tak się stało dla sieci opisywanych poniżej). Rozwiązaniem jest zwiększenie wielkości tzw. swapu czyli wirtualnej pamięci, która tak na prawdę jest miejscem na dysku. Znalazłem odpowiednie obejście na niezastąpionym Stackoverflow. Stosujemy więc zwiększenie swapu, po resecie maszyny wszystko wraca do normy (chyba, że potrzebujemy pozostać przy powiększonym miejscu - odpowiednia zmiana opisana jest też na SO).