Elasticsearch on Łukasz Prokulski, Dane i Analizy

Semantic layer, czarne skrzynki i 30 lat Postgresa kontra cały Twój stack

Mon, 20 Apr 2026 15:00:00 +0000

Tym razem data engineering trzyma środek ciężkości całego wydania — i robi to z rozmachem.

DuckLake osiąga wersję 1.0 jako pełnoprawna platforma lakehouse oparta na Apache Iceberg, dbt publikuje świeży benchmark semantic layer kontra text-to-SQL, a Meta dzieli się case study o tym, jak użyła NLP do mapowania wiedzy w pipeline’ach danych.

Do kompletu:

architektura medallion z warstwą semantyczną, 20 reguł walidacji, które powinny być standardem w każdym pipeline, i konkretny materiał Airbnb o wysokowydajnym pipeline metryk na OpenTelemetry.

Lokalne AI, optymalizacja Kafki i analiza 50 tysięcy profili randkowych

Mon, 16 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu łączymy praktyczne podejście do AI z fundamentami inżynierii danych. Zaczynamy od narzędzi agentowych – customizacji Claude Code dla Pythona (gdzie język jest przykładem - to samo można zrobić chociażby dla Javy) i OpenClaw jako lokalnego asystenta AI z pełną kontrolą nad danymi.

W sekcji ML znajdziecie automatyzację audytu katalogów z użyciem XGBoost, wprowadzenie do PyCaret (taka biblioteka auto-ml dla Pythona) oraz semantyczne wyszukiwanie obrazów łączące Gemini z Elasticsearch.

Newsletter Dane i Analizy, 2025-06-09

Mon, 09 Jun 2025 15:00:00 +0000

Dzisiaj momentami jest grubo - na przykład matematyczna elegancja B-spline’ów. Ale jest też trochę praktyki w DuckDB. Jeśli myślisz, że świat danych to tylko nudne CSVki i niekończące się ETLe, ten numer (mam nadzieję) przekona Cię, że to naprawdę fascynująca dziedzina pełna niespodzianek.

Szczególnie polecam zwrócić uwagę na historię firmya Tencent Music, która oszczędziła 80% kosztów przenosząc się z Elasticsearch na Apache Doris - to jeden z tych przypadków, gdy zmiana architektury naprawdę się opłaca. Z kolei dla miłośników optymalizacji opowieść o tym, jak Python API można przyspieszyć 10x bez przepisywania na Go czy Rust - czasem wystarczy po prostu dobrze pomyśleć!

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-09-02

Mon, 02 Sep 2024 15:00:00 +0000

Od kilku tygodni (może bardziej kilkunastu dni?) na LinkedIn widać pochwały dla Bielika - polskiego czat-bota opracowanego na bazie modelu Mistral-7B. Tutaj możecie poczytać swego rodzaju test tego modelu. Polecamy własne eksperymenty (ciekawym jest prompt “Przygotuj dialog pomiędzy Janem i Marią, dwojgiem polskich emerytów spotykających się pomiędzy apteką a sklepem spożywczym” - ChatGPT, Cloude, Gemini - próbujcie, kto da bardziej “polską” odpowiedź). Co ważne - Bielik w wersji 2.2 jest dostępny na licencji Apache 2.0, która pozwala na swobodne używanie, modyfikowanie i redystrybucję oprogramowania, w tym w celach komercyjnych. Jedynym wymaganiem jest zachowanie oryginalnej licencji i noty prawnej przy każdej redystrybucji.

Newsletter Dane i Analizy, 2023-11-27

Mon, 27 Nov 2023 15:00:00 +0000

W minionym tygodniu miałem okazję być uczestnikiem konferencji Data Science Summit. Moje obserwacje są dość proste (ale przyznam, że interesowały mnie ścieżki bliższe data engineering niż data science czy wręcz precyzyjnie LLM):
budowanie modeli przestało być zagadnieniem zagadnieniem jest ich wdrażanie, utrzymywanie, sprawianie by szybko działały i były łatwe do podmiany na swoje lepsze wersje a więc znaczenie ma MLOps hasło data mesh straciło impakt - nadal mówi się o tym, że dane to powinien być produkt, że ważny jest “demokratyczny dostęp do danych”, ale nie ma takiego hype jak rok temu dużo mówi się o Streamlit jako narzędziu do szybkiego budowania dedykowanych rozwiązań do prezentacji danych (i interakcji z nimi), właściwie obok dedykowanych narzędzi BI (PowerBI, MS Fabric, Tableau) Streamlit był jedynym rozwiązaniem open source

Newsletter Dane i Analizy, 2023-03-13

Mon, 13 Mar 2023 15:00:00 +0000

Wielokrotnie na łamach niniejszego newslettera poruszane były tematy związane z Apache Kafka. A to podejście architektoniczne z grubsza mówiące dlaczego Kafka jest fajna i przydatna, a to podejście developerskie - o tym jak wysyłać i konsumować wiadomości z Kafki. Często też trafiają się bardziej zaawansowane przykłady - traktujące Kafkę jako bazę danych (z ktable czy ksql), czasem uzupełnione o Spark Streaming czy inne dodatkowe narzędzia typu Trino.

Ale najczęściej chyba Kafka wykorzystywana jest do przesyłania komunikatów w podejściu publish & subscribe. Są jednak przecież inne rozwiązania kolejkowe - Rabbit, czy na przykład MQTT popularne w rozwiązaniach Internet of Things. Przeczytajcie o podobieństwach i różnicach Kafki z MQTT (tekst Kafka vs Rabbit też oczywiście jest).

Newsletter Dane i Analizy, 2022-12-05

Mon, 05 Dec 2022 15:00:00 +0000

Jak wygląda Mundial na Twitterze?

W kilka dni i właściwie w trzy osoby przygotowaliśmy dashboard pozwalający monitorować co się dzieje podczas meczów na Mundialu. Gdzie to zobaczyć? Na mundial.achaja.org (login: robercik, hasło: nicsieniestalo).
A jak to wszystko działa?

Skrypt w Pythonie zbiera dane z Twittera

API Twittera pozwala na podpięcie się pod strumień (dane same spływają, w czasie rzeczywistym, chociaż przy natłoku komunikatów zdarza się nawet 5-minutowy lag) którym przychodzą nowe obiekty - tweety taki obiekt zawiera treść, tagi, informacje o tym w jakim języku napisany został tekst zbieramy więc te wszystkie twitty dla meczu po hashtagu, np. dla meczu Francja-Polska #FRAPOL oraz #POLFRA dodatkowo zbieramy tweety dla hashtagów ogólnych: #WorldCup #WorldCup2022 #FIFAWorldCup #QatarWorldCup2022 #Qatar2022

Newsletter Dane i Analizy, 2022-09-26

Mon, 26 Sep 2022 15:00:00 +0000

Wracamy do rysowania wykresów, pobierania danych ze stron internetowych oraz robienia dashboardów (i raportów w Wordzie). To dzisiejsze główne punkty zainteresowań. Ale dla fanów rozwiązań big data też coś się znajdzie.

#analiza_danych_projekty

Automate your music collection
Znudziły Ci się playlisty Spofity? Ciągle słuchasz “ulubionych”? Być może Ci to odpowiada. Ale jeśli lubisz odkrywać nową muzykę to możesz czuć się jak w bańce. Albo wykorzystać historię odtwarzanych utworów oraz API serwisu Last.fm żeby poznać coś nowego

Newsletter Dane i Analizy, 2022-06-13

Mon, 13 Jun 2022 15:00:00 +0000

Jak być data scientistą w Pythonie?

import pandas as pd

i gotowe!

Żart oczywiście (taki familiadowy, ale kto boomerowi zabroni?), a o samym Pandasie polecam wystąpienie Jana Kantego Milczka z PyData w Bydgoszczy.

#AI_ML

Uber’s Real-Time Document Check
Jak Uber zrobił weryfikację na podstawie dokumentów typu dowód osobisty?

Intro to MLOps Using Amazon SageMaker
Co to MLOps i jak SageMaker pomaga? A chyba pomaga, skoro to najpopularniejsze tego typu narzędzie (tak przynajmniej wynika z case studies pokazywanych na konferencjach)

Newsletter Dane i Analizy, 2022-02-21

Mon, 21 Feb 2022 15:00:00 +0000

Dzisiaj sporo rzeczy związanych z Wordle - bo to jest świetny poligon doświadczalny na analizę danych i kombinatorykę, ale też ciekawe są wyniki tego jak ludzie grają w tę grę (poniżej link do artykułu na ten temat).

Świetny jest też tekst Maćka Jak wykryć phishing.

Dla początkujących adeptów Pythona kilka solidnych podstaw - warto prześledzić wszystko z dzisiejszej sekcji #python_junior.

#AI_ML

Create an ML Powered Prediction Service in Minutes
Prosty i szybki sposób na umieszczanie modeli machine learningowych na produkcji

Newsletter Dane i Analizy, 2021-05-14

Fri, 14 May 2021 09:00:00 +0000

A Modern Set-up for Python Package Development
From dependency management to quality assurance, documentation, and CI/CD

Create your first sales dashboard in Apache Superset
Superset dashboard tutorial. A step by step guide about how to use Apache Superset to create an interactive e-commerce sales dashboard to track enterprise KPIs. A free and open-source business intelligence tool to create interactive sales dashboard

Getting started with Elasticsearch 7 in Python
Learn the basics of Elasticsearch 7.x, its setup, and implementation in Python.