FastAPI on Łukasz Prokulski, Dane i Analizy

Dlaczego migracja do Databricks jest trudna i co z tym zrobić?

Mon, 03 Aug 2026 15:00:00 +0000

W tym wydaniu powraca temat architektury danych i platformy lakehouse - Apache Iceberg, Databricks, Microsoft Fabric - ale tym razem z wyraźnie różnymi kątami. Jeden artykuł tłumaczy, czym Databricks w ogóle jest i jak działa. Drugi mówi wprost, dlaczego migracja na tę platformę często idzie nie tak. Trzeci pokazuje, jak zorganizować porządny proces wdrożeniowy - ale w Microsoft Fabric. Razem tworzą niezły przegląd tego, co czeka Cię przy pracy z nowoczesnymi platformami danych:

Czy AI Slop zaleje sieć? Plus Spark, Kafka i SQL

Mon, 25 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz ich głębokiej integracji z codziennym workflow inżynierskim.

Analizujemy, jak agenty Playwright i protokół MCP automatyzują cykl życia błędu, od wykrycia po zgłoszenie w Jirze, pokazujemy, jak Claude Code i lokalne modele Qwen2.5 zmieniają zasady gry w analizie danych i budowaniu dashboardów, i sprawdzamy, ile “śmieciowego” AI (slop) faktycznie krąży w sieci i jak to wpływa na jakość informacji.

W obszarze inżynierii danych skupiamy się na wydajności, optymalizacji kosztów i mądrym wyborze silników bazodanowych.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Agenci AI, skalowanie pipeline'ów i ewolucja Pythona

Mon, 19 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu głęboko zanurzamy się w świat agentów AI i agentic AI: od fundamentalnych rozróżnień między generatywną AI, agentami i podejściem agentycznym, przez praktyczne wyzwania bezpieczeństwa w postaci mapowania API, aż po optymalizację zarządzania kontekstem w Model Context Protocol. Nie zabraknie również solidnych podstaw machine learningu: kodowanie danych kategorycznych, Support Vector Machines oraz kompleksowy przegląd metod detekcji anomalii w Pythonie.

Na froncie inżynierii danych pokazujemy, jak ewoluować od prostych crontabów do systemów obsługujących miliardy zdarzeń, jak wykorzystać DuckDB do szybkich analiz bez ciężkiej infrastruktury oraz dlaczego dokumentacja jako kod w dbt-checkpoint staje się silnikiem jakości danych. Praktyczny przewodnik end-to-end z darmowymi narzędziami oraz refleksje nad zawodem data engineera dopełniają obrazu codziennych wyzwań w tej dziedzinie.

Ostatni raz w tym roku

Mon, 22 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i modelami AI. Z obszaru Data Engineering znajdziecie rozwiązania eliminujące nocne przetwarzanie batchowe przy pomocy DuckDB i dbt, przewodnik po strategiach obsługi danych wrażliwych oraz techniki checkpointingu w systemach event-driven. O DuckDB aż trzy materiały - bo to świetne narzędzie. Podobnie PostgreSQL to świetne narzędzie, “zamiatające” inne typy baz - tutaj na przykładzie baz wektorowych i indeksowania 100 milionów wektorów w 20 minut.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Agenci AI, data engineering i fine-tuning LLM

Mon, 17 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i sztuczną inteligencją (co nie jest niczym nowym dla stałych czytelników newslettera; a nowych - serdecznie witam!).
Znajdziesz tu kompleksowe tutoriale budowy agentów AI z LangChain, przewodniki po fine-tuningu modeli językowych metodą QLoRA oraz zaawansowane techniki pracy z PostgreSQL i jego rozszerzeniami.

Szczególną uwagę poświęcamy inżynierii danych: od strategii inkrementalnego ładowania i projektowania idempotentnych pipeline’ów, przez real-time CDC z Debezium i Kafką, aż po nowoczesne podejście lakehouse z DuckDB.
Nie zabrakło również głębokiej analizy matematyki stojącej za zero-shot learning, przeglądu metryk klasyfikacyjnych oraz praktycznych rozwiązań dla systemów rozproszonych, jak predykcyjne autoskalowanie Apache Flink.

System design, bazy danych i praktyczny Python

Mon, 10 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach projektowania i optymalizacji systemów danych.
Zaczynamy od architektury: poznasz sprawdzone metody nauki projektowania systemów oraz zajrzysz pod maskę infrastruktury OpenAI opartej na Kubernetes i Apache Kafka.
W sekcji baz danych znajdziesz spojrzenie na BigQuery z perspektywy programistów Pythona oraz dwanaście realnych przypadków migracji do DuckDB z konkretnymi oszczędnościami.

Miłośnicy Pythona znajdą też kilka wartościowych materiałów: od elegancji dekoratorów, przez biblioteki przewyższające Excela, po praktyczną migrację z PostgreSQL do MongoDB. Warto zerknąć na porównanie HTTPX z Requests (nie tylko w kontekście projektów LLM, ale po prostu na httpx jako nowocześniejszy pakiet) oraz omówienie narzędzia UV Toolchain do stabilizacji środowisk CI/CD.

Kafka jest szybka, ale użyję Postgres

Mon, 03 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się rozwiązaniom praktycznym z kilku kluczowych obszarów analizy i przetwarzania danych. Zaczynamy od fuzzy string matching i technik dopasowywania niedoskonałych tekstów, przechodzimy przez architekturę pipeline’ów ETL opartych na open source, aż po szczegóły integracji Kafka, Flink i Spark w systemach streamingowych.

W sekcji Python znajdziesz porównanie nowości w wersjach 3.13 i 3.14, kompleksowy przewodnik (a nawet dwa, aby niejako dopełnić wiedzę) po Pydantic oraz praktyczne wzorce projektowe dla FastAPI. Nie zabraknie też tematów związanych z optymalizacją PostgreSQL w aplikacjach czasu rzeczywistego, zarządzaniem kosztami w chmurze AWS oraz głęboko partycjonowanymi danymi w Apache Spark.

Nowy dział low code

Mon, 06 Oct 2025 15:00:00 +0000

Kolejny tydzień, kolejna porcja wiedzy z szerokiego świata danych i AI. Jak zwasze przed Tobą materiały, które sprawdzą się zarówno w codziennej pracy, jak i przy zgłębianiu nowych technologii.

Jeśli zajmujesz się infrastrukturą i DevOps, czekają na Ciebie praktyczne wzorce Dockerfile dla Pythona, które zredukują czas buildów do sekund, oraz dziewięć sprawdzonych technik autoskalowania w Kubernetes, które przetrwają piki ruchu. A dla fanów baz danych – przegląd rozszerzeń PostgreSQL, które działają jak supermoc, oraz porównanie architektur Snowflake, Oracle i PostgreSQL.

Firmy uciekają od AI - czas na prawdziwą wiedzę! Praktyczne rozwiązania dla prawdziwych ludzi

Mon, 15 Sep 2025 15:00:00 +0000

Dzisiejszy numer newslettera przynosi zwyczajowy mix technologii i trendów, które kształtują obecny krajobraz danych i AI. Zaczynamy od zaskakującego zwrotu w podejściu do sztucznej inteligencji: coraz więcej firm odwraca się od kosztownych wdrożeń AI, stawiając ponownie na kompetencje ludzkie. To doskonały moment na refleksję nad tym, gdzie AI rzeczywiście przynosi wartość.

W tym numerze znajdziesz praktyczne rozwiązania, które możesz wdrożyć już dziś. Dowiesz się, jak zespół obniżył koszty bazy danych z 10 tysięcy do 500 dolarów miesięcznie, poznasz siedem trików przyspieszających walidację Pydantic dwukrotnie, a także odkryjesz ukryte możliwości context managerów w Pythonie, które wykraczają daleko poza klasyczne “with open()”.

Sporo Streamlit i tutoriali budowania Agnetów AI

Mon, 08 Sep 2025 15:00:00 +0000

Gdy jedni wciąż zastanawiają się, czy warto eksperymentować z agentami AI, inni już budują kompletne systemy analityczne z Pydantic-AI i Streamlit. Gdy niektóre zespoły mierzą się z podstawową konfiguracją Kafki, inne optymalizują przepustowość na poziomie miliona wiadomości na sekundę. Między innymi o tym dzisiaj.

Rewolucja agentów AI - od zera do działającego agenta z LangGraph, plus praktyczne połączenie Streamlit z Pydantic-AI do analizy danych. To nie są już tylko proof-of-concept, to konkretne narzędzia robocze.

Newsletter Dane i Analizy, 2025-06-23

Mon, 23 Jun 2025 15:00:00 +0000

Witaj w kolejnym numerze, który jak zwykle został przygotowany z myślą o tym, żebyś nie musiał(a) przebijać się samodzielnie przez 500 artykułów tygodniowo w poszukiwaniu prawdziwych perełek. Tym razem szczególnie różnorodny zestaw - od trenowania modeli językowych, przez serwery MCP i praktyczne implementacje w Pythonie (w szczególności przepływów danych i wykresów), aż po narzędzia, które mogą realnie zmienić użycie konsoli.

Ciekawostką tego numeru jest analiza protestu wyborczego z polskich wyborów 2025 - rzadko kiedy mamy okazję zobaczyć, jak statystyka spotyka się z rzeczywistością polityczną w tak bezpośredni sposób.

Newsletter Dane i Analizy, 2025-06-16

Mon, 16 Jun 2025 15:00:00 +0000

Mamy poniedziałek rano, więc zaparzaj kawę i przygotuj się na rozpoczęcie tygodnia z porcją wiedzy z świata danych i sztucznej inteligencji.

Witam przede wszystkich nowych subskrybentów! Zgodnie z obietnicą (warto śledzić moje social media): oto moja najnowsza książka mówiącej o tym, co trzeba umieć, aby pracować z danymi - od zupełnych podstaw w Excelu do dużych projektów data-inżynieryjnych, modeli AI czy dashboardów dla zarządów największych spółek.

Książka na razie dostępna jest za darmo, więc należy się śpieszyć. To wersja 1.0.beta, więc wszystkie uwagi mile widziane!

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-04-21

Mon, 21 Apr 2025 15:00:00 +0000

Pomimo trwających świąt (chociaż już za moment “święta, święta i po świętach”) dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-02-17

Mon, 17 Feb 2025 15:00:00 +0000

Mam nadzieję, że Walentynki były udane? ;-) Może szukasz spóźnionego prezentu dla początkującego programisty (albo dla siebie) - mój nowy e-book o Pythonie (pobieranie danych z API, współpraca z bazą danych, aplikacja we Flasku), który zadebiutował właśnie 14 lutego, może być strzałem w dziesiątkę. Więcej informacji na stronie książki.

W tym tygodniu mam dla Ciebie solidną dawkę wiedzy z różnych obszarów analizy danych i programowania - jak zwykle zresztą. Szczególnie warto zwrócić uwagę na materiały dotyczące uczenia maszynowego - od budowy własnej biblioteki deep learning po praktyczną optymalizację modelu wykrywania oszustw. Dla osób zainteresowanych LLM, a w szczególności Transformerami - jest przystępne wyjaśnienie ich działania.

Newsletter Dane i Analizy, 2025-01-27

Mon, 27 Jan 2025 15:00:00 +0000

Na bieżący numer złapało się kilka ciekawych tematów. Warto zwrócić uwagę na tekst o systemach automatyzacji w Amazonie i Netfliksie - pokazuje podejście dużych firm do skalowalności i bezpieczeństwa. Dobry jest artykuł o topic modeling z użyciem BERTopic i FASTopic - może się przydać przy przetwarzaniu skarg klientów.

Dla fanów Kafki znajdzie się materiał o konsumentach wiadomości, a dla pythonowców zestaw o wizualizacjach z Pythona w Power BI, budowaniu API gateway na FastAPI i poradnik “10 Tips to Become REALLY Good at Python”, gdzie w pół godziny Arjan mówi o tym, co jest najważniejsze przy nauce Pythona, od czego trzeba zacząć i co doskonalić na początku. Do tego jest też wideo dla początkujących adeptów Pandas.

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-12-09

Mon, 09 Dec 2024 15:00:00 +0000

Nie wiem czy korzystacie z list zakupów w aplikacjach do tego przewidzianych? To wygodne - cała rodzina dodaje na jedną listę to, co trzeba kupić, a potem jedna osoba (np. ojciec ;) jedzie do sklepu i przywozi te siaty… U mnie taką aplikacją jest Listonic (i nie jest to reklama - apka ma trochę irytujących elementów). Aplikacja jest popularna, co pozwala jej twórcom na zgromadzenie dużej liczby “list zakupów” i przygotowanie na tej podstawie ciekawych raportów.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-09-09

Mon, 09 Sep 2024 15:00:00 +0000

W tym tygodniu prowadzę szkolenie (a w zeszłym prowadziłem przykładowo konkurs na imprezie firmowej - więc “szkolenia, prelekcje, podcasty, śluby, chrzciny i pogrzeby” są w ofercie Dane i Analizy :), więc nieco mniej czasu na przygotowanie newslettera - wybaczcie zatem, że bez standardowego wstępu. Liczę jednak na to, że dobór materiałów na zadowalającym poziomie.

#ai_ml

Evaluating Handwritten digital Recognition Models
MNIST to jeden z najpopularniejszych zbiorów danych. Porównanie modeli rozpoznających ręcznie pisane cyfry (i tu zbiorem nie jest MNIST).

Newsletter Dane i Analizy, 2024-06-03

Mon, 03 Jun 2024 15:00:00 +0000

Po dłuższym weekendzie mocny w AI numer newslettera przed Tobą. Numer, który pokrywa takie obszary AI jak obraz, tekst oraz dźwięk.
W ramach obrazu mamy tutorial PyTorcha, ale dodatkowo być może zainteresuje Cię informacja, że modele rozpoznawania obiektów na obrazach YOLO dotarły już do wersji 10 - tutaj review pejpera z opisem YOLOv10, w treści też linki do wytrenowanych modeli i kodu wykorzystujących te modele.

Oprócz AI kilka wskazówek, które mogą przydać się przy wyborach SQL czy NoSQL albo FastAPI czy Flask. Do tego aż dwa teksty o modelowaniu struktury danych w bazie, w tym bardzo konkretny (i obszerny) tutorial o kalendarzach.

Newsletter Dane i Analizy, 2024-05-27

Mon, 27 May 2024 15:00:00 +0000

Dzisiaj krótko, bo tydzień krótszy i “nie ma czasu załadować taczek”. Może tak lepiej?

#analiza_danych_projekty

Customer Segmentation
Analiza RFM (Recency, Frequency and Monetary) wykorzystana do segmentacji klientów. Bardziej opis niż zajęcia praktyczne, a praktyka podana w excelu

#architektura

How Twitter processes 4 billion events in real-time daily
Od architektury Lambda do Kappa

3 Reasons Why You Might Want to Use Monolith Instead of Microservice
Czyżby odwrót od podejścia mikroserwisowego? A może tylko kilka szczególnych przypadków?

Newsletter Dane i Analizy, 2024-04-22

Mon, 22 Apr 2024 15:00:00 +0000

#ai_ml

Create an AI-Driven Movie Quiz!
Ciekawy projekt, który tworzy quiz wiedzy na temat filmów. Dane o filmach zebrane są z internetowej bazy, przetworzone przez mechanizmy AI, a cała zabawa odbywa się z wykorzystaniem API. Tekst opisuje projekt, a sam kod dostępny jest na GitHubie

#analiza_danych_koncepcje

SOLID Principles Applied to Data Science
Jak zbudować standardowy proces MLowy (wczytanie danych, preprocessing, uczenie modelu i finalna predykcja na nowych danych) w zgrabną architekturę spełniającą zasady SOLID?

Newsletter Dane i Analizy, 2023-09-18

Mon, 18 Sep 2023 15:00:00 +0000

Dziś polecam gorąco dwa teksty, dość obszerne.

Pierwszy to świetny i darmowy kurs spaCy - chyba najlepszej obecnie biblioteki służącej do przetwarzania tekstu w Pythonie (z bogatą biblioteką słowników w różnych językach)

Drugi to cykl (link prowadzi do jego środka) opowiadający o budowaniu aplikacji do zamawiania usług: zaczyna się od FastAPI przyjmującego zamówienia, Kafka jako potok na dane, Apache Pinot jako hurtownia danych i aplikacja-dashboard napisany za pomocą Dash.

A żeby nie było za łatwo - musisz samodzielnie przeczytać całą poniższą listę, aby te dwa teksty odkryć. Dzięki temu może znajdziesz jeszcze coś ciekawego?

Newsletter Dane i Analizy, 2023-05-22

Mon, 22 May 2023 15:00:00 +0000

Tak się zdarzyło, że dzisiaj większa część tekstów dotyczy zagadnień związanych z Pythonem. Nic dziwnego, bo to główny język z którym mam do czynienia (jeśli coś w ogóle piszę albo przeglądam czyjś kod) i chyba też najbardziej popularny język wśród Czytelników. Ale na przykładzie Pythona dość łatwo pokazać ideę różnych rozwiązań - dzisiaj znajdziecie przykład oparty o FastAPI (pizzeria).

Z innych tekstów gorąco polecam rozwiązania bliższe przechowywaniu danych - jak trzymać “lajki” w bazie danych? Jak Booking.com radzi sobie z szybkim wyszukiwaniem obiektów na mapach? Co daje partycjonowanie danych (na przykładzie ich odczytywania Sparkiem)?

Newsletter Dane i Analizy, 2022-06-20

Mon, 20 Jun 2022 15:00:00 +0000

Długi weekend się przedłużył… ale zgodnie z planem (a nie że “melanż poniósł za daleko” ;-). Newsletter przygotowany, a (prawie) jednodniowe opóźnienie nie powinno zmienić Waszego stosunku do zawartości. Odrobina tęsknoty (mam nadzieję) nikomu jeszcze nie zaszkodziła.

Deszcz pada w całym kraju, zapraszam zatem do lektury!

#AI_ML

Model Tracking with MLFlow & Deployment with FastAPI
Fajny tutorial pokazujący jak śledzić wyniki modelu przez MLFlow oraz serwować ten najlepszy przez FastAPI

Newsletter Dane i Analizy, 2022-01-31

Mon, 31 Jan 2022 15:00:00 +0000

Dzisiaj odcinek dość pythonowy, ale za to z obszernym tekstem o tworzeniu modeli w R - cały proces opisany po kolei. Polecam!

#AI_ML

Natural Language Processing (NLP) for Semantic Search
Duża pozycja, która wprowadza w świat NLP

#ciekawostki

What Does a Data-Driven Government Look Like?
Teoretycznie więcej danych to lepsze decyzje. Czy zarządzanie maistem albo państwem jest możliwe w oparciu o dane? Jak może to wyglądać?

AI Geospatial Wildfire Risk Prediction
Przewidywanie zdarzeń związanych z geografią - pogoda, pożary - ciekawe zagadanienie, a często pomijane przy np. poradnikach ML.

Newsletter Dane i Analizy, 2022-01-03

Mon, 03 Jan 2022 15:00:00 +0000

Dzisiaj kilka tematów “pokrytych” nie tylko jednym tekstem. Mamy więc coś o modelach BERT plus automatycznie tworzenie tekstów przez GPT-3, mamy wizualizacje danych na mapach (w R i Pythonie). Mamy też cykl, który pozwoli na napisanie bota do np. CS:GO.

Na blogu od dawna nie było nowego tekstu (stąd podlinkoway niżej tekst o GPT-3 ;), ale jakieś rzeczy robię i publikuję. Zwykle jest tak, że energia opada po przygotowaniu działającego kodu. Tak jest z serwowaniem obrazków przez API (przy okazji te obrazki się generują) - sami zobaczcie do repozytorium.

Newsletter Dane i Analizy, 2021-06-07

Mon, 07 Jun 2021 09:00:00 +0000

3 Examples That Show The Unlimited Flexibility of PySpark
A combination of Python and SQL but easier than both Spark is an analytics engine used for large-scale data processing. It lets you spread both data and computations over clusters to achieve a substantial performance increase. It is easier than ever to collect, transfer, and store data. Hence, we (…)

Row-wise operations in R: compute row means in tidyverse
This tutorial shows how to perform row-wise operations in R using tidyverse. We will use three key functions, rowwise(), c_across() and rowMeans() to perform to perform row-wise operations on a dataframe. rowwise() and c_across() functions are from dplyr. rowwise() function is available in dplyr (…)