AI on Łukasz Prokulski, Dane i Analizy

Osiem wzorców potoków danych, Snowflake od środka i przedwakacyjny DevOps

Mon, 22 Jun 2026 15:00:00 +0000

Rozpoczynamy ostatni tydzień roku szkolnego, co dla wielu oznacza początek letnich urlopów i chwilowe zwolnienie tempa w projektach. To idealny moment na uporządkowanie technicznego długu oraz wdrożenie usprawnień, które pozwolą Twoim systemom bezawaryjnie przetrwać czas wakacyjnej flauty. Warto skupić się na:

automatyzacji powtarzalnych zadań operacyjnych, przeglądzie konfiguracji bezpieczeństwa i zarządzania kluczami, refaktoryzacji krytycznych fragmentów kodu przed masowymi urlopami w zespole.

W obszarze inżynierii danych i architektury przyglądamy się sprawdzonym wzorcom projektowym oraz zaawansowanym metodom skalowania przepływów. Zrozumienie relacji między różnymi modelami przetwarzania pozwala na budowanie systemów odpornych na nagłe skoki ruchu. W tym tygodniu dowiesz się więcej o:

Newsletter Dane i Analizy, 2025-06-30

Mon, 30 Jun 2025 15:00:00 +0000

Dzisiaj w numerze od rewolucji w projektowaniu API po fundamentalne pytania o architekturę danych, od praktycznych implementacji AI po badania nad samopoczuciem programistów – każdy artykuł odkrywa nowe perspektywy na temat tego, jak sztuczna inteligencja przemienia nasze sposoby pracy.

Era Agentów AI wymaga nowego podejścia do projektowania
Jednym z kluczowych tematów tego numeru jest ewolucja API w kontekście rosnącej popularności agentów AI. Agenty AI zachowują się jak wątki - to boty zadaniowe uruchamiane w celu osiągnięcia określonego celu, co oznacza, że nasze dotychczasowe podejście do projektowania interfejsów programowych wymaga gruntownego przemyślenia. Czy nasze API są gotowe na świat, w którym konsumentami nie są już tylko ludzie, ale także inteligentne maszyny działające autonomicznie?

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2024-04-22

Mon, 22 Apr 2024 15:00:00 +0000

#ai_ml

Create an AI-Driven Movie Quiz!
Ciekawy projekt, który tworzy quiz wiedzy na temat filmów. Dane o filmach zebrane są z internetowej bazy, przetworzone przez mechanizmy AI, a cała zabawa odbywa się z wykorzystaniem API. Tekst opisuje projekt, a sam kod dostępny jest na GitHubie

#analiza_danych_koncepcje

SOLID Principles Applied to Data Science
Jak zbudować standardowy proces MLowy (wczytanie danych, preprocessing, uczenie modelu i finalna predykcja na nowych danych) w zgrabną architekturę spełniającą zasady SOLID?

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2023-08-21

Mon, 21 Aug 2023 15:00:00 +0000

Kiedyś analizowałem sieć tramwajową Warszawy wprowadzając przy okazji pojęcia związane z grafami (takimi matematycznymi tworami) - dzisiaj znajdziecie tekst o podobnej analizie, ale sieci dróg (na przykładzie Krakowa i Polski, bo autor wywodzi się z AGH).

**W tym tygodniu opowiadam o AI i nie tylko.**Według zapowiedzi, w ramach wydarzenia Kto stoi za sztuczną inteligencją? na Facebooku opowiem trochę o tym, czy sztuczna inteligencja zastąpi kiedyś człowieka. Wydarzenie przygotowane jest przez Szkolną Giełdę Pracy, transmisja live odbędzie się w czwartek 24 sierpnia o 18:00.

Newsletter Dane i Analizy, 2023-05-22

Mon, 22 May 2023 15:00:00 +0000

Tak się zdarzyło, że dzisiaj większa część tekstów dotyczy zagadnień związanych z Pythonem. Nic dziwnego, bo to główny język z którym mam do czynienia (jeśli coś w ogóle piszę albo przeglądam czyjś kod) i chyba też najbardziej popularny język wśród Czytelników. Ale na przykładzie Pythona dość łatwo pokazać ideę różnych rozwiązań - dzisiaj znajdziecie przykład oparty o FastAPI (pizzeria).

Z innych tekstów gorąco polecam rozwiązania bliższe przechowywaniu danych - jak trzymać “lajki” w bazie danych? Jak Booking.com radzi sobie z szybkim wyszukiwaniem obiektów na mapach? Co daje partycjonowanie danych (na przykładzie ich odczytywania Sparkiem)?

Newsletter Dane i Analizy, 2023-05-08

Mon, 08 May 2023 15:00:00 +0000

Majówka, majówka i po majówce. Wypoczęci? Ja zwiedziłem z rodziną Trójmiasto, jestem zadowolony i o to właściwie w wypoczynku chodzi. Tylko dlaczego tak wieje nad morzem?

W dzisiejszym odcinku zaś szczególnie polecam książkę Françoisa Fleureta The Little Book of Deep Learning - sporo teorii o tym jak działa głębokie uczenie, różne typy warstw i w ogóle na czym ta cała sztuczna inteligencja polega. Książka wygląda na przyciętą formatem do ekranu telefonu - przyznam, że to interesujący pomysł (ale już go znamy z chociażby [reklama] Kart Data Science).

Newsletter Dane i Analizy, 2023-03-20

Mon, 20 Mar 2023 15:00:00 +0000

Wiecie kto generuje najwięcej ruchu w internecie? Kiedyś to było porno i torrenty (albo inne sposoby wymiany plików peer-to-peer). Teraz układ wygląda jak na poniższym obrazku, przynajmniej według danych opublikowanych przez serwis Statista.

Dzisiaj bardzo dużo treści - oraz eksperyment - polskie tytuły (ale przeważnie angielskie teksty). Wśród tych tekstów sporo o Apache Spark i konkretnych wykorzystaniach albo rozwiązaniach konkretnych problemów.
Znajdziecie też kilka fajnych tekstów o różnego typu problemach rozwiązywanych przez analizę czy modele danych (rekomendacje w Netflixie, OHE i Pandas), gorąco polecam tekst o Apache Arrow.

Newsletter Dane i Analizy, 2023-01-30

Mon, 30 Jan 2023 15:00:00 +0000

Dzisiaj na początek trochę o orkiestracji za pomocą Apache Airflow. Zobaczymy co potrafi to narzędzie w zakresie sterowania pobieraniem danych i jak sprawuje się na produkcji.

A jak już mamy pobrane dane to możemy z nimi coś zrobić korzystając z jednej z bibliotek pythonowych. Albo policzyć jakieś modele i z ich pomocą przeanalizować na przykład klientów i ich drogę przez koszyk zakupowy.

W sumie - u laików - synonimem słowa “model” jest “sztuczna inteligencja”. A jak sztuczna inteligencja to może od razu ChatGPT (z którego już dzieciaki korzystają żeby pisać prace domowe)?

Newsletter Dane i Analizy, 2023-01-02

Mon, 02 Jan 2023 15:00:00 +0000

Witaj w pierwszym numerze newslettera “Dane i Analizy” w nowym roku! Mam nadzieję, że spędziłeś święta w miłym towarzystwie i jesteś gotowy na kolejne wyzwania w pracy. Albo spędziłaś i jesteś gotowa :)

W tym numerze polecam trzy artykuły, które mogą być pomocne w rozwoju Twoich umiejętności: “The Art of Writing Amazing REST APIs” to kompendium wiedzy dla tych, którzy chcą nauczyć się tworzyć skalowalne i łatwe w użyciu interfejsy sieciowe “Simple Parquet Tutorial and Best Practices” to zestaw porad dla tych, którzy chcą rozszerzyć swoje umiejętności związane z przetwarzaniem danych w formacie parquet “A Real-Time Streaming Project with Smartphone Data” to przewodnik po najlepszych praktykach związanych z przetwarzaniem danych z telefonów komórkowych w czasie rzeczywistym.

Newsletter Dane i Analizy, 2022-09-12

Mon, 12 Sep 2022 15:00:00 +0000

Z dzisiejszej paczki tekstów wybranych z całego tygodnia chyba najbardziej podoba mi się ten o gerrymandering - czyli takim dobraniu kształtu okręgów wyborczych aby wygrało konkretne ugrupowanie. To ważny problem, cieszę się że są mechanizmy (pokazane w artykule) do dowodzenia że takie czy inne granice okręgów są sprzyjające jednej czy innej stronie. Ale najbardziej podoba mi się sposób prezentacji treści. The Washington Post (New York Times też) inwestuje w przygotowanie treści i to daje efekty. Kto w Polsce w tak atrakcyjny (i dedykowany tematowi) podaje treść?.

Newsletter Dane i Analizy, 2022-07-11

Mon, 11 Jul 2022 15:00:00 +0000

Machine learning czy też sztuczna inteligencja to nie są czarne skrzynki które dają odpowiedź na każde pytania. Owszem - ML/AI daje odpowiedzi (lub nie) na konkretne pytania (trzeba umieć je postawić, ale też zaakceptować niepewność odpowiedzi) i - po setkach spotkań z biznesem - to wydaje się najtrudniejsze do zrozumienia. AI da odpowiedź na konkretne pytanie - czy na obrazku jest pies czy kot albo jaka zapewne będzie wartość takiego czy innego wskaźnika za dwa tygodnie (skoro ostatnie pół roku było tak). A oprócz tego wszystkiego - AI/ML wymaga sporo pracy, o czym możecie przeczytać w opracowaniu Machine Learning Operations (MLOps): Overview, Definition, and Architecture.

Newsletter Dane i Analizy, 2022-05-23

Mon, 23 May 2022 15:00:00 +0000

Dzisiaj delikatnie więcej tematów bliższych biznesowi niż IT - mierniki, jakość, zaangażowanie w pracę (to polecam każdemu). Dane i Analizy to też consulting tego typu rozwiązań - jeśli trzeba to zapraszam do kontaktu

Są też standardowo poradniki związane głównie z Pythonem i Big Data, ale znajdzie się też coś dla chcących zacząć poważniej pisać w Javie

#AI_ML

GreenLIT: Using GPT-J to Create Screenplays
Czy sztuczna inteligencja może pisać scenariusze filmowe?

Train XGBoost Models in Amazon SageMaker in 4 Simple Steps
Jak wykorzysać Amazon SageMaker do trenowania modeli w chmurze?

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2022-03-21

Mon, 21 Mar 2022 15:00:00 +0000

Podoba nie rozpieszcza, nie ma czasu na pisanie. Mam nadzieję, że znajdziecie czas na czytanie :)

#analiza_danych_projekty

End-to-End Hotel Booking Cancellation Machine Learning Model
Czy gość przyjedzie do naszego pokoju hotelowego czy nie przyjedzie? Jak buduje się modele, które potrafią odpowiedzieć na takie pytania? Znajomity tutorial

#big_data

A Spark Streaming pipeline with microservices
Spark, Kafka i uczenie maszynowe w tle - takie projekty lubimy!

Querying Kafka Topics Using Presto
A gdyby tak pytać topików kafkowych tak jak bazę danych?

Newsletter Dane i Analizy, 2022-02-28

Mon, 28 Feb 2022 15:00:00 +0000

Po raz drugi Dane i Analizy są patronem medialnym CuValley Hack. To też druga edycja tego hackathonu, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Impreza startuje 11 marca.

Hackathon zrzesza otwarte umysły i pomysłowych specjalistów, którzy chcą tworzyć innowacyjne projekty dla polskiej miedzi. Uczestnicy skupią się na analizie danych oraz wykorzystaniu #AI, #MachineLearning czy #BigData w układach automatyki przemysłowej. Co Was czeka?
3 zadania, w których do wygrania wysokie nagrody pieniężne 40 godzin kodowania i networking na kanale Slack tysiące dostępnych danych webinary, Keynote Speakerzy, porządna dawka wiedzy i inspiracji!

Newsletter Dane i Analizy, 2022-02-21

Mon, 21 Feb 2022 15:00:00 +0000

Dzisiaj sporo rzeczy związanych z Wordle - bo to jest świetny poligon doświadczalny na analizę danych i kombinatorykę, ale też ciekawe są wyniki tego jak ludzie grają w tę grę (poniżej link do artykułu na ten temat).

Świetny jest też tekst Maćka Jak wykryć phishing.

Dla początkujących adeptów Pythona kilka solidnych podstaw - warto prześledzić wszystko z dzisiejszej sekcji #python_junior.

#AI_ML

Create an ML Powered Prediction Service in Minutes
Prosty i szybki sposób na umieszczanie modeli machine learningowych na produkcji

Newsletter Dane i Analizy, 2022-02-07

Mon, 07 Feb 2022 15:00:00 +0000

Dzisiaj lajtowo, ale najbardziej polecam coś co mogliście przegapić wczoraj na fanpage’u - wideo o tym jak pomóc sobie grając w Wordle albo raczej jaka matematyka stoi za wyborem kolejnych słów. Jest też kod w repo.

#analiza_danych_projekty

Topic Modeling and Latent Dirichlet Allocation (LDA)
O czym są poszczególne tekstów w zbiorze tekstów? “Topic modeling” oparty o LDA pozwala to określić, a ten tekst wprowadza w zagadnienie na przykładzie kodu w Pythonie

#big_data

DARWIN: Data Science and Artificial Intelligence Workbench at LinkedIn
Jak LinkedIn buduje swoją platformę danych i ich analiz?

Newsletter Dane i Analizy, 2021-11-29

Mon, 29 Nov 2021 15:00:00 +0000

Po testach na produkcji z poprzedniego tygodnia przybyło Was równo pięćdziesiąt! Dzięki za zaufanie, mam nadzieję że niniejsze wydanie newslettera Dane i Analizy (jest archiwum!) Was nie rozczaruje i pozostaniecie wiernymi czytelnikami.

A dzisiaj sporo materiału, na nowo pokuładanego - liczę, że taki układ ułatwi Wam poruszanie się po newsletterze i docieranie do tych najbardziej interesujących treści. Po migracji na serwis Raindrop.io (polecam, nie mam w tym żadnego interesu) łatwiejsze dla mnie stało się przygotowanie newslettera, w tym - co chyba najważniejsze - ręczne wybieranie materiałów i ich opisywanie.

Newsletter Dane i Analizy, 2021-05-10

Mon, 10 May 2021 09:00:00 +0000

How to Perform Basic ML Serving With Python, Docker, and Kubernetes
This tutorial provides a basic, step-by-step example of real-time serving a machine learning (ML) model as a REST API with Python, Docker, and Kubernetes. We’ll build a basic REST API with Python, test it locally with Docker, and deploy our API with Kubernetes. By the way, if you want to go faster, (…)

Dockerizing Shiny Applications
Docker provides isolation to applications. Images are immutable. Running multiple instances of the same image can serve many users at the same time. All these general advantages of containerized applications apply to Shiny apps too. The post Dockerizing Shiny Applications first appeared on (…)

Data Science Summit 2020

Fri, 18 Sep 2020 11:48:55 +0000

16 października (piątek), odbędzie się IV edycja konferencji Data Science Summit

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

DSS to największe w Polsce wydarzenie o tematyce data science adresowane do wszystkich osób związanych lub zainteresowanych szybko rozwijającym się obszarem przetwarzania, analizy i wizualizacji danych oraz uczelnia maszynowego.

Data Science Summit 2020 to przede wszystkim ponad 12 równoległych ścieżek tematycznych i ponad 100 prezentacji prowadzonych przez najbardziej pożądanych ekspertów z Polski i zagranicy.

AI & NLP Day 2020

Fri, 21 Aug 2020 09:00:00 +0000

Do 2025 r. Polska będzie potrzebować ok. 200 tys. specjalistów zajmujących się sztuczną inteligencją - wynika z danych ostatniej, siódmej edycji raportu Monitoring trendów w innowacyjności Polskiej Agencji Rozwoju Przedsiębiorczości.

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

W obliczu rosnącego zapotrzebowania na ekspertów AI i dynamicznie postępującej cyfryzacji, edukacja nowych i obecnych kadr IT w obszarze Big Data będzie miała znaczący wpływ na rozwój gospodarczy w najbliższych latach.

Instagram - zbieranie danych i bot

Wed, 27 Mar 2019 14:28:51 +0000

Konto na Instagramie mam od kwietnia 2012 roku, ale nie zajmuje on mojego czasu (nie zaglądam tam wcale). Kiedyś chciałem sprawdzić czy zdjęcia z tagu #warszawa są zrobione w Warszawie, ale nie sprawdziłem… Do dzisiaj.

Tekst How I Eat For Free in NYC Using Python, Automation, Artificial Intelligence, and Instagram który robi furorę w ostatnich dniach sprawił, że wreszcie ruszyłem tyłek i zająłem się tematem. Kilka miesięcy temu widziałem tutorial How to Get Instagram Followers/Likes Using Python, dzisiaj spróbujemy w R.

Dziewczyny z Sympatii - co widać na zdjęciach?

Mon, 30 Jul 2018 16:34:30 +0000

Było już o kobietach z Sympatii (i o panach), ale wszystko to było na podstawie informacji zawartych w profilu. Dzisiaj sięgniemy nieco głębiej. Zbierając profile zebraliśmy też linki do zdjęć. Korzystając z microsoftowego Cognitive services Face API pobieramy cechy jakie udaje się rozpoznać na zdjęciach. Między innymi są to informacje o:

wieku
płci
okularach
kolorze włosów
emocjach jakie wyraża twarz, na przykład czy osoba na zdjęciu się uśmiecha

W dużym uproszczeniu Face API to bramka do wytrenowanego modelu (zapewne sieci neuronowej). Wrzucamy zdjęcie, a w odpowiedzi dostajemy kilka parametrów, które są wynikiem porównania zdjęcia z tym czego sieć się nauczyła. Skrypt (jaki inne z tego cyklu) znajdziecie na githubie. Pobrałem tylko dane dla zdjęć pań, nie będzie odpowiednika tego samego wpisu dla panów. Zobaczmy co sztuczna inteligencja wyczytała ze zdjęć i jak to się ma do informacji podawanych w profilach przez ich właścicielki.