Spotify on Łukasz Prokulski, Dane i Analizy

Przerzucanie liczb z worka do worka - podcast

Sun, 23 Nov 2025 17:47:32 +0000

W podcaście “Dane Są Wszędzie” opowiadam o mojej roli analityka i architekta w zespole big data, a także omawiam, jak wygląda “przerzucanie liczb z worka do worka” w dużej skali. W najnowszym odcinku podcastu Dominika Szcześniaka “Dane Są Wszędzie” rozmawiamy o mojej roli u jednego z ubezpieczycieli, ale też skupiamy się na back endzie i Big Data, między innymi:

opowiadam czym jest Kafka
mówię o tym, jak computer vision i modele AI są wykorzystywane w ubezpieczeniach
dzielę się moim spojrzeniem na uniwersalność danych i swoją fascynacją jak to, nomen omen, “dane są wszędzie”
rozmawiamy też o rolach w dużej organizacji IT (gdzie samo IT ma ponad 1000 osób), od analityków systemowych, po Data Scientistów, Data Engineerów i Product Ownerów

Całej rozmowy (trwa około godziny) możesz posłuchać na kilku platformach:

Newsletter Dane i Analizy, 2025-05-26

Mon, 26 May 2025 15:00:00 +0000

Witajcie w kolejnym numerze, który przypomina mi swego rodzaju podróż przez świat danych - od praktycznych problemów po filozoficzne rozważania o przyszłości naszej branży.

Zaczynamy od fundamentów: jak radzić sobie z brakującymi danymi (bo zawsze jest ich za mało, czasem jest ich za dużo ale są wybrakowane), dlaczego UUIDy mogą zabijać PostgreSQLa, i jak Uber (dzisiaj dużo o nim) radzi sobie z backupami petabajtów danych. To te rzeczy, które każdy z nas prędzej czy później musi ogarnąć, ale rzadko kto mówi o nich głośno na spotkaniach.

Newsletter Dane i Analizy, 2025-02-03

Mon, 03 Feb 2025 15:00:00 +0000

Dzisiaj różnorodne tematy: od pracy z bazami danych, przez harmonogramowanie zadań w Dockerze, aż po integrację nowoczesnych modeli LLM w aplikacjach Python. Nie zabraknie także praktycznych wskazówek dotyczących testowania kodu oraz efektywnego zarządzania danymi w projektach ML.

Warte zwrócenia uwagi w tym wydaniu:

Getting Started with ChromaDB - Odkryj możliwości bazy danych ChromaDB i naucz się, jak efektywnie jej używać. Docker + Cron - Dowiedz się, jak zintegrować harmonogramowanie zadań w Dockerze. Getting Started with fzf - Poznaj fzf i jego zastosowania w codziennej pracy. Integrating DeepSeek into your Python Applications - Przewodnik po integracji DeepSeek w aplikacjach Python. Unit Testing for Data Science with Python - Wprowadzenie do testów jednostkowych w kontekście nauki o danych. Dynamic Forms with Flask - Jak tworzyć dynamiczne formularze w aplikacjach webowych przy użyciu Flask.

Newsletter Dane i Analizy, 2024-12-23

Mon, 23 Dec 2024 15:00:00 +0000

Im bliżej roku tym więcej podsumowań roku. Ale podsumowania były w zeszłym numerze (kto przegapił może zobaczyć do archiwum).

Dzisiaj zaś ze względu na zbliżające się święta mniej materiału niż zwykle. Bo trzeba odpocząć od komputerów, spędzić czas z najbliższymi, wyjść na spacer, porzucać się śnieżkami… no może tutaj się zapędzamy nieco (patrząc na prognozę pogody).
Odstawcie modele ML, dostawcie Python, Sparki i Kafki, zajmijcie się uszkami w barszczu i prezentami spod choinki. No, ewentualnie może być Pinot… ale bardziej Pinot Noir niż Apache Pinot.

Newsletter Dane i Analizy, 2024-05-20

Mon, 20 May 2024 15:00:00 +0000

Dzisiaj w sekcji poświęconej językowi R mamy tekst, w którym w atrakcyjny, animowany sposób pokazano kilka podstawowych operacji na ramkach danych (albo jak kto woli - tabelkach, np. w bazie danych). Jeśli nie wiesz jak działają operacje grupowania, agregacji czy łączenia danych - po tych przykładach nie powinno być z tym problemu.

Jeśli już przy bazach danych jesteśmy - powraca DuckDB, bo to jest cudo. Tym razem m.in. porównanie ze Sparkiem.
Od Sparka niedaleko zaś do ogólnie pojętego big data - w tej sekcji kompletny przewodnik jak zbudować cały zestaw do strumieniowego przetwarzania danych: czyli pełne środowisko zawierające Kafkę, Schema Registry, Kafka Connect, ksql i co tam jeszcze wokoło potrzebne.

Newsletter Dane i Analizy, 2024-03-25

Mon, 25 Mar 2024 15:00:00 +0000

#ai_ml

TacticAI: an AI assistant for football tactics
Czy AI zmieni sposób gry w piłkę nożną? Zobacz czym owocuje współpraca FC Liverpool z DeepMind należącym do Google

Live Object Detection and Image Segmentation with YOLOv8
Jak działa YOLOv8? I jak szybko, z gotowych klocków, użyć tego algorytmu?

#analiza_danych_koncepcje

Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks
Autor opisuje/recenzuje publikację mówiącą o modelach rekomendacyjnych zbudowanych przez Spotify, mających na celu proponowaniu użytkownikom podcastów i audiobooków

Newsletter Dane i Analizy, 2024-03-18

Mon, 18 Mar 2024 15:00:00 +0000

Dzisiaj numer nieco bardziej rozrywkowy - jest o filmach, jest o muzyce, jest o rozwoju siebie.

O tej muzyce - znajdziecie tekst prezentujący w interesujący sposób jak zestawienie 500 najlepszych albumów muzycznych zależy do tego kto ocenia i kiedy to robi. A serwis, z którym ten tekst się pojawia pozwala też na “osądzenie” Twojego gustu muzycznego. I osądzanie to tutaj bardzo odpowiednie słowo - nie ma lekko: poddasz się ocenie, będzie besztanie (“your spotify was classic-rock-radio-station-80s-dweeb-nineties-dorm-room bad” / “jazz-everyones-heard-of bad”, “You’re trying to impress with some obscure tracks like Tiamat. Nobody’s fooled…”). To lepsze niż coroczne zestawienia przygotowywane przez Spotify albo suche tabelki z LastFM.

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2023-11-19

Sun, 19 Nov 2023 15:00:00 +0000

Ci, którzy śledzą newsletter i fanpage’a Dane i Analizy, profil na LinkedIn (oraz moje prywatne profile, np. na LI) wiedzą zapewne, że w ramach kampanii PZU silni w IT przygotowaliśmy serię podcastów o sztucznej inteligencji.

W pierwszym odcinku rozmawiamy raczej filozoficznie, o tym czym jest AI i czy potrzebujemy dla niej jakichś regulacji (słuchaj na YouTube lub Spotify).
W drugim skupiamy się na zagadnieniach HRowych - kim jest data scientist, co robi i - to chyba najważniejsze - jakich kompetencji się oczekuje od takiej osoby? (Spotify / YouTube).
W tym tygodniu powinny pojawić się dwa kolejne odcinki, w kolejnym jeszcze dwa. Poruszamy w nich zagadnienia związane z big data i dostarczaniem danych do nauki AI, rozmawiamy o computer vision, modelach językowych, a na koniec bezpieczeństwie.

Newsletter Dane i Analizy, 2023-11-13

Mon, 13 Nov 2023 15:00:00 +0000

Za chwilę w świat pójdą pierwsze odcinki nowego podcastu przygotowanego przez zespół Big Data & AI PZU: #SilniwIT o technologiach. To seria, w ramach której rozmawiam (wspólnie z Tomkiem z zespołu Fabryki Sztucznej Inteligencji) z gośćmi o szeroko pojętej sztucznej inteligencji. Wypatrujcie postów na FB, LinkedIn i pewnie w przyszłym newsletterze - mam nadzieję, że jak na amatorów - daliśmy radę. Staraliśmy się ucinać korpo-gadkę, powinno być interesująco ;-)

Wcześniej możecie posłuchać podsumowania z pierwszej konferencji OpenAI (firmy, która stworzyła ChatGPT) dla developerów w podcaście Technofobia Artura Kurasińskiego.

Newsletter Dane i Analizy, 2023-08-21

Mon, 21 Aug 2023 15:00:00 +0000

Kiedyś analizowałem sieć tramwajową Warszawy wprowadzając przy okazji pojęcia związane z grafami (takimi matematycznymi tworami) - dzisiaj znajdziecie tekst o podobnej analizie, ale sieci dróg (na przykładzie Krakowa i Polski, bo autor wywodzi się z AGH).

**W tym tygodniu opowiadam o AI i nie tylko.**Według zapowiedzi, w ramach wydarzenia Kto stoi za sztuczną inteligencją? na Facebooku opowiem trochę o tym, czy sztuczna inteligencja zastąpi kiedyś człowieka. Wydarzenie przygotowane jest przez Szkolną Giełdę Pracy, transmisja live odbędzie się w czwartek 24 sierpnia o 18:00.

Newsletter Dane i Analizy, 2023-04-17

Mon, 10 Apr 2023 15:00:00 +0000

Mój stary to fanatyk sztucznej inteligencji.. Kto zna to zna, Michał przygotował (z użyciem AI) przeróbkę znanej copy-pasty Malcolma XD.
Ponieważ ChatGPT tak mocno rządzi w mediach ostatnio, dzisiaj specjalna sekcja na ten temat.

W tej dedykowanej sekcji przedstawiam więc kilka inspirujących tekstów, które pokazują drogę od tego w czym i jak ChatGPT może pomóc, do konkretnych rozwiązań zastępujących na przykład StackOverflow, aby na koniec pokazać jak wykorzystać API przygotowane przez OpenAI z poziomu kodu.

Newsletter Dane i Analizy, 2023-02-13

Mon, 13 Feb 2023 15:00:00 +0000

Tak się zdarzyło, że w dzisiejszym newsletterze wiodącą rolę mają tematy związane z wdrożeniami i utrzymaniem rozwiązań przetwarzających dane. Mamy więc tekst o kubefow, budowaniu struktur bazodanowych albo integracji kilku technologii (i jak zrobić to w domu). Dla inżynierów zajmujących się takimi zagadnieniami konsola CLI nie jest pewnie obca, więc i dla nich coś - mam nadzieję - interesującego się znajdzie.

Bardzo ciekawy jest tekst o podejściu do autoryzacji z punktu widzenia UX. Ostatnio miałem okazję szukać i rezerwować lokum na weekend w serwisie Airbnb. Nie pamiętałem hasła, a po kilku próbach serwis po prostu przysłał mi maila z linkiem dzięki któremu od razu byłem zalogowany. Czy to bezpieczne czy nie - nie określajmy. Ale jakże wygodne!

Newsletter Dane i Analizy, 2022-07-18

Mon, 18 Jul 2022 15:00:00 +0000

W tym tygodniu sporo materiałów związanych z przygotowywaniem modelu danych w bazie - to istotne zagadnienie, warto się chociaż trochę w temacie orientować jeśli projektujemy coś co ma dane przechować (i potem je przekazać dalej albo przekształcić).

Tak też wyszło, że zebrało się kilka zagadnień związanych z przetwarzaniem tekstu w Pythonie oraz przetwarzaniem (np. poprzez OCR) całych dokumentów.

#AI_ML

ML prediction on streaming data using Kafka Streams
Najsmaczniejsze kąski w przetwarzaniu danych w czasie rzeczywistym są właśnie takie - jest strumień danych, na nim działają jakieś modele machine learningowe i o czymś decydują. Tutaj dowiesz się jak to zbudować w kilku krokach

Newsletter Dane i Analizy, 2021-11-29

Mon, 29 Nov 2021 15:00:00 +0000

Po testach na produkcji z poprzedniego tygodnia przybyło Was równo pięćdziesiąt! Dzięki za zaufanie, mam nadzieję że niniejsze wydanie newslettera Dane i Analizy (jest archiwum!) Was nie rozczaruje i pozostaniecie wiernymi czytelnikami.

A dzisiaj sporo materiału, na nowo pokuładanego - liczę, że taki układ ułatwi Wam poruszanie się po newsletterze i docieranie do tych najbardziej interesujących treści. Po migracji na serwis Raindrop.io (polecam, nie mam w tym żadnego interesu) łatwiejsze dla mnie stało się przygotowanie newslettera, w tym - co chyba najważniejsze - ręczne wybieranie materiałów i ich opisywanie.

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Newsletter Dane i Analizy, 2021-06-28

Mon, 28 Jun 2021 09:00:00 +0000

Average colors of the world
I wrote that I wanted to expand creatively beyond maps in 2021, but here we are, halfway in, and half my posts are maps. In my defense, I made these last year and just haven’t gotten around to posting them yet! They’ve been sitting in a folder since December, mocking me. It’s time to get […]

4 Tricks to Use Python F-strings More Efficiently
Have full control over what you print out. String interpolation is a way to embed variables into strings. It makes it easy to manipulate and enrich strings. Thus, the print statements are much more powerful with string interpolation. Formatted string literals, also known as f-strings, are a highly (…)

Muzyka i data science

Tue, 24 Mar 2020 17:11:08 +0000

Każdego dnia pojawia się nowa muzyka, w wielu różnych gatunkach. Jak wybrać to, czemu warto poświęcić czas?

Dodatkowo dowiemy się jakie znaczenie ma uczciwe przygotowanie danych.

Zdjęcie na okładce: Franck V. on Unsplash

Gdybym miał powiedzieć co lubię najbardziej bez wątpienia byłaby to muzyka. Słucham dużo, nie wyobrażam sobie życia w ciszy. Ale mimo dostępu do nieskończonych (powiedzmy) zasobów muzycznych chociażby poprzez Spotify zauważyłem, że zamykam się w bańce już znanych wykonawców i utworów. A ja lubię odkrywać nowe dźwięki, tylko nie mam czasu (trochę też zbyt na to jestem leniwy) na szukanie nieznanych utworów czy wykonawców. Po co mam poświęcać kupę czasu na szukanie czegoś co mi się nie spodoba?

Przez losowy las Spotify

Sun, 10 Dec 2017 10:16:32 +0000

Czy machine learning może pomóc w poszukiwaniu ulubionej muzyki? Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Już kiedyś o tym było w oparciu o LastFM, dzisiaj będzie w oparciu o Spotify. Taki szybki wpis. Na początek potrzebujemy kilku elementów:

własnej aplikacji współpracującej z API Spotify - zbudować ją można zaczynając z dashboardu Spotify, potrzebujemy numerku client_id i client_secret
te numerki wpisujemy do zmiennych o tych samych nazwach i zapisujemy sobie lokalnie (żeby nie przechowywać ich w kodzie) w pliku spotify_cred.rda. W bardzo prosty sposób: save(client_id, client_secret, file = "spotify_cred.rda")
następnie budujemy kilka funkcji, których będziemy używać. Kod jest długi, nie warto go tutaj zamieszczać - znajdziecie go na GitHubie (swoją drogą jest tam nieco więcej funkcji niż potrzeba, ale nie wszystkie skończone i działające)

Uzbrojeni w taki zestaw zaczynamy od pozyskania tokenu:

Jesienna deprecha

Wed, 01 Mar 2017 16:35:06 +0000

Mam znowu doła Znów pragnę śmierci Wracają stare lęki I nie mogę w nocy spać Czy “jesienna deprecha” ma odbicie w słuchanej muzyce? Zacytowany na początku tekst to oczywiście piosenka “Jesienna deprecha” Kur z niesamowitej płyty P.O.L.O.V.I.R.U.S.. Zadanie na dzisiaj to weryfikacja czy pora roku albo pora dnia mają wpływ na nastrój słuchanej muzyki. Ktoś może powiedzieć, że oczywiście, że tak, że jasne, że “jesienią to ja tylko Radiohead i Portishead, a na wiosnę to ABBA, latem zaś Jamajka i Bob Marley”. Dowody? Historia przesłuchanych utworów, z datą i godziną? Ma? Ja mam. Serwis się nazywa Last.FM i pozwala przy pomocy różnych wtyczek (albo bezpośredniego połączenia konta np. w Spotify z LastFM) zbierać statystyki. Jak się ma dane od tysięcy (tfu! 43 milionów - przynajmniej tak donosił TechCrunch, chociaż przy nieco innej okazji) słuchaczy muzyki, to można robić z nimi cuda. Można je też sprzedawać wytwórniom płytowym albo stacjom radiowym, dzięki czemu wiedzą co jest “na topie” bezpośrednio od użytkowników. I dzięki temu produkują, to co produkują. Można też dowiedzieć się, kto słucha muzyki przed oficjalną premierą płyty i ścigać takie osoby. Polecam hasło Last.fm w angielskiej Wikipedii, o ile oczywiście nie znacie samego serwisu. Ale wracjamy do tematu. Potrzebna jest historia przesłuchanych utworów, którą weźmiemy z Last.fm. Użyjemy do tego pakietu, który został już wycofany z CRANa… Trzeba zainstalować ręcznie paczkę pobraną z archiwum CRANa. Potrzebny jest też klucz API dla LastFM - zdobyć można go na stronie API Last.fm, a jego wartość należy wpisać zmiennej lastkey. Później dane z Last.fm będziemy łączyć z danymi ze Spotify (zwracanymi jako JSON) - stąd odpowiednie biblioteki.