Facebook on Łukasz Prokulski, Dane i Analizy

Sporo Streamlit i tutoriali budowania Agnetów AI

Mon, 08 Sep 2025 15:00:00 +0000

Gdy jedni wciąż zastanawiają się, czy warto eksperymentować z agentami AI, inni już budują kompletne systemy analityczne z Pydantic-AI i Streamlit. Gdy niektóre zespoły mierzą się z podstawową konfiguracją Kafki, inne optymalizują przepustowość na poziomie miliona wiadomości na sekundę. Między innymi o tym dzisiaj.

Rewolucja agentów AI - od zera do działającego agenta z LangGraph, plus praktyczne połączenie Streamlit z Pydantic-AI do analizy danych. To nie są już tylko proof-of-concept, to konkretne narzędzia robocze.

Newsletter Dane i Analizy, 2025-07-07

Mon, 07 Jul 2025 15:00:00 +0000

Ten tydzień przyniósł szczególnie bogate żniwo materiałów technicznych – po zwyczajowej analizie dziesiątek źródeł i setek (jeśli nie tysięcy) artykułów, udało się wyłonić zwyczajowe “około dwadzieścia” najważniejszych publikacji z obszaru data science, ML i AI. Rozkład tematyczny doskonale odzwierciedla aktualne trendy w branży (i zainteresowania Redaktora Naczelnego): dominuje Python i Data Engineering. Ale (poza zainteresowaniami Naczelnego) potwierdza to centralną rolę tych obszarów w nowoczesnych zagadnieniach związanych z danymi.

Szczególnie interesujące są materiały dotyczące architektury systemów AI – od multi-agentowych rozwiązań Anthropic, przez unifikację ML na Ray w Pinterest, aż po praktyczne implementacje MLOps z pełnym monitoringiem. Widać wyraźnie, że branża przechodzi od eksperymentów do produkcyjnych, skalowalnych rozwiązań.

Newsletter Dane i Analizy, 2025-06-23

Mon, 23 Jun 2025 15:00:00 +0000

Witaj w kolejnym numerze, który jak zwykle został przygotowany z myślą o tym, żebyś nie musiał(a) przebijać się samodzielnie przez 500 artykułów tygodniowo w poszukiwaniu prawdziwych perełek. Tym razem szczególnie różnorodny zestaw - od trenowania modeli językowych, przez serwery MCP i praktyczne implementacje w Pythonie (w szczególności przepływów danych i wykresów), aż po narzędzia, które mogą realnie zmienić użycie konsoli.

Ciekawostką tego numeru jest analiza protestu wyborczego z polskich wyborów 2025 - rzadko kiedy mamy okazję zobaczyć, jak statystyka spotyka się z rzeczywistością polityczną w tak bezpośredni sposób.

Newsletter Dane i Analizy, 2025-06-16

Mon, 16 Jun 2025 15:00:00 +0000

Mamy poniedziałek rano, więc zaparzaj kawę i przygotuj się na rozpoczęcie tygodnia z porcją wiedzy z świata danych i sztucznej inteligencji.

Witam przede wszystkich nowych subskrybentów! Zgodnie z obietnicą (warto śledzić moje social media): oto moja najnowsza książka mówiącej o tym, co trzeba umieć, aby pracować z danymi - od zupełnych podstaw w Excelu do dużych projektów data-inżynieryjnych, modeli AI czy dashboardów dla zarządów największych spółek.

Książka na razie dostępna jest za darmo, więc należy się śpieszyć. To wersja 1.0.beta, więc wszystkie uwagi mile widziane!

Newsletter Dane i Analizy, 2025-06-09

Mon, 09 Jun 2025 15:00:00 +0000

Dzisiaj momentami jest grubo - na przykład matematyczna elegancja B-spline’ów. Ale jest też trochę praktyki w DuckDB. Jeśli myślisz, że świat danych to tylko nudne CSVki i niekończące się ETLe, ten numer (mam nadzieję) przekona Cię, że to naprawdę fascynująca dziedzina pełna niespodzianek.

Szczególnie polecam zwrócić uwagę na historię firmya Tencent Music, która oszczędziła 80% kosztów przenosząc się z Elasticsearch na Apache Doris - to jeden z tych przypadków, gdy zmiana architektury naprawdę się opłaca. Z kolei dla miłośników optymalizacji opowieść o tym, jak Python API można przyspieszyć 10x bez przepisywania na Go czy Rust - czasem wystarczy po prostu dobrze pomyśleć!

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-05-26

Mon, 26 May 2025 15:00:00 +0000

Witajcie w kolejnym numerze, który przypomina mi swego rodzaju podróż przez świat danych - od praktycznych problemów po filozoficzne rozważania o przyszłości naszej branży.

Zaczynamy od fundamentów: jak radzić sobie z brakującymi danymi (bo zawsze jest ich za mało, czasem jest ich za dużo ale są wybrakowane), dlaczego UUIDy mogą zabijać PostgreSQLa, i jak Uber (dzisiaj dużo o nim) radzi sobie z backupami petabajtów danych. To te rzeczy, które każdy z nas prędzej czy później musi ogarnąć, ale rzadko kto mówi o nich głośno na spotkaniach.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-05-12

Mon, 12 May 2025 15:00:00 +0000

Przed Tobą starannie wyselekcjonowane materiały z całego internetu, które pomogą Ci być na bieżąco ze światem danych, AI i programowania. Z ponad 500 źródeł, które wpadły do sitka w tym tygodniu, wybrałem te najbardziej wartościowe i inspirujące.

W tym wydaniu znajdziesz sporo praktycznych materiałów o Pythonie - od łączenia z bazami danych, przez wielowątkowe przetwarzanie z Joblib, po kolejkowanie zadań z Procrastinate. Dla miłośników AI, LLMów i RAGów są teksty o budowaniu własnych systemów przetwarzania dokumentów oraz optymalizacji pipeline’ów RAG.

Newsletter Dane i Analizy, 2025-05-05

Mon, 05 May 2025 15:00:00 +0000

Tym razem, pomimo majówki, zebrałem specjalnie dla Ciebie kolekcję tekstów, które łączy jeden wspólny mianownik - praktyczność. Mniej teorii, więcej konkretów, które możesz zastosować już dziś w swojej pracy z danymi i kodem.

W świecie AI i ML możesz przyjrzeć się technikom monitorowania sieci neuronowych podczas treningu oraz implementacji autokoderów wariacyjnych z Keras. Oba teksty to solidne przewodniki, które pomogą Ci lepiej zrozumieć, co dzieje się “pod maską” Twoich modeli.

Newsletter Dane i Analizy, 2025-04-21

Mon, 21 Apr 2025 15:00:00 +0000

Pomimo trwających świąt (chociaż już za moment “święta, święta i po świętach”) dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Newsletter Dane i Analizy, 2025-04-14

Mon, 14 Apr 2025 15:00:00 +0000

Ciepłe powitanie dla wszystkich nowych czytelników, którzy dołączyli razem z cyklem o analizie danych z rynku pierwotnego nieruchomości! Cieszę się, że tu jesteście. A jeśli ktoś nie zna tego cyklu - zapraszam na stronę, gdzie można się zapisać. Za zupełną darmoszkę.

W tym tygodniu przygotowałem zestaw materiałów, które odzwierciedlają dynamiczny rozwój świata AI, analizy danych i programowania. Szczególnie interesujące wydają się nowinki z pogranicza multimodalnych modeli AI, gdzie można własnoręcznie zbudować odpowiednik GPT-4o, oraz projekt analizujący trendy w segmentach sponsorskich na YouTube.

Newsletter Dane i Analizy, 2025-04-07

Mon, 07 Apr 2025 15:00:00 +0000

Dzisiaj “mapy rozwoju” - czyli listy zagadnień, które warto poznać, zgłębić, nauczyć się, aby rozwinąć się w danej dziedzinie. Dziedziny te oczywiście bliskie są tematom przewodnim tego newslettera - przetwarzaniu danych. Zatem jest “ścieżka rozwojowa” dla inżynierów danych oraz dla zajmujących się machine learningiem (i jego “operacjonalizacyjną” stroną - MLOps).

Ciekawe dla Ciebie mogą być również dwa świeże raporty (za 2024 rok) związane z bezpieczeństwem - jeden z CERT, więc bezpieczeństwo raczej ogólne. Drugi z Komisji Nadzoru Finansowego dotyczący instytucji finansowych.

Newsletter Dane i Analizy, 2025-03-10

Mon, 10 Mar 2025 15:00:00 +0000

Pod koniec lutego “ukazał” się zbiór danych (pochodzących najprawdopodobniej z serwisu rynekpierwotny.pl) zawierający całkiem sporo ofert nowych mieszkań (i nie tylko). Zbiór o tyle interesujący, że ze współrzędnymi oferowanych lokalizacji. Na LinkedIn wrzuciłem na szybko przygotowaną mapkę wynikającą z tego zbioru, ale planuję coś większego: e-mailowy cykl (3-4 maile, pewnie co tydzień) pokazujący co z tymi danymi można zrobić. Na pewno napiszę o tym w newsletterze, na pewno napiszę o tym na LinkedIn - zatem zapraszam do obserwowania. Na fanpage’u Dane i Analizy też będzie o tym info, więc też warto obserwować.
Żeby było ciekawiej - dość podobny temat porusza jeden z dzisiejszych postów, jakie znajdziesz poniżej - ten o kebabach - to doskonały przykład praktycznego zastosowania analizy danych.

Newsletter Dane i Analizy, 2025-01-20

Mon, 20 Jan 2025 15:00:00 +0000

Ten tydzień to głównie narzędzia i automatyzacja - od tworzenia wątków na Twitterze po sprzątanie plików. Jeśli szukasz sposobów na ulepszenie swojego warsztatu, to dobrze trafiłeś. Szczególnie ciekawe są dwa artykuły o pracy z API - jeden o Claude.ai (który coraz śmielej radzi sobie z analizą tekstu), drugi o tym jak zaprojektować klucze API, żeby nie wyglądały jak kot przebiegł po klawiaturze ;-)

Dla pythonistów garść praktycznych rozwiązań: radzenie sobie z zagnieżdżonymi strukturami danych przez Pydantic, wyciąganie tabel z PDFów (kto nigdy nie walczył z parsowaniem PDFa, niech pierwszy rzuci kamieniem).

Newsletter Dane i Analizy, 2024-07-15

Mon, 15 Jul 2024 15:00:00 +0000

W minionym tygodniu miałem przyjemność prowadzić szkolenie z podstaw Pythona. I korzystając z okazji, przy okazji omawiania zagadnień typu czytanie z pliku, listy, słowniki, listy słowników, iteracje po listach słowników i czyszczenie danych wraz z ekipą szkoloną przygotowaliśmy podsumowanie meczu Anglia - Holandia… na podstawie historycznych spotkań, znalezionych gdzieś w sieci. Nieco pociąłem nagranie, i wpadło na YouTube. Niecałe pół godziny, live coding na żywca, w upalny dzień, z dusznej salki.

Newsletter Dane i Analizy, 2024-02-05

Mon, 05 Feb 2024 15:00:00 +0000

W dzisiejszym wydaniu znajdziecie potężny tekst wprowadzający w świat programowania obiektowego w Pythonie. Wszystko co trzeba wiedzieć o klasach, metodach, konstruktorach i dziedziczeniu. A do tego jeszcze dorzucamy materiały uzupełniające: skupiające się na bardziej precyzyjnych aspektach klas i metod (oraz dekoratorów do tychże).
To dla praktyków programowania.

Dla osób z okolic zarządzania - coś o miernikach. Jak monitorować czy zespół wytwórczy pracuje na stabilnym poziomie i czy ten poziom jest wysoki? Teksty o definicjach i przykładach wykorzystania mierników. Jeśli zarządzasz zespołem i chciałbyś mierniki przełożyć na cele to może metoda OKR znajdzie zastosowanie? Dobrze zacząć od zestawienia OKR vs KPI o którym pisze Tomek Bienias.

Newsletter Dane i Analizy, 2023-11-19

Sun, 19 Nov 2023 15:00:00 +0000

Ci, którzy śledzą newsletter i fanpage’a Dane i Analizy, profil na LinkedIn (oraz moje prywatne profile, np. na LI) wiedzą zapewne, że w ramach kampanii PZU silni w IT przygotowaliśmy serię podcastów o sztucznej inteligencji.

W pierwszym odcinku rozmawiamy raczej filozoficznie, o tym czym jest AI i czy potrzebujemy dla niej jakichś regulacji (słuchaj na YouTube lub Spotify).
W drugim skupiamy się na zagadnieniach HRowych - kim jest data scientist, co robi i - to chyba najważniejsze - jakich kompetencji się oczekuje od takiej osoby? (Spotify / YouTube).
W tym tygodniu powinny pojawić się dwa kolejne odcinki, w kolejnym jeszcze dwa. Poruszamy w nich zagadnienia związane z big data i dostarczaniem danych do nauki AI, rozmawiamy o computer vision, modelach językowych, a na koniec bezpieczeństwie.

Newsletter Dane i Analizy, 2023-11-13

Mon, 13 Nov 2023 15:00:00 +0000

Za chwilę w świat pójdą pierwsze odcinki nowego podcastu przygotowanego przez zespół Big Data & AI PZU: #SilniwIT o technologiach. To seria, w ramach której rozmawiam (wspólnie z Tomkiem z zespołu Fabryki Sztucznej Inteligencji) z gośćmi o szeroko pojętej sztucznej inteligencji. Wypatrujcie postów na FB, LinkedIn i pewnie w przyszłym newsletterze - mam nadzieję, że jak na amatorów - daliśmy radę. Staraliśmy się ucinać korpo-gadkę, powinno być interesująco ;-)

Wcześniej możecie posłuchać podsumowania z pierwszej konferencji OpenAI (firmy, która stworzyła ChatGPT) dla developerów w podcaście Technofobia Artura Kurasińskiego.

Newsletter Dane i Analizy, 2023-11-06

Mon, 06 Nov 2023 15:00:00 +0000

Odcinek przeprowadzkowy, gdyż miniony tydzień (a nawet dwa) to jedno wielkie urwanie głowy. Cały tydzień minął mi pod hasłem “przeprowadzka”, a to jak pewnie możecie się domyślać czas spędzony na pakowaniu, na rozpakowywaniu i (co najgorsze dla pracownika umysłowego ;-) noszeniu paczek. Szczerze mówiąc jakieś 20, może 30 procent rzeczy trafiło do utylizacji. A niby człowiek sprząta i pozbywa się na bieżąco.

Ale nie poddajemy się i życie trwa, newsletter wychodzi, a żona dała radę też nagrać odcinek swojego programu o książkach (już z pustego mieszkania). Jeśli interesuje Was literatura to serdecznie polecam Znalezione przeczytane.

Newsletter Dane i Analizy, 2023-08-28

Mon, 28 Aug 2023 15:00:00 +0000

Zgodnie z zapowiedzią - w miniony czwartek opowiadałem trochę o AI i nie tylko podczas wywiadu zorganizowanego przez Szkolną Giełdę Pracy. Transmisja live została nagrana i można obejrzeć nagranie (gadam dużo i szybko, jakieś 45 minut).

Świat już nigdy nie będzie taki sam. Excel z Pythonem - to sensacja minionego tygodnia. To wideo pokazuje jak to działa. Kto będzie przepisywał to wszystko co powstało w VBA?

#ai_ml

DeepFake Face-Swap in Video with Pytorch and OpenCV
Jak działa uproszczona wersja narzędzia DeepFakeLab do zamiany twarzy w wideo? Z fragmentami kodu

Newsletter Dane i Analizy, 2023-08-21

Mon, 21 Aug 2023 15:00:00 +0000

Kiedyś analizowałem sieć tramwajową Warszawy wprowadzając przy okazji pojęcia związane z grafami (takimi matematycznymi tworami) - dzisiaj znajdziecie tekst o podobnej analizie, ale sieci dróg (na przykładzie Krakowa i Polski, bo autor wywodzi się z AGH).

**W tym tygodniu opowiadam o AI i nie tylko.**Według zapowiedzi, w ramach wydarzenia Kto stoi za sztuczną inteligencją? na Facebooku opowiem trochę o tym, czy sztuczna inteligencja zastąpi kiedyś człowieka. Wydarzenie przygotowane jest przez Szkolną Giełdę Pracy, transmisja live odbędzie się w czwartek 24 sierpnia o 18:00.

Newsletter Dane i Analizy, 2023-06-19

Mon, 19 Jun 2023 15:00:00 +0000

W dzisiejszym numerze znajdziecie link do niezbyt długiego filmu pokazującego jak korzystać z Midjourney - czyli narzędzia do generowania hiperrealistycznych grafik. Robi wrażenie (Midjourney, nie sam filmik), pochłonęło mnie na kilka godzin wczoraj… tylu nieistniejących dziewczyn dawno nie widziałem ;-) a zabawa w zmiany stylu przednia!

Oczywiście ktoś takie Midjourney musiał przygotować wcześniej i nauczyć tą sztuczną inteligencję tych wszystkich sztuczek. Zapewne te osoby musiały zacząć od podstaw, a te znajdziecie w kursie od IBM, opublikowanym na YouTube.

Newsletter Dane i Analizy, 2023-04-17

Mon, 10 Apr 2023 15:00:00 +0000

Mój stary to fanatyk sztucznej inteligencji.. Kto zna to zna, Michał przygotował (z użyciem AI) przeróbkę znanej copy-pasty Malcolma XD.
Ponieważ ChatGPT tak mocno rządzi w mediach ostatnio, dzisiaj specjalna sekcja na ten temat.

W tej dedykowanej sekcji przedstawiam więc kilka inspirujących tekstów, które pokazują drogę od tego w czym i jak ChatGPT może pomóc, do konkretnych rozwiązań zastępujących na przykład StackOverflow, aby na koniec pokazać jak wykorzystać API przygotowane przez OpenAI z poziomu kodu.

Newsletter Dane i Analizy, 2023-02-27

Mon, 27 Feb 2023 15:00:00 +0000

W dzisiejszym wydaniu najwięcej miejsca poświęcam wizualizacji danych i okolicach.

Kalibracja obrazu jest okolicą (bardzo odległą - w sumie oba tematy łączy tylko to, że mamy do czynienia z obrazem), jest też więc coś o tym. Kalibracja jest potrzebna przy problemach natury computer vision, a takowy - w postaci maskowania obiektów na obrazie - też dzisiaj poruszamy.

W poprzednim tygodniu dużym powodzeniem cieszył się tekst o MLOps (jeśli boisz się, że umknęło - zerknij do archiwum), więc dzisiaj kontynuacja, niejako na fali z poprzedniego tygodnia.

Newsletter Dane i Analizy, 2022-11-28

Mon, 28 Nov 2022 15:00:00 +0000

Czarny Piątek co prawda za nami, ale wietrzenie magazynów bardzo się przyda. Tym bardziej, że w ankiecie sprzed bodaj dwóch tygodni przyznaliście, że więcej polecanych tekstów w jednym numerze jesteście w stanie przełknąć. Zatem wietrzymy i mamy więcej niż zwykle.

Ostatnio pokazywałem potencjalną drabinkę Mundialu, która już być może nieco nieaktualna, prawda? Od początku całej imprezy wpadają jednak do wora dane z Twittera i między innymi na fanpage’u pokazywałem przykładowe wykresy. Projekt jest dość prosty w przygotowaniu, jak znajdę czas to (mam nadzieję) w tym tygodniu opiszę z grubsza założenia.
Okazuje się, że big data można robić w kilka dni. Mam w tym doświadczenie, może to “robi robotę”?

Newsletter Dane i Analizy, 2022-10-17

Mon, 17 Oct 2022 15:00:00 +0000

Od ostatniego numeru newslettera przybyło Was trochę - dziękuję za zaufanie i pozostawienie swojego adresu mailowego w nadziei na interesujące materiały. Wiem, że oczekujecie czegoś związanego z Pythonem i przetwarzaniem większej ilości danych, a tym bardziej wiem że dobrze dzisiaj trafiliście.

Mamy zatem trochę materiału pozwalającego przeskoczyć z poziomu junior do mid w Pythonie. Dla tych bardziej zaawansowanych trochę o łączeniu się ze Snowflake z poziomu Pythona (nie tylko dla zainteresowanych Snowflake’em te teksty są warte chociażby przejrzenia - dużo w nich wartości między wierszami, czy też liniami kodu).

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).

Newsletter Dane i Analizy, 2022-03-28

Mon, 28 Mar 2022 15:00:00 +0000

Połowa dzisiejszych materiałów to konkretne projekty związane z danymi. Albo wyciąganie informacji z rachunków z przejazdy Uberem, albo realtime’owe wizualizacje tego co co się zmienia w Wikipedii, albo big data w Big Query. Plus raport Stanford AI Index Report

#AI_ML

Is Facebook Prophet suited for doing good predictions in a real-world project?
Jak biblioteka Prophet do prognozowania szeregów czasowych sprawdza się w realnych zastosowaniach?

#analiza_danych_koncepcje

Stop using random forest feature importances
Skąd wiecie, że dana cecha jest istona w Waszym modelu? “feature importances” z lasów losowych ma pewne niedociąnięcia o których warto wiedzieć

Newsletter Dane i Analizy, 2022-02-07

Mon, 07 Feb 2022 15:00:00 +0000

Dzisiaj lajtowo, ale najbardziej polecam coś co mogliście przegapić wczoraj na fanpage’u - wideo o tym jak pomóc sobie grając w Wordle albo raczej jaka matematyka stoi za wyborem kolejnych słów. Jest też kod w repo.

#analiza_danych_projekty

Topic Modeling and Latent Dirichlet Allocation (LDA)
O czym są poszczególne tekstów w zbiorze tekstów? “Topic modeling” oparty o LDA pozwala to określić, a ten tekst wprowadza w zagadnienie na przykładzie kodu w Pythonie

#big_data

DARWIN: Data Science and Artificial Intelligence Workbench at LinkedIn
Jak LinkedIn buduje swoją platformę danych i ich analiz?

Newsletter Dane i Analizy, 2022-01-10

Mon, 10 Jan 2022 15:00:00 +0000

Koniec przerw świątecznych, koniec długich weekendów, czas wracać do pracy.

Dla mnie osobiście rok zaczął się zabawą z Raspberry Pi i próbwaniem co to cudo potrafi. Nigdzie nie ma Raspberry Pi 4, więc zadowoliłem się na start Pi Zero. Mały, ale wariat - używam do PiHole oraz staram się podglądać co robi w nocy kot. Jak? A no tym prostym skryptem i kamerką podłączoną po USB.

#analiza_danych_koncepcje

11 Dimensionality reduction techniques you should know in 2021
11 metod na redukcję rozmiarów Twoich danych. Ale zmniejszenie wielkości to nie jedyne zastosowanie - przy redukcji wymiarów często odsłaniają się ukryte informacje

Data Science Summit 2020

Fri, 18 Sep 2020 11:48:55 +0000

16 października (piątek), odbędzie się IV edycja konferencji Data Science Summit

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

DSS to największe w Polsce wydarzenie o tematyce data science adresowane do wszystkich osób związanych lub zainteresowanych szybko rozwijającym się obszarem przetwarzania, analizy i wizualizacji danych oraz uczelnia maszynowego.

Data Science Summit 2020 to przede wszystkim ponad 12 równoległych ścieżek tematycznych i ponad 100 prezentacji prowadzonych przez najbardziej pożądanych ekspertów z Polski i zagranicy.

AI & NLP Day 2020

Fri, 21 Aug 2020 09:00:00 +0000

Do 2025 r. Polska będzie potrzebować ok. 200 tys. specjalistów zajmujących się sztuczną inteligencją - wynika z danych ostatniej, siódmej edycji raportu Monitoring trendów w innowacyjności Polskiej Agencji Rozwoju Przedsiębiorczości.

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

W obliczu rosnącego zapotrzebowania na ekspertów AI i dynamicznie postępującej cyfryzacji, edukacja nowych i obecnych kadr IT w obszarze Big Data będzie miała znaczący wpływ na rozwój gospodarczy w najbliższych latach.

Wielka bitwa majonezów! Ketchupów też

Thu, 15 Nov 2018 13:40:26 +0000

Mieszkałem w Krakowie, teraz w Warszawie, przez długi czas często bywałem w Poznaniu, mam znajomych z różnych części kraju - wszystkie te miejsca charakteryzują się różnymi nazwami tego samego. Jedni wychodzą na pole, inni na dwór. Jedni kupują migawkę na krańcówce, a do innych w grudniu prezenty przynosi Gwiazdor, Dzieciątko lub po prostu Mikołaj. A jak wygląda popularność ketchupu lub majonezu?

Skąd pomysł

Ponad pół roku temu trafiłem na wpis pokazujący mapę regionalizmów w Niemczech. Jestem fanem postów z /r/MapPorn na Reddicie, w szczególności takich jak ten pokazujący od którego policzka Francuzi zaczynają całowanie podczas powitania (była też mapa o liczbie cmoknięć - nie tylko we Francji, ale w całej Europie; Polacy całują na trzy - prawda?). Wszystko to było inspiracją do zrobienia czegoś podobnego samodzielnie. Bo nauka jakiejś umiejętności to zazwyczaj powtarzanie tego, co ktoś już zrobił - w imię ja też tak potrafię. To dobre podejście, w wielu dziedzinach. Jeśli chodzi o polskie lokalne upodobania czy nazwy tego samego (regionalizmy) to ciekawy zbiór znajdziecie na jednym fanpage’u (niestety nieco już opuszczonym) oraz w archiwum tekstów BIQData z Wyborczej. Wszystko już było, więc potrzebowałem czegoś innego do identycznego zadania. Nie wiem czy wiecie, ale taki na przykład majonez ma zwolenników poszczególnych marek. Fani Kieleckiego nie kupią nigdy innego. Tym tropem idąc podobnie może być z ketchupem. Czy z musztardą to nie wiem - mam wrażenie, że wystarczy wszystkim sarepska (zwana saperską), a producent nie ma już takiego znaczenia. Ale z majonezem na pewno taki podział istnieje. Mieszkając na Bieżanowie w Krakowie wiedziałem gdzie panuje Wisła, a gdzie Cracovia (bodaj ulica Teligi wyznaczała granicę). A jak to wygląda w całej Polsce? Czy kibice poszczególnych drużyn są skupieni wokół określonych regionów? Wydawałoby się, że tak. Podważać i wątpić to jednak podstawowa zasada badacza danych, zatem trzeba tezę zweryfikować. I tutaj docieramy do końca tego przydługiego wstępu. Cel (narysowanie mapki regionalizmów) został wyposażony w przedmiot badań (majonez, ketchup i przy okazji drużyna piłkarska) i pozostała egzekucja.

Facebook w R

Tue, 16 Oct 2018 15:04:18 +0000

Kto uważany jest za gwiazdę rozrywki 100-lecia niepodległej Polski? Takie pytanie pojawiło się w poniedziałek 15 października na fanpage’u Karoliny Korwin-Piotrowskiej. Pani Karolina poprosiła o wpisywanie nazwisk w komentarzach. Oczywiście obudził się we mnie umysł pragmatyczny i zapytał (siebie): ciekawe jak ona to ręcznie sobie policzy?. Ludzie przecież będą wpisywać nazwiska jak leci a nie w jakiejś uporządkowanej formie. Bo ankietę można zrobić tak jak ta majonezowo-ketchupowa do której wypełnienia serdecznie namawiam! Jak będzie dużo głosów to będzie sensowny wynik. I opowieść jak to wszystko zostało zbudowane. Zajmie Ci to góra dwie minuty. Nie po to człowiek siedzi w internecie i analizie danych, żeby z takim problemem sobie nie poradził. A że w R jest dostępny pakiet Rfacebook to zadanie policzenia głosów jest banalnie proste. Poza Rfacebook przyda nam się kilka innych pakietów (w sumie standard):

Jak odczytać maile z Gmaila w R?

Mon, 08 Oct 2018 15:51:43 +0000

Wszystko zaczęło się od awarii Home.pl i jednego postu na Facebooku… Post, o którym mowa to screen shot skrzynki mailowej pełnej informacji od czytelników Niebezpiecznika donoszących o awarii serwerów Home.pl (o samej awarii tutaj).

W komentarzach pojawił się pomysł, żeby stworzyć mechanizm informujący, że w skrzynce odbiorczej wzrasta liczba maili dotyczących określonego tematu. Jak do tego podejść? Zastanówmy się czego potrzebujemy, aby taki “sygnalizator” przygotować. W najprostszej formie, przynajmniej na początek. Potrzebujemy:

Gdzie Polacy jadą na wakacje?

Fri, 27 Apr 2018 09:08:49 +0000

Gdzie Polacy jadą na wakacje? Jak wyciągnąć w R informacje z PDFa? Jaki związek ma jedno z drugim? Zgodnie z życzeniem telewidzów ;) wyrażonym w szybkiej ankiecie żebro-lajkowej kilka dni temu

dzisiaj zajmiemy się wycieczkami (a raczej: zorganizowanymi przez biura podróży wyjazdami) zagranicznymi naszych rodaków. Czyli:

gdzie Polak jedzie na urlop?
w ile osób jedzie?
ile go to kosztuje?

Bo w ankiecie kciuki w górę wygrały (na obecną chwilę) 69 do 32 z serduszkami. Na początek trochę historii. Po sukcesie wpisów o mieszkaniach na wynajem i cenach samochodów chciałem zająć się wyjazdami z biurami podróży. To byłby hicior. Nawet znalazłem miejsce, z którego trzeba wziąć dane. Takim miejscem są raporty publikowane przez Polski Związek Organizatorów Turystyki. Raporty powstają na bazie systemu rezerwacji MerlinX i to on byłby tym źródłem danych. Same raporty nie zawierają interesujących mnie danych, na przykład:

API, Feedly i R

Fri, 20 Apr 2018 09:00:16 +0000

Jak zmusić R do korzystania z (dowolnego) API? Jak przygotować atrakcyjne tabelki w raportach? Nie tak dawno na Dane i analizy wrzuciłem post z informacją, że Feedly ma API. Źródłem inspiracji był post z bardzo fajnego bloga, którego autor chyba pracuje nad biblioteką do R obsługującą API Feedly (tak to wygląda po opublikowanych przez niego fragmentach kodu). Niby nic szczególnego, ale od czasu śmierci Google Readera brakuje mi w czytnikach RSS jednej rzeczy: informacji o tym, których kanałów nie czytam. Google Reader miał to niejako wbudowane (był wskaźnik liczby przeczytanych postów do wszystkich opublikowanych w kanale), Feedly niestety tej informacji nie ma. Spróbujemy to samo uzyskać w Feedly, najpopularniejszym chyba czytniku RSS. Może na początek słówko wyjaśnienia co to jest czytnik RSS? Większość z nas korzysta z internetu podobnie: przeglądamy wiadomości, Facebooka i Twittera (też jako źródło wiadomości), jakiegoś Instagrama czy Snapchata (to już magia dla mnie, zapewne w związku z wiekiem…). Jeśli coś nas zainteresuje w feedzie na Facebooku to przechodzimy na odpowiednią stronę, czytamy i wracamy. Podobnie jest z Twitterem. Do wiadomości najczęściej używamy jednego portalu. Problem pojawia się kiedy czytamy jakieś ulubione blogi i nie pamiętamy aby na nie wejść (a Facebook skutecznie usuwa nam z walla posty z odpowiednich stron). Albo jak potrzebujemy porównać wiadomości prezentowane przez Wyborczą, TVN z tym co pisze TVPInfo, Niezależna czy TV Republika. Poza tym nie ma czasu na czytanie nawet leadów, opinię o tekście można sobie wyrobić na podstawie samego tytułu, a jakże! Co zrobić? Z pomocą przychodzą właśnie czytniki RSS. Kanał RSS to takie pliczki XML na serwerach (najczęściej generowane automatycznie) z najnowszymi wpisami (lub ich skrótami) albo czymkolwiek innym (np. z najnowszymi ogłoszeniami z Allegro czy OLX - przydatna opcja jeśli śledzimy ogłoszenia z jakiejś kategorii, na przykład polujemy na aukcje z poszukiwanym winylem). Feedly to jeden z czytników tych kanałów. Cały myk polega na tym, że serwis co jakiś czas (jak często dowiemy się na przykładzie za chwilę) sprawdza kolejne kanały i zapisuje sobie nowości. A potem na jednej stronie widzimy skróty i linki do wszystkich kanałów. Ja mam jakieś 170 kanałów zapisanych w Feedly - nie dałbym rady codziennie ogarnąć tylu stron. Wystarczy za to 15 minut z Feedly i przegląd nowości mam z głowy. Dodatkowy plus czytnika jest taki, że nie musimy pamiętać co czytaliśmy - czytnik sam to oznacza. Ja robię tak, że przeglądam całość, czytam to co mnie interesuje (albo zaznaczam do przeczytania później - ta lista stale rośnie…), a resztę oznaczam jako przeczytane. I przy kolejnej sesji z Feedly nie miesza mi się to co nowe z tym co już czytałem (albo tylko tak oznaczyłem). Rozumiecie już ideę? Wszystkie serwisy (na które się zapiszemy) w jednym miejscu, w wygodnej aplikacji. Idealna sprawa. Ale przy większej liczbie obserwowanych kanałów rośnie liczba treści jaka wpada do czytnika. A części kanałów nie czytamy. Ja na przykład mam kategorię Wiadomości - zagranica, gdzie pojawia się dużo treści (bo są tam najnowsze z CNN i BBC), a których czytam kilka… tytułów. Resztę oznaczam jako przeczytane. Wracając do celu całego ćwiczenia: chciałbym wiedzieć które kanały usunąć, żeby mi nie zaśmiecały feedu - po co ma pojawiać się coś, czego i tak nie czytam? Zajmiemy się dzisiaj w związku z tym próbą rozwiązania tego problemu. Początek standardowy:

Kto pracuje najbardziej efektywnie w Europie?

Mon, 09 Oct 2017 13:41:04 +0000

Czy wydajność pracy w różnych krajach Europy jest jednakowa? Jak skorzystać z danych Eurostatu w R? Jestem fanem facebookowej strony z różnymi mapkami. Na stronie tej pokazał się ostatnio obrazek z informacją o średniej liczbie godzin jaką w pracy spędzają mieszkańcy poszczególnych krajów (linkował do tego postu). Ale szczerze powiedziawszy co to za informacja? To czy siedzisz w pracy długo czy krótko nie ma (bezpośrednio) związku z tym ile wartości wypracujesz. Sprawdźmy ile warta (w rozumieniu produktu krajowego brutto) jest godzina pracy mieszkańca poszczególnych krajów Europy. Do tego celu skorzystamy z danych Eurostatu, tym bardziej że istnieje bardzo wygodny pakiet R, z którym takie działanie jest banalnie proste. Na początek musimy znaleźć odpowiednie dane. Pakiet eurostat dostarcza nam odpowiednich funkcji:

Jak nauczyć się R? Co czytać?

Wed, 30 Aug 2017 14:09:36 +0000

W listach pytacie o źródła wiedzy dotyczącej R. Dzisiaj kilka linków. Na początek agregaty, które mogą okazać się wystarczające:

R Bloggers - platforma zbierająca treści z wielu blogów
Revolution Analytics
Data Science Central - platforma blogowa dla dłubiących w BigData

Warto śledzić też blogi poszczególnych osób:

Julia Silge to współautorka pakietu tidytext (i jednocześnie data scientist w Stack Overflow)
Variance Explained - blog drugiego współautora tidytext
blog Maëlle Salmon, który kiedyś dodałem do RSSów (trafiłem pewnie w poszukiwaniach czegoś konkretnego albo z r-bloggers)

Jednym z lepszych miejsc jest cała domena związana z RStudio i poszczególne jej subdomeny, przede wszystkim blog RStudio oraz RViews. W ramach RStudio znajdziecie też dużo informacji o poszczególnych pakietach - strona zbiorcza jest tutaj. Z polskich blogów szczególnie polecam dwa:

Partie polityczne i sport

Thu, 25 May 2017 12:32:43 +0000

Czy preferencje polityczne mają jakiś związek z preferencjami sportowymi? Innymi słowy: czy jeśli lubię PSL to wolę piłkę nożną czy jednak bieganie? Stereotypowo mogłoby to wyglądać tak: Nowoczesna to biegi, PiS - piłka nożna i podnoszenie ciężarów (przed tv, ciężary 500ml w puszce), Kukiz - wędkarstwo, PSL - wypas owiec. Koniec żartu, można się śmiać. A jak jest? Zrobimy eksperyment z dużą ilością danych. Facebook ma to od ręki, dlatego wykorzystamy publiczne informacje z tego właśnie źródła. Poza tym - te 2 miliardy użytkowników zostawia bardzo dużo informacji o sobie. Według badania Gemius/PBI za kwiecień 2017 w Polsce z Facebooka korzysta 22.6 mln internautów (81.4% wszystkich, co ciekawe - zanotowano spadek o ponad 200 tys. m/m). Jak to zrobić? Po pierwsze trzeba wytypować listę fanpage’y na podstawie których będziemy wyciągać wnioski. Skorzystałem z dwóch źródeł: własnej głowy (i sondaży poparcia) aby wytypować partie i z własnych rąk aby wyszukać ich fanpages na Facebooku. Druga strona równania to lista fanpage’y sportowych (dla mnie trudniejsze) - tutaj skorzystałem z raportów Sotrender. Teraz metodologia. Można na kilka sposobów. Na przykład biorąc listę fanów poszczególnych stron i szukając części wspólnych tych zbiorów. Tak będziemy działać. Problemem jest tylko jak uzyskać listę fanów? Kiedyś Facebook udostępniał poprzez API możliwość wywoływania zapytań FQL (to taki podobny do SQL język dla FB). Ale ograniczenia prywatności spowodowały, że to nie działa. Trzeba więc inaczej, co nieco zaburzy wyniki (trudno mi jednocześnie na szybko oszacować jak bardzo). Posty na stronach są publiczne, ludzie lajkują i komentują. Facebook udostępnia poprzez API dane o tych komentarzach i lajkach, w tym ID (oraz imię i nazwisko) użytkowników, którzy taką interakcję poczynili. Zatem weźmiemy posty każdej ze stron, dla każdego postu listę osób reagujących (policzymy tylko like i comment - bez share oraz innych reakcji) na post. Tym sposobem nie będziemy mieć fanów (jest ich zapewne więcej niż wchodzących w interakcję - jaka to różnica wyjdzie po drodze; a jednocześnie na tych stronach można komentować i lajkować nie będąc jednocześnie fanem strony), ale coś podobnego. Może nawet lepszego (użytkownik zaangażowany jest cenniejszy niż bierny obserwator).

Jak Onet pracuje na Facebooku?

Mon, 20 Mar 2017 17:08:09 +0000

W poprzednim poście zrobiłem analizę postów publikowanych przez polskie redakcje informacyjne na Facebooku. Zabrakło tam redakcji z grupy Ringier Axel Springer Polska. W związku z licznymi prośbami - dzisiaj pogłębiona analiza postów Onetu. Zajmiemy się fanpage’em “głównym” i ostatnimi dwoma tysiącami postów.

fb_page_posts <- get_fanpage_posts("Onet", 2000, token)

Skorzystałem z funkcji get_fanpage_posts() napisanej w poprzednim poście, więc zainteresowanych tam odsyłam po szczegóły techniczne. Zobaczmy jakiego typu posty publikuje Onet:

fb_page_posts %>%
 count(type) %>%
 mutate(p=100*n/sum(n)) %>%
 ungroup() %>%
 arrange(n) %>%
 mutate(type = factor(type, levels=type)) %>%
 ggplot() +
 geom_bar(aes(1, p, fill=type), stat="identity") +
 labs(fill="Typ postu") +
 theme_void() +
 coord_polar(theta="y")

Prawie 77% - linki, 16.75% wideo, 6% zdjęcia. Jak to wygląda ilościowo - liczba postów publikowanych w ciągu dnia w zależności od dnia tygodnia, im bardziej żółte tym więcej:

Redakcje informacyjne na Facebooku

Sat, 18 Mar 2017 09:31:57 +0000

Jak pracują redakcje serwisów informacyjnych na Facebooku? Kiedy publikują, jakiego rodzaju treści? Czy “cała prawda całą dobę” to prawda? Dobierzemy się do postów publikowanych przez redakcje informacyjne i zobaczymy jak wygląda obraz tych redakcji na Fejsie. Do tego celu użyjemy biblioteki Rfacebook, której nie ma w CRANie, ale jest na GitHubie - jest sposób, aby i takie coś zainstalować w pakiecie R i korzystać tak samo jak z bibliotek z CRANa. Potrzebujemy biblioteki devtools, przy pomocy której zainstalujemy Rfacebook. Najpierw instalujemy devtools:

Amerykańscy studenci

Thu, 18 Oct 2007 11:04:33 +0000

Kuba Filipkowski (yashke.com) wynalazł film, który w przyjemny sposób obrazuje wyniki badań na temat amerykańskich studentów.

Badanie przeprowadzone zostało na grupie 200 studentów. Kilka ciekawych liczb (oczywiście dane średnie):

w ciągu roku amerykański student czyta 8 książek
2300 stron internetowych
i 1281 profili w Facebook (a ja nigdy tej strony nie zgłębiłem, na MySpace byłem kilka razy - w obu nie mam profilu i nie zamierzam mieć)
napisze 42 strony prac semestralnych
i 500 stron e-maili

Więcej we wpisie “A Vision of Students Today” (po angielsku).