NumPy on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-02-24

Mon, 24 Feb 2025 15:00:00 +0000

Ciekawostka tego tygodnia to What’s in your stack: The state of tech tools in 2025, czyli spostrzeżenia 6500 profesjonalistów z branży technologicznej na temat ich ulubionych i najmniej lubianych narzędzi. Długi tekst, najciekawsze obserwacje:

Top narzędzia AI i ich wykorzystanie:

ChatGPT: 90% profesjonalistów używa go codziennie Claude: 35% używa do złożonych analiz Gemini: 24% wykorzystuje głównie do integracji z Google Workspace

Rewolucja w developmencie:

40% programistów regularnie używa GitHub Copilot 17% przeszło na Cursor (AI-natywne IDE) VS Code pozostaje królem z 48% udziałem (“Wiadomix!” - red.nacz.)

Newsletter Dane i Analizy, 2025-02-17

Mon, 17 Feb 2025 15:00:00 +0000

Mam nadzieję, że Walentynki były udane? ;-) Może szukasz spóźnionego prezentu dla początkującego programisty (albo dla siebie) - mój nowy e-book o Pythonie (pobieranie danych z API, współpraca z bazą danych, aplikacja we Flasku), który zadebiutował właśnie 14 lutego, może być strzałem w dziesiątkę. Więcej informacji na stronie książki.

W tym tygodniu mam dla Ciebie solidną dawkę wiedzy z różnych obszarów analizy danych i programowania - jak zwykle zresztą. Szczególnie warto zwrócić uwagę na materiały dotyczące uczenia maszynowego - od budowy własnej biblioteki deep learning po praktyczną optymalizację modelu wykrywania oszustw. Dla osób zainteresowanych LLM, a w szczególności Transformerami - jest przystępne wyjaśnienie ich działania.

Newsletter Dane i Analizy, 2024-06-24

Mon, 24 Jun 2024 15:00:00 +0000

W piłkę polska reprezentacja już (za moment) na Euro nie pogra, ale o przewidywaniu wyników trwającego turnieju piłkarskiego coś dzisiaj znajdziecie. Nawet nie w kontekście polskiej reprezentacji, a bardziej w kontekście “jak to się robi?”. Bo taki cel ma ten newsletter - pokazywać jak to się robi. Więc jeśli znasz kogoś, kto jeszcze nie wie to ślij mu tego maila. A jeśli ktoś przysłał Tobie tego maila - to zapisz się prawilnie na odpowiedniej stronie.

Newsletter Dane i Analizy, 2024-01-08

Mon, 08 Jan 2024 15:00:00 +0000

Dzisiaj w ramach wstępu - pakiet specjalny, pakiet linków dodatkowych, bo każdy z początkujących data scientistów przechodzi przez podobne zagadnienia. Najpierw uczymy się wczytywać dane, potem je filtrować i przekształcać.

Często przekształcenia polegają na przejściu wiersz po wierszu w naszych danych. Jak już umiemy nieco programować to - dla przykładu pandasowy iterrows() wydaje się być dobrym rozwiązaniem. Przecież dla każdego wiersza w naszej tabeli powinniśmy wykonać jakąś operację. No, ale nie zawsze pętle mają sens i ten notebook pokazuje jak się ich pozbyć, chociaż akurat nie w pandasowych tabelkach. No, ale nie po to wymyślono w Pythonie listy, żeby z nich nie korzystać! Często są bardzo szybkie i naprawdę wygodne!

Newsletter Dane i Analizy, 2023-11-27

Mon, 27 Nov 2023 15:00:00 +0000

W minionym tygodniu miałem okazję być uczestnikiem konferencji Data Science Summit. Moje obserwacje są dość proste (ale przyznam, że interesowały mnie ścieżki bliższe data engineering niż data science czy wręcz precyzyjnie LLM):
budowanie modeli przestało być zagadnieniem zagadnieniem jest ich wdrażanie, utrzymywanie, sprawianie by szybko działały i były łatwe do podmiany na swoje lepsze wersje a więc znaczenie ma MLOps hasło data mesh straciło impakt - nadal mówi się o tym, że dane to powinien być produkt, że ważny jest “demokratyczny dostęp do danych”, ale nie ma takiego hype jak rok temu dużo mówi się o Streamlit jako narzędziu do szybkiego budowania dedykowanych rozwiązań do prezentacji danych (i interakcji z nimi), właściwie obok dedykowanych narzędzi BI (PowerBI, MS Fabric, Tableau) Streamlit był jedynym rozwiązaniem open source

Newsletter Dane i Analizy, 2022-08-29

Mon, 29 Aug 2022 15:00:00 +0000

Uważni czytelnicy fanpage’a Dane i Analizy już zapewne przeczytali mój nowy post o analizie tras rowerowych (heatmapa w nim prezentowana już nieaktualna), ale jeśli kogoś ominęło to zapraszam. Pokazuję w nim:
jak przeczytać plik XML jak agregować dwuwymiarowe dane w NumPy jak agregować je w Pandas jak przygotować mapkę w Folium

A jak już tamten tekst znasz to dzisiaj też niemało do wyboru. Zapraszam do lektury!

#AI_ML

Which Python Framework is Better for Machine Learning Apps?
Mamy jakiś nasz cudowny model, daje świetne wyniki, ale predykcje można dostać tylko uruchamiając skrypt z konsoli albo jeszcze gorzej w Jupyter Notebooku. Co zrobić, żeby było to użytecznie online’owe narzędzie? Opakować w API. Ale który pythonowy framework wybrać?

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Hyperopt i szukanie najlepszego parametru

Wed, 23 Dec 2020 15:04:21 +0000

Kontynuując cykl o Pipelines w SciKit-Learn zajmiemy się tematem kręcenia śrubkami w modelach w poszukiwaniu najlepszego wyniku. Użyjemy do tego pakietu hyperopt.

W poprzednich częściach poznawaliśmy co to “pipeline” w SciKit-Learn, tworzyliśmy własne estymatory (przy okazji ucząc się trochę o programowaniu obiektowym, klasach i dziedziczeniu - nawet jeśli to było nieświadome). Dzisiaj ostatnia część z cyklu - kręcenie śrubkami zwanymi hyperparametrami.

Ostatnio przeszukiwaliśmy siatkę hyperparametrów (wszystkie możliwe kombinacje) przy użyciu wbudowanych w SciKit-Learn mechanizmów (na przykład GridSearchCV). Dzisiaj poszukamy innej metody, innego pakietu. A będzie nim hyperopt.

Pipeline w SciKit Learn - własny estymator

Thu, 05 Nov 2020 15:32:20 +0000

Dzisiaj napiszemy własny (a raczej poznamy mechanikę działania) oraz nauczymy się szukać najlepszych hyper parametrów dla modelu (właściwie: całego pipeline) w zwarty sposób.

W pierszej części zobaczyliśmy jak zbudować pipeline dla danych i modeli. Dzięki temu dostaliśmy możliwość zmiany sposobu transformacji danych i zmiany modeli w ramach prostego, zwartego kodu. Ale co jeśli potrzebujemy jakiś transformator którego nie ma w pakietach?

Tak jak poprzednio - nasze działania oprzemy na Pythonie i pakiecie scikit learn. Podobne rozwiązania można znaleźć w R (jeśli tego szukasz - zainteresuj się Tidymodels).

Montaż filmowy w Pythonie?

Tue, 28 Jan 2020 13:56:30 +0000

Czy da się automatycznie rozdzielić film na poszczególne ujęcia?

Oczywiście da się. Ale jak do tego podejść?

Dzisiejszy wpis to swego rodzaju zapis sposobu rozwiązania problemu. Wielkiej sztuki programistycznej tutaj nie ma, ale (mam nadzieję) ciekawa jest droga przez całą analizę do uzyskania konkretnego efektu.

Obraz cyfrowy składa się z punktów (określonej ich liczbie - wysokość x szerokość) o różnej barwie. Barwę najczęściej opisują trzy składowe: czerwona, zielona i niebieska (RGB). Wideo to nic innego jak ciąg (kolejne klatki) takich statycznych obrazów.

Analiza własnych finansów

Fri, 13 Dec 2019 14:20:00 +0000

Jak nauczyć się analizy danych? Robiąc małe i duże projekty.

Kiedyś napisałem post o tym jak się przemieszczam w którym odsłoniłem dość dużo swojej prywatności, dzisiaj ciąg dalszy.

Postanowiłem, że mocniej wezmę się za Pythona i to co potrafię dość szybko zrobić w R będę robił w Pythonie. To najlepszy sposób na naukę - zmuszać się w pewnym sensie do przełamywania własnych oporów. Z drugiej strony - od dawna chodził za mną tekst związany z analizą własnych wydatków.