Time Series on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-05-05

Mon, 05 May 2025 15:00:00 +0000

Tym razem, pomimo majówki, zebrałem specjalnie dla Ciebie kolekcję tekstów, które łączy jeden wspólny mianownik - praktyczność. Mniej teorii, więcej konkretów, które możesz zastosować już dziś w swojej pracy z danymi i kodem.

W świecie AI i ML możesz przyjrzeć się technikom monitorowania sieci neuronowych podczas treningu oraz implementacji autokoderów wariacyjnych z Keras. Oba teksty to solidne przewodniki, które pomogą Ci lepiej zrozumieć, co dzieje się “pod maską” Twoich modeli.

Newsletter Dane i Analizy, 2025-04-07

Mon, 07 Apr 2025 15:00:00 +0000

Dzisiaj “mapy rozwoju” - czyli listy zagadnień, które warto poznać, zgłębić, nauczyć się, aby rozwinąć się w danej dziedzinie. Dziedziny te oczywiście bliskie są tematom przewodnim tego newslettera - przetwarzaniu danych. Zatem jest “ścieżka rozwojowa” dla inżynierów danych oraz dla zajmujących się machine learningiem (i jego “operacjonalizacyjną” stroną - MLOps).

Ciekawe dla Ciebie mogą być również dwa świeże raporty (za 2024 rok) związane z bezpieczeństwem - jeden z CERT, więc bezpieczeństwo raczej ogólne. Drugi z Komisji Nadzoru Finansowego dotyczący instytucji finansowych.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-12-02

Mon, 02 Dec 2024 15:00:00 +0000

Motywem przewodnim w dzisiejszym odcinku jest API. Jakich frameworków użyć (w Pythonie), czym od siebie się różnią? A może websocket?

Podobnie mamy w sekcji z praktycznymi projektami z zakresu analizy danych (nie zawsze tam o samą analizę chodzi - czasem bardziej o uczenie maszynowe niż analizowanie w rozumieniu tzw. EDA): wykrywanie wartości odstających w zbiorach.

Co tydzień przedstawiamy tutaj kilka projektów wykorzystujących analizę danych, machine learning czy też AI. Zamiast czekać kilkanaście tygodni (i liczyć że temat, który Cię interesuje się pojawi) możesz zerknąć na stronę gdzie zgromadzono ponad 65 (może i 69, a więc prawie 70!) przykładowych projektów razem z kodem źródłowym. Boot-camp z ML? Niepotrzebny! Wystarczą te projekty… oraz porządne doczytanie dlaczego tak a nie inaczej zrobiono to czy tamto.

Newsletter Dane i Analizy, 2024-11-18

Mon, 18 Nov 2024 15:00:00 +0000

Newslettery… czy wiecie, że tylko nieco ponad 1/3 newsletterów ma swój drugi numer? Co 10-ty newsletter (precyzyjniej: 11%) ukazuje się dłużej niż 10 numerów. A jednocześnie 23-krotnie wzrosła liczba newsletterów od 2019 roku na platformie Substack. Tak mówi źródło tych danych.

Nasz newsletter ma jakieś 3 lata (przynajmniej w redakcyjnym archiwum w serwisie Raindrop.io gdzie zebrane są wszystkie teksty jest tag #newsletter_2021-11-15), co by znaczyło jakieś 150 wydań. W archiwum, bo były czasy przed budowaniem archiwum (kilkanaście tygodni na pewno), ale tak starych ludzi już nie ma… :-)
Archiwum mówi też o ponad 3400 tysiącu tekstów 😮

Newsletter Dane i Analizy, 2024-11-11

Mon, 11 Nov 2024 15:00:00 +0000

Święto lasu słuchajcie! I to nie chodzi wcale o to, że dzisiaj mamy Narodowe Święto Niepodległości, ale o to, że w newsletterze mało o Pythonie! Więcej mamy w działce “DevOps” (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB…

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Newsletter Dane i Analizy, 2024-10-21

Mon, 21 Oct 2024 15:00:00 +0000

OpenAI ze swoim modelem w wersji o1 wróciło na szczyt listy przebojów w kategorii LLM. Garść firm zajmujących się GenAI zaczyna generować poważne przychody. Co jeszcze dzieje się na rynku AI w 2024 roku? Jaki jest “Stan AI w 2024”? O tym dowiecie się z raportu, do którego link poniżej, w sekcji AI/ML.

Sporo w tym wydaniu o bazach danych (co najmniej dwa razy pojawia się Postgres i Redis, ale są też inne rozwiązania: wektorowa Milvus, InfluxDB do szeregów czasowych, grafowa Neo4j, dobrze znany stałym czytelnikom DuckDBoraz Tile38 do zadań geo).

Newsletter Dane i Analizy, 2024-09-09

Mon, 09 Sep 2024 15:00:00 +0000

W tym tygodniu prowadzę szkolenie (a w zeszłym prowadziłem przykładowo konkurs na imprezie firmowej - więc “szkolenia, prelekcje, podcasty, śluby, chrzciny i pogrzeby” są w ofercie Dane i Analizy :), więc nieco mniej czasu na przygotowanie newslettera - wybaczcie zatem, że bez standardowego wstępu. Liczę jednak na to, że dobór materiałów na zadowalającym poziomie.

#ai_ml

Evaluating Handwritten digital Recognition Models
MNIST to jeden z najpopularniejszych zbiorów danych. Porównanie modeli rozpoznających ręcznie pisane cyfry (i tu zbiorem nie jest MNIST).

Newsletter Dane i Analizy, 2024-07-22

Mon, 22 Jul 2024 15:00:00 +0000

Tomek zwrócił się do mnie z prośbą o przekazanie informacji o jego książce (e-booku). Otóż napisał ogromną ilość tekstu (ze 100 stron) na temat tego jak budować projekty data science w Pythonie. Jak układać pliki w folderach, jak zarządzać wymaganiami, jak zarządzać prerekwizytami typu dane czy też wynikowe wykresy, predykcje, modele. Jest też o automatycznym formatowaniu i sprawdzaniu kodu przy użyciu Ruff oraz dość sporo o notatnikach Jupytera. Normalnie książka coś kosztuje (30 zł), ale dla Was - do 5 sierpnia - jest za darmo, o tutaj.

Newsletter Dane i Analizy, 2024-03-25

Mon, 25 Mar 2024 15:00:00 +0000

#ai_ml

TacticAI: an AI assistant for football tactics
Czy AI zmieni sposób gry w piłkę nożną? Zobacz czym owocuje współpraca FC Liverpool z DeepMind należącym do Google

Live Object Detection and Image Segmentation with YOLOv8
Jak działa YOLOv8? I jak szybko, z gotowych klocków, użyć tego algorytmu?

#analiza_danych_koncepcje

Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks
Autor opisuje/recenzuje publikację mówiącą o modelach rekomendacyjnych zbudowanych przez Spotify, mających na celu proponowaniu użytkownikom podcastów i audiobooków

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2024-02-05

Mon, 05 Feb 2024 15:00:00 +0000

W dzisiejszym wydaniu znajdziecie potężny tekst wprowadzający w świat programowania obiektowego w Pythonie. Wszystko co trzeba wiedzieć o klasach, metodach, konstruktorach i dziedziczeniu. A do tego jeszcze dorzucamy materiały uzupełniające: skupiające się na bardziej precyzyjnych aspektach klas i metod (oraz dekoratorów do tychże).
To dla praktyków programowania.

Dla osób z okolic zarządzania - coś o miernikach. Jak monitorować czy zespół wytwórczy pracuje na stabilnym poziomie i czy ten poziom jest wysoki? Teksty o definicjach i przykładach wykorzystania mierników. Jeśli zarządzasz zespołem i chciałbyś mierniki przełożyć na cele to może metoda OKR znajdzie zastosowanie? Dobrze zacząć od zestawienia OKR vs KPI o którym pisze Tomek Bienias.

Newsletter Dane i Analizy, 2024-01-15

Mon, 15 Jan 2024 11:00:00 +0000

Idzie (właściwie już jest) karnawał, może drinka? Jakie drinki są aktualnie popularne? Ładna infografika nam to pokaże :). A jeśli chodzi o obrazki, a może raczej - pokazywanie danych - to na samym końcu tego wydania coś o dobieraniu wykresu do danych, które chcemy zaprezentować. Taki to kończący szkołę i rozpoczynający ferie numer mamy.

Bo sporo też stosunkowo “juniorskich” tekstów dla adeptów programowania w Pythonie. Ale dla seniorów - spora książka o analizie danych geograficznych. Czytajcie uważnie, szukajcie dokładnie.

Newsletter Dane i Analizy, 2024-01-08

Mon, 08 Jan 2024 15:00:00 +0000

Dzisiaj w ramach wstępu - pakiet specjalny, pakiet linków dodatkowych, bo każdy z początkujących data scientistów przechodzi przez podobne zagadnienia. Najpierw uczymy się wczytywać dane, potem je filtrować i przekształcać.

Często przekształcenia polegają na przejściu wiersz po wierszu w naszych danych. Jak już umiemy nieco programować to - dla przykładu pandasowy iterrows() wydaje się być dobrym rozwiązaniem. Przecież dla każdego wiersza w naszej tabeli powinniśmy wykonać jakąś operację. No, ale nie zawsze pętle mają sens i ten notebook pokazuje jak się ich pozbyć, chociaż akurat nie w pandasowych tabelkach. No, ale nie po to wymyślono w Pythonie listy, żeby z nich nie korzystać! Często są bardzo szybkie i naprawdę wygodne!

Newsletter Dane i Analizy, 2023-12-04

Mon, 04 Dec 2023 15:00:00 +0000

W poprzednim tygodniu przeczytać mogliście króciutkie podsumowanie Data Science Summit, a tam stwierdzenie, że dużo się mówi o Streamlit jako sposobie na PoC-owanie prezentacji danych. Świat obecnie idzie również w stronę streamingu i obsługi tak przesyłanych danych - głównie Flinkiem. I na Flinku skupia się dzisiejszy numer naszego newslettera.

Ciekawy jest też niespełna półgodzinne nagranie prezentujące możliwości DuckDB w kontekście danych przestrzennych pozyskanych z Open Street Maps. Chwilę bawiłem się DuckDB ale w połączeniu ze sporymi zbiorami geo (zapisanymi w ShapeFile’ach) i śmiga to wspaniale. Jedyny minus - to baza plikowa, więc średnio do użycia w przypadku dostępu przez wiele aplikacji na raz. Ale jako element w procesie data engineeringu może się bardzo przydać.

Newsletter Dane i Analizy, 2023-11-27

Mon, 27 Nov 2023 15:00:00 +0000

W minionym tygodniu miałem okazję być uczestnikiem konferencji Data Science Summit. Moje obserwacje są dość proste (ale przyznam, że interesowały mnie ścieżki bliższe data engineering niż data science czy wręcz precyzyjnie LLM):
budowanie modeli przestało być zagadnieniem zagadnieniem jest ich wdrażanie, utrzymywanie, sprawianie by szybko działały i były łatwe do podmiany na swoje lepsze wersje a więc znaczenie ma MLOps hasło data mesh straciło impakt - nadal mówi się o tym, że dane to powinien być produkt, że ważny jest “demokratyczny dostęp do danych”, ale nie ma takiego hype jak rok temu dużo mówi się o Streamlit jako narzędziu do szybkiego budowania dedykowanych rozwiązań do prezentacji danych (i interakcji z nimi), właściwie obok dedykowanych narzędzi BI (PowerBI, MS Fabric, Tableau) Streamlit był jedynym rozwiązaniem open source

Newsletter Dane i Analizy, 2023-07-03

Mon, 03 Jul 2023 15:00:00 +0000

Wzorce projektowe ułatwiają pracę. Kod jest bardziej czytelny, łatwiej go rozbudować i nie trzeba przebudowywać całej aplikacji. Tych wzorców jest bardzo dużo, możesz zacząć od “top 10” opisanych w artykule “10 Underrated Software Patterns Every ML Engineer Should Know”, który patrzy na wzorce projektowe przez pryzmat projektów machine learning.

Jeśli zaś potrzebujesz przykładu kodu to dobre wprowadzenie daje tekst “Structural Design Patterns: A Comprehensive Guide for Developers”

Największą jednak i darmową bazą, obejmującą kilka języków (angielski, niemiecki, polski też… a nie! - o języki programowania chodzi: C#, C++, Go, Java, PHP, Python, Ruby, Rust, Swift oraz TypeScript) jest strona Refactoring.Guru.

Newsletter Dane i Analizy, 2023-06-26

Mon, 26 Jun 2023 15:00:00 +0000

Rozpoczynamy pierwszy tydzień wakacji, ale to wcale nie oznacza, że newsletter ma urlop. Wręcz przeciwnie.

W dzisiejszym wydaniu kilka tekstów opisujących dobre praktyki i całe cykle tutorialowe: CRUD-woe API dla MongoDB czy też asynchroniczne mikroserwisy spięte Rabbitem. To dla tych średniozaawansowanych programistów (i tych, którzy chcą swoją wiedzę przenieść z poziomu juniorskiego na wyższy). Dla tych bardziej juniorów - korepetycje z Window Functions w SQLu i “rozpakowywujących” gwiazdek w Pythonie (mimo że to nie Gwiazdka, he he, zacny suchar).

Newsletter Dane i Analizy, 2023-05-08

Mon, 08 May 2023 15:00:00 +0000

Majówka, majówka i po majówce. Wypoczęci? Ja zwiedziłem z rodziną Trójmiasto, jestem zadowolony i o to właściwie w wypoczynku chodzi. Tylko dlaczego tak wieje nad morzem?

W dzisiejszym odcinku zaś szczególnie polecam książkę Françoisa Fleureta The Little Book of Deep Learning - sporo teorii o tym jak działa głębokie uczenie, różne typy warstw i w ogóle na czym ta cała sztuczna inteligencja polega. Książka wygląda na przyciętą formatem do ekranu telefonu - przyznam, że to interesujący pomysł (ale już go znamy z chociażby [reklama] Kart Data Science).

Newsletter Dane i Analizy, 2023-03-20

Mon, 20 Mar 2023 15:00:00 +0000

Wiecie kto generuje najwięcej ruchu w internecie? Kiedyś to było porno i torrenty (albo inne sposoby wymiany plików peer-to-peer). Teraz układ wygląda jak na poniższym obrazku, przynajmniej według danych opublikowanych przez serwis Statista.

Dzisiaj bardzo dużo treści - oraz eksperyment - polskie tytuły (ale przeważnie angielskie teksty). Wśród tych tekstów sporo o Apache Spark i konkretnych wykorzystaniach albo rozwiązaniach konkretnych problemów.
Znajdziecie też kilka fajnych tekstów o różnego typu problemach rozwiązywanych przez analizę czy modele danych (rekomendacje w Netflixie, OHE i Pandas), gorąco polecam tekst o Apache Arrow.

Newsletter Dane i Analizy, 2023-03-06

Mon, 06 Mar 2023 15:00:00 +0000

Prosty zestaw danych - tylko 6 liczb, po dwie dla 6 kategorii, każda z kategorii dodatkowo podzielona na 2 lata. Na ile sposobów można takie dane pokazać? Kilka, prawda? Bo ileż można wymyślać? I faktycznie - czasem jest nawymyślane nieco do przesady. Ale ta strona pokazuje aż 100 (słownie: sto!) przykładów wizualizacji tych 6 liczb. Fascynujące, inspirujące i… zdumiewające?

Dzisiaj też sporo w sekcji o analizie danych. Dwa ciekawe pakiety (Great Expectations oraz NannyML) plus wręcz zbiór ułatwiaczy EDA. Dodatkowo bardzo fajny projekt rozpoznawania szachów (i możliwych ruchów) oraz wieloręki bandyta - sposób na optymalizację testów typu A/B przy ograniczonym budżecie.

Newsletter Dane i Analizy, 2022-12-12

Mon, 12 Dec 2022 15:00:00 +0000

Dzisiaj nie będzie o GPT-3 i chacie OpenAI (jak wszędzie), ale będzie wprowadzenie w temat szeregów czasowych oraz coś o metrykach dla modeli rekomendacyjnych.

Jest też trochę materiałów dla początkujących i średnio-zaawansowanych w Pythonie, a sekcja ciekawostek pozwoli wybrać książkę dla inżynierów danych albo… nauczyć się programu do obsługi audio/wideo.

Pamiętacie o Kartach Data Science? Właśnie pojawiła się aktualizacja o paczkę dotyczącą szeregów czasowych (dobrze komponuje się z dzisiejszym wydaniem, prawda?). To coś dla Ciebie? A może na prezent pod choinkę dla kogoś znajomego? Tak czy inaczej ja daję bezterminowo 15% zniżki.

Newsletter Dane i Analizy, 2022-10-24

Mon, 24 Oct 2022 15:00:00 +0000

Dzisiejsze wydanie newslettera skupia się na szeregach czasowych. Szeregiem czasowym jest pewnie jakieś 60% danych, na pewno wszystkie zmieniające się w czasie. Tak więc liczba klientów w sklepie (albo stronie internetowej), wynik pomiarów z jakiegoś czujnika (temperatura) itd itp - wszystko to układa się w szeregi czasowe.

A takie szeregi pozwalają na przewidywanie przyszłości. Czasem jest to łatwe, czasem trudne (giełda to też w zasadzie szereg czasowy, a przewidywanie nie jest takie oczywiste). I trochę o tym dzisiaj.

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2022-08-08

Mon, 08 Aug 2022 15:00:00 +0000

Wakacje za półmetkiem, więc tematy w dzisiejszym newsletterze tak pół na pół.

Z jednej strony mamy ciężkie rzeczy: nowe naukowe pejpery czy omówienie algorytmu grupowania przestrzennego opartego na gęstości. Ale z drugiej - automatyzację w Excelu czy kilka(naście) inspiracji dotyczących prezentowania danych.

Dla tych zaś co lubią wdrażanie i Kubernetesy - też coś się znajdzie, chociażby cluster na malinach ;-)

#AI_ML

6 Papers Every Modern Data Scientist Must Read
Przegląd prasy (publikacji naukowych) dla prawdziwych nerdów AI/ML. Jaki “pejper” czytasz dzisiaj?

Newsletter Dane i Analizy, 2022-04-11

Mon, 11 Apr 2022 15:00:00 +0000

Trochę mniej artykułów, ale jeden z nich to potężny kolos (ten o SHAP). Do tego bardzo fajne porady dla początkujących w Pythonie i ciekawe koncepcje w świecie big data (jakby ktoś chciał postawić klaster to jest o tym poradnik).

Zaś w przyszłym tygodniu zrobimy sobie przerwę świąteczną - polewajcie się wodą za tydzień (oby pogoda dopisała), a nie zajmujcie się komputerami. Wesołych Świąt!

#analiza_danych_koncepcje

Revisiting MNIST with Fresh Eyes
Każdy kto próbował machine learningu albo deep learningu (w szczególności sieci CNN) zetknął się ze zbiorem ręcznie pisanych cyfr MNIST. Tutaj inne podejście do znanego problemu

Newsletter Dane i Analizy, 2022-02-28

Mon, 28 Feb 2022 15:00:00 +0000

Po raz drugi Dane i Analizy są patronem medialnym CuValley Hack. To też druga edycja tego hackathonu, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Impreza startuje 11 marca.

Hackathon zrzesza otwarte umysły i pomysłowych specjalistów, którzy chcą tworzyć innowacyjne projekty dla polskiej miedzi. Uczestnicy skupią się na analizie danych oraz wykorzystaniu #AI, #MachineLearning czy #BigData w układach automatyki przemysłowej. Co Was czeka?
3 zadania, w których do wygrania wysokie nagrody pieniężne 40 godzin kodowania i networking na kanale Slack tysiące dostępnych danych webinary, Keynote Speakerzy, porządna dawka wiedzy i inspiracji!

Newsletter Dane i Analizy, 2022-01-10

Mon, 10 Jan 2022 15:00:00 +0000

Koniec przerw świątecznych, koniec długich weekendów, czas wracać do pracy.

Dla mnie osobiście rok zaczął się zabawą z Raspberry Pi i próbwaniem co to cudo potrafi. Nigdzie nie ma Raspberry Pi 4, więc zadowoliłem się na start Pi Zero. Mały, ale wariat - używam do PiHole oraz staram się podglądać co robi w nocy kot. Jak? A no tym prostym skryptem i kamerką podłączoną po USB.

#analiza_danych_koncepcje

11 Dimensionality reduction techniques you should know in 2021
11 metod na redukcję rozmiarów Twoich danych. Ale zmniejszenie wielkości to nie jedyne zastosowanie - przy redukcji wymiarów często odsłaniają się ukryte informacje

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-11-01

Mon, 01 Nov 2021 09:00:00 +0000

Beginner’s Guide to AutoML with an Easy AutoGluon Example
This article was published as a part of the Data Science Blogathon Machine Learning is popular and is being used everywhere for applications ranging from financial services to healthcare, marketing & advertising to manufacturing. Almost all industries seem to derive substantial benefit using some form of Machine Learning. Over the recent past, automation technology also […] The post (…)

Visualising Similarity Clusters with Interactive Graphs
Take advantage of Python, Plotly, and NetworkX to create interactive graphs to find similarity clusters Let us assume, as a running example, that my data is composed of word embeddings of the English language. I want to gain insights about the word distribution in the embedding space, specifically, if there are any clusters of very similar words, if there are words that are completely different (…)

Newsletter Dane i Analizy, 2021-10-25

Mon, 25 Oct 2021 09:00:00 +0000

Optimize ML modeling using a timing decorator
Record the execution time of ML training using timing decorators and use it for productive data science and ML optimization Image source : Pixabay (Free to use) Why measuring time is important We can go on and provide hundreds of arguments and quotes showing why the act of measurement is important in science and technology. Here is a powerful one, One accurate measurement is worth a thousand (…)

Newsletter Dane i Analizy, 2021-10-23

Sat, 23 Oct 2021 09:00:00 +0000

Best front-end Python frameworks in 2021
Welcome back! Python is an awesome programming language with a ton of capability, one of these functions is building GUI’s (front-ends), so let’s talk about some of my favorite front-ends frameworks for Python. Now, Python is an awesome language for web development as well, if you want to see some sample websites you can build with Python, check out this article below: Let’s take a look at some (…)

Newsletter Dane i Analizy, 2021-10-11

Mon, 11 Oct 2021 09:00:00 +0000

Top 5 Time Series Analytics
Learn about the top use-cases and techniques for time-series data Time is present in most of the data around us. From retail product sales data to financial stock price, to IoT sensor data, all have a notion of time in it. So mastering time-series analytics is going to make you master of the data science world The top 5 analytics which I will demonstrate here are Seasonality Detection to find (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-08-02

Mon, 02 Aug 2021 09:00:00 +0000

How To Use “yield” in Python?
Python Generator — from basic to advanced usage Continue reading on Towards Data Science »

10 Best Practices to Write Readable and Maintainable SQL Code
How to write SQL queries that your team can easily read and maintain? It’s easy to mess with SQL without proper guidelines. Since everybody in your team might have their own habits of writing SQL, you can quickly end up with a confusing code that nobody understands. You probably realized the importance of following a set of good practices. May this article give you the guidance you’re (…)

Newsletter Dane i Analizy, 2021-07-31

Sat, 31 Jul 2021 09:00:00 +0000

How to Model Time Between Events Using the Exponential, Gamma, and Poisson Distributions
How to model time-to-event and ‘time between events’ on real data using the Exponential Family to optimize returns of time driven investments. Screenshots from within the article. Usually, when we have time as a variable on a dataset, we can model other variables reflected in time itself, whether we apply Time Series Analysis or just use time to cut our data and apply continual ML or S tate Space (…)

Newsletter Dane i Analizy, 2021-07-26

Mon, 26 Jul 2021 09:00:00 +0000

Ocena modeli klasyfikacyjnych - od tablicy pomyłek do F1 - Data science in pl
Zrozumieć modele klasyfikacyjne. Tablica pomyłek, czułość, swoistość precyzja i F1 - opis i intuicyjne przykłady.

Word Embedding Techniques: Word2Vec and TF-IDF Explained
The words need to be made meaningful for machine learning or deep learning algorithms. Therefore, they must be expressed numerically. Algorithms such as One Hot Encoding, TF-IDF, Word2Vec, FastText enable words to be expressed mathematically as word embedding techniques used to solve such problems. (…)

Jak odczytać maile z Gmaila w R?

Mon, 08 Oct 2018 15:51:43 +0000

Wszystko zaczęło się od awarii Home.pl i jednego postu na Facebooku… Post, o którym mowa to screen shot skrzynki mailowej pełnej informacji od czytelników Niebezpiecznika donoszących o awarii serwerów Home.pl (o samej awarii tutaj).

W komentarzach pojawił się pomysł, żeby stworzyć mechanizm informujący, że w skrzynce odbiorczej wzrasta liczba maili dotyczących określonego tematu. Jak do tego podejść? Zastanówmy się czego potrzebujemy, aby taki “sygnalizator” przygotować. W najprostszej formie, przynajmniej na początek. Potrzebujemy:

Przewidywanie pogody

Thu, 12 Apr 2018 08:42:57 +0000

W poprzednim odcinku zebraliśmy dane o pogodzie w Polsce od 1951 roku. Dzisiaj przygotujemy prognozę pogody. Ale przede wszystkim nauczymy się weryfikować modele. Mając zgromadzone dane o pogodzie z ponad 60 lat (1951-2017) możemy pokusić się o prognozowanie temperatury w przyszłości. Wykorzystamy trzy (właściwie dwa) modele dostępne od ręki w popularnych bibliotekach R oraz zaprzęgniemy do prognozowania sieć neuronową. Zaczniemy od potrzebnych bibliotek:

library(tidyverse)
library(lubridate)
library(DBI) # pobieranie danych z bazy SQLite
library(forecast) # na potrzeby modeli ARIMA i ETS/STLF
library(keras) # na potrzeby LSTM w TensorFlow
library(corrgram) # wykres korelacji

Na początek pobieramy dane o średniej dziennej temperaturze wszystkich stacji w latach 2000-2016. Te dane potraktujemy jako dane treningowe. Dane z 2017 roku potraktujemy jako testowe.

Nowe pojazdy w Polsce po roku 2010

Sat, 29 Apr 2017 09:57:58 +0000

Gdzie rejestruje się najwięcej nowych samochodów? Jak to porównywać i pokazywać?

Dzisiaj proste zadanie, ale wymagające nieco gimnastyki. Otóż sprawdzimy gdzie przybywa najwięcej nowych samochodów. Skorzystamy z danych GUSu (precyzyjniej jest to Kategoria: TRANSPORT I ŁĄCZNOŚĆ, Grupa: POJAZDY, Podgrupa: Zarejestrowane nowe pojazdy samochodowe (dane kwartalne)). Pobieramy ręcznie plik CSV (dane dla wszystkich okresów i wszystkich lat, tylko samochody osobowe), pamiętając żeby przed pobraniem pliku przełączyć układ danych na “według TERYT” (klucz TERYT jest najlepszy do łączenia danych z mapami - pobranymi w plikach SHP z CODGiK - zdaje się, że było już o tym).

Prognoza stopy bezrobocia na 2017-2018

Wed, 26 Apr 2017 12:28:23 +0000

Jakie będzie bezrobocie za dwa lata? A właściwie - jak wyznaczyć przyszłe dane na podstawie historii? Dzisiaj zajmiemy się prostą (automatyczną) predykcją szeregów czasowych. Co to jest szereg czasowy? Ano, zbiór danych przypisanych do kolejnych dat (chwil w czasie - będąc bardziej precyzyjnym). Może to być wartość akcji dzień po dniu, może to być temperatura (czy dowolne inne wartości opisujące pogodę) lub cokolwiek innego, co ma swoje wartości w kolejnych momentach czasu. My zajmiemy się stopą bezrobocia w Polsce. Skorzystamy z miesięcznych danych publikowanych przez GUS. Dane są w ładnej tabelce na stronie, można więc je łatwo z niej wyciągnąć.