XGBoost on Łukasz Prokulski, Dane i Analizy

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

Lokalne AI, optymalizacja Kafki i analiza 50 tysięcy profili randkowych

Mon, 16 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu łączymy praktyczne podejście do AI z fundamentami inżynierii danych. Zaczynamy od narzędzi agentowych – customizacji Claude Code dla Pythona (gdzie język jest przykładem - to samo można zrobić chociażby dla Javy) i OpenClaw jako lokalnego asystenta AI z pełną kontrolą nad danymi.

W sekcji ML znajdziecie automatyzację audytu katalogów z użyciem XGBoost, wprowadzenie do PyCaret (taka biblioteka auto-ml dla Pythona) oraz semantyczne wyszukiwanie obrazów łączące Gemini z Elasticsearch.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Raport State of AI + Encyklopedia Seaborn

Mon, 13 Oct 2025 15:00:00 +0000

Dzisiaj wstęp w punktach i tylko dwa zagadnienia (omówione szerzej w pełnych tekstach, które znajdziesz niżej). Oczywiście to nie wszystko co ciekawe w tym numerze!

Kluczowe wnioski z raportu State of AI Report 2025:
OpenAI wciąż na czele, ale chińskie DeepSeek, Qwen i Kimi doganiają w rozumowaniu i kodowaniu
44% firm w USA płaci za AI (vs 5% w 2023), średnia wartość kontraktu $530k
startupy AI-first rosną 1,5× szybciej
95% profesjonalistów używa AI w pracy lub domu, 76% płaci z własnej kieszeni, widoczne trwałe wzrosty produktywności
Debata o ryzyku ustępuje konkretnym pytaniom o niezawodność, cyberbezpieczeństwo i governance systemów autonomicznych

Więcej w pełnym raporcie, szukaj w #Ciekawostki. O skutecznym zarządzaniu celami w zespołach inżynieryjnych - spostrzeżenia na podstawie ponad dekady doświadczeń w Google, Facebooku i Netflixie: sukces skalowania zespołów inżynieryjnych zależy przede wszystkim od strukturalnego wyznaczania celów. A najważniejsze lekcje dotyczące celów zależą od organizacji, przykładowo:

Newsletter Dane i Analizy, 2025-06-30

Mon, 30 Jun 2025 15:00:00 +0000

Dzisiaj w numerze od rewolucji w projektowaniu API po fundamentalne pytania o architekturę danych, od praktycznych implementacji AI po badania nad samopoczuciem programistów – każdy artykuł odkrywa nowe perspektywy na temat tego, jak sztuczna inteligencja przemienia nasze sposoby pracy.

Era Agentów AI wymaga nowego podejścia do projektowania
Jednym z kluczowych tematów tego numeru jest ewolucja API w kontekście rosnącej popularności agentów AI. Agenty AI zachowują się jak wątki - to boty zadaniowe uruchamiane w celu osiągnięcia określonego celu, co oznacza, że nasze dotychczasowe podejście do projektowania interfejsów programowych wymaga gruntownego przemyślenia. Czy nasze API są gotowe na świat, w którym konsumentami nie są już tylko ludzie, ale także inteligentne maszyny działające autonomicznie?

Newsletter Dane i Analizy, 2024-12-02

Mon, 02 Dec 2024 15:00:00 +0000

Motywem przewodnim w dzisiejszym odcinku jest API. Jakich frameworków użyć (w Pythonie), czym od siebie się różnią? A może websocket?

Podobnie mamy w sekcji z praktycznymi projektami z zakresu analizy danych (nie zawsze tam o samą analizę chodzi - czasem bardziej o uczenie maszynowe niż analizowanie w rozumieniu tzw. EDA): wykrywanie wartości odstających w zbiorach.

Co tydzień przedstawiamy tutaj kilka projektów wykorzystujących analizę danych, machine learning czy też AI. Zamiast czekać kilkanaście tygodni (i liczyć że temat, który Cię interesuje się pojawi) możesz zerknąć na stronę gdzie zgromadzono ponad 65 (może i 69, a więc prawie 70!) przykładowych projektów razem z kodem źródłowym. Boot-camp z ML? Niepotrzebny! Wystarczą te projekty… oraz porządne doczytanie dlaczego tak a nie inaczej zrobiono to czy tamto.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-08-12

Mon, 12 Aug 2024 15:00:00 +0000

Używacie Postmana do współpracy z API? Na przykład do testowania własnych usług albo rozpoznawania cudzych? Poznajcie Bruno - alternatywę, w 100% offline i open soruce. Bruno jest oddzielną aplikacją (okienkową i w CLI) oraz dodatkiem do VSCode. Zamiast czytać możecie też zobaczyć kilkunastominutowe demo.

“Czego powinniśmy się spodziewać, a co jest tylko szumem medialnym? Jaka jest różnica między obietnicą tej technologii a praktyczną rzeczywistością?”. Najnowszy artykuł Stephanie Kirmer (Ekonomia generatywnej AI) przedstawia bezpośrednie, bezkompromisowe spojrzenie na biznesowe przypadki produktów AI oraz zadaje pytanie, o to jaki jest model biznesowy dla generatywnej AI, biorąc pod uwagę to, co wiemy dzisiaj o technologii i rynku?

Newsletter Dane i Analizy, 2024-01-08

Mon, 08 Jan 2024 15:00:00 +0000

Dzisiaj w ramach wstępu - pakiet specjalny, pakiet linków dodatkowych, bo każdy z początkujących data scientistów przechodzi przez podobne zagadnienia. Najpierw uczymy się wczytywać dane, potem je filtrować i przekształcać.

Często przekształcenia polegają na przejściu wiersz po wierszu w naszych danych. Jak już umiemy nieco programować to - dla przykładu pandasowy iterrows() wydaje się być dobrym rozwiązaniem. Przecież dla każdego wiersza w naszej tabeli powinniśmy wykonać jakąś operację. No, ale nie zawsze pętle mają sens i ten notebook pokazuje jak się ich pozbyć, chociaż akurat nie w pandasowych tabelkach. No, ale nie po to wymyślono w Pythonie listy, żeby z nich nie korzystać! Często są bardzo szybkie i naprawdę wygodne!

Newsletter Dane i Analizy, 2023-11-19

Sun, 19 Nov 2023 15:00:00 +0000

Ci, którzy śledzą newsletter i fanpage’a Dane i Analizy, profil na LinkedIn (oraz moje prywatne profile, np. na LI) wiedzą zapewne, że w ramach kampanii PZU silni w IT przygotowaliśmy serię podcastów o sztucznej inteligencji.

W pierwszym odcinku rozmawiamy raczej filozoficznie, o tym czym jest AI i czy potrzebujemy dla niej jakichś regulacji (słuchaj na YouTube lub Spotify).
W drugim skupiamy się na zagadnieniach HRowych - kim jest data scientist, co robi i - to chyba najważniejsze - jakich kompetencji się oczekuje od takiej osoby? (Spotify / YouTube).
W tym tygodniu powinny pojawić się dwa kolejne odcinki, w kolejnym jeszcze dwa. Poruszamy w nich zagadnienia związane z big data i dostarczaniem danych do nauki AI, rozmawiamy o computer vision, modelach językowych, a na koniec bezpieczeństwie.

Newsletter Dane i Analizy, 2023-08-14

Tue, 08 Aug 2023 00:00:00 +0000

Na początek tutorial (YT, 30 minut, po polsku), tym razem z LLMami w roli głównej - o tym jak zbudować chatbota odpowiadającego na pytania z własnej bazy wiedzy. Bardzo fajny materiał, takich trochę brakuje - chłopaki opowiadają o tych najbardziej kluczowych kawałkach kodu a nie o podstawach. Rozumiesz o czym jest mowa, nie ma straty czasu na opowiadanie co do jest model albo funkcja w Pythonie ;-)

Dzisiaj też pelny proces MLOps - wprowadzenie zawierające wszystkie elementy. Super tekst na początek dla każdego DevOpsa który chce się zająć tematami ML oraz każdego data scientisty, który chce umieć nowocześnie wdrażać swoje modele.

Newsletter Dane i Analizy, 2023-07-31

Mon, 31 Jul 2023 15:00:00 +0000

Lubicie jazdę na rowerze? Sama jazda to przyjemność, ale równie ciekawe jest obserwowanie wyścigu zawodowców - na przykład Tour de France. Znakomity w swoich tekstach o danych The New York Times przygotował porównanie jak szybko jedzie grupa amatorów i czołówka kolarzy z Tour de France. Dane zebrano ze Stravy (w tekście znajdziecie linki do tras, a co za tym idzie do profili np. Tadeja Pogacara). Mając bardzo dużo przejazdów dziennikarze przygotowali interesujące wizualizacje i porównania.

Newsletter Dane i Analizy, 2023-06-19

Mon, 19 Jun 2023 15:00:00 +0000

W dzisiejszym numerze znajdziecie link do niezbyt długiego filmu pokazującego jak korzystać z Midjourney - czyli narzędzia do generowania hiperrealistycznych grafik. Robi wrażenie (Midjourney, nie sam filmik), pochłonęło mnie na kilka godzin wczoraj… tylu nieistniejących dziewczyn dawno nie widziałem ;-) a zabawa w zmiany stylu przednia!

Oczywiście ktoś takie Midjourney musiał przygotować wcześniej i nauczyć tą sztuczną inteligencję tych wszystkich sztuczek. Zapewne te osoby musiały zacząć od podstaw, a te znajdziecie w kursie od IBM, opublikowanym na YouTube.

Newsletter Dane i Analizy, 2023-06-05

Mon, 05 Jun 2023 15:00:00 +0000

Czy ChatGPT może nauczyć Cię data science? Czy czas mentorów się kończy?

Raczej nie “włoży” do Twojej głowy wiedzy, ale może pokazać kierunki, w których warto podążać w poszukiwaniu kolejnych elementów wiedzy. Może też odpowiedzieć na pytania, podać gotowe rozwiązania (chociażby w postaci fragmentów kodu). O tym mówi ten tekst.

Ale czy to, że mamy takie narzędzia dostępne na wyciągnięcie ręki sprawi, że staniemy się mądrzejsi? Dzisiaj dział ChatGPT dość obfity - chyba uczymy się powoli wykorzystywać to narzędzie w różnych zastosowaniach, po prostu w swojej pracy.

Newsletter Dane i Analizy, 2023-03-27

Mon, 27 Mar 2023 15:00:00 +0000

Być może przeczytaliście wszystko co było do przeczytania z poprzedniego wydania newslettera, a może coś jeszcze Wam zostało? Dlatego dzisiaj nieco mniej (właściwie - tyle co zwykle) nowości, ale nie oznacza to wcale że jakoś gorzej.

Sporo materiałów dotyczy Sparka i różnych z nim kombinacji - do nauki i szukania kierunków poszerzania wiedzy znakomite punkty wyjścia. Można też nauczyć się czegoś joinach w SQL.

Z nieco bardziej zaawansowanych tekstów polecam ten o Apache Hudi w Uberze oraz o tym jak właściwie działa ChatGPT. A skoro już przy nim jesteśmy - wiele w minionym czasie pojawia się tekstów o tym jak to ChatGPT zabierze pracę różnym ludziom, w tym programistom. Czy zabierze? Przekonamy się. Ale już teraz przeczytajcie jak może być pomocny przy tworzeniu kodu (na przykładzie aplikacji w Streamlit).

Newsletter Dane i Analizy, 2023-02-20

Mon, 20 Feb 2023 15:00:00 +0000

Jak wyglądać będzie świat kiedy GPT-3 będzie pisać teksty? Mniej więcej tak jak wygląda Medium.com. Clickbaitowe tytuły, mało merytorycznej treści. Jeśli brać pod uwagę teksty mówiące ogólnie rzecz biorąc o IT to dodatkowo długie wprowadzenia (zawsze mniej więcej o tym samym: czym jest Kafka, czym jest AirFlow, czym jest Docker), potem dwa akapity o banalnym do rozwiązania problemie i to wszystko.

Może to przeziębienie trwające już za długo, może kryzys wieku średniego ;-) albo za dużo zajęć i rzeczy do zrobienia tu i teraz, ale szczerze mówiąc jestem zmęczony, głównie internetem - wszędzie to samo, wszystko miałkie, wszystko wtórne. Dlatego, żeby tego wszystkiego Wam oszczędzić do dzisiejszego newslettera wstępnie wybrałem około 50 artykułów. Ile przeszło selekcję? Widzicie poniżej. Ile z nich jest godnych uwagi i na prawdę coś ciekawego wnosi? To musicie ocenić sami.

Newsletter Dane i Analizy, 2022-12-27

Tue, 27 Dec 2022 15:00:00 +0000

Święta, święta i po świętach. Nawet newsletter opóźniony specjalnie o jeden dzień, żebyście mogli w pełni od komputerów odpocząć :)

W ostatnim w 2022 roku numerze trochę mniej tekstów, ale to nie znaczy że są one słabszej jakości. Spora część dzisiejszego tortu to technologie big data, ale jest też coś o Pythonie i kilka ciekawostek ogólnych.

Najbardziej chyba polecam zestawienie w zmianie liczby ludności w i wokół polskich miast - książkowe wręcz przykłady suburbanizacji. Dobre jest też wyjaśnienie algorytmów boostingowych.

Newsletter Dane i Analizy, 2022-10-24

Mon, 24 Oct 2022 15:00:00 +0000

Dzisiejsze wydanie newslettera skupia się na szeregach czasowych. Szeregiem czasowym jest pewnie jakieś 60% danych, na pewno wszystkie zmieniające się w czasie. Tak więc liczba klientów w sklepie (albo stronie internetowej), wynik pomiarów z jakiegoś czujnika (temperatura) itd itp - wszystko to układa się w szeregi czasowe.

A takie szeregi pozwalają na przewidywanie przyszłości. Czasem jest to łatwe, czasem trudne (giełda to też w zasadzie szereg czasowy, a przewidywanie nie jest takie oczywiste). I trochę o tym dzisiaj.

Newsletter Dane i Analizy, 2022-10-17

Mon, 17 Oct 2022 15:00:00 +0000

Od ostatniego numeru newslettera przybyło Was trochę - dziękuję za zaufanie i pozostawienie swojego adresu mailowego w nadziei na interesujące materiały. Wiem, że oczekujecie czegoś związanego z Pythonem i przetwarzaniem większej ilości danych, a tym bardziej wiem że dobrze dzisiaj trafiliście.

Mamy zatem trochę materiału pozwalającego przeskoczyć z poziomu junior do mid w Pythonie. Dla tych bardziej zaawansowanych trochę o łączeniu się ze Snowflake z poziomu Pythona (nie tylko dla zainteresowanych Snowflake’em te teksty są warte chociażby przejrzenia - dużo w nich wartości między wierszami, czy też liniami kodu).

Newsletter Dane i Analizy, 2022-07-04

Mon, 04 Jul 2022 15:00:00 +0000

Znacie historię plików cookie? Dzisiaj możecie ją poznać z jednego z tekstów w newsletterrze.

Jeśli interesuje Was coś z zakresu wdrażania oprogramowania, monitoringu i ogólnie pojętej automatyzacji tego typu działań - sekcja DevOps może być dobrym początkiem.

Polecam też gorąco tekst o efekcie wabika oraz R-owy pakiet gtExtras użyty w jednym ze sposobów prezentacji rankingu zawodników.

#analiza_danych_koncepcje

Unsupervised Learning: K-Means Clustering
K-means to jeden z algorytmów nienadzorowanego uczenia maszynowego o którego pytają na rozmowach kwalifikacyjnych. Jak działa?

Newsletter Dane i Analizy, 2022-06-27

Mon, 27 Jun 2022 15:00:00 +0000

Gorąco… żar leje się z nieba, taka spiekota w mieście to piekło (niczym w Hydrozagadce).

Zatem gorące materiały: wyniki ankiety StackOverflow, którą osobiście traktuję jako wyznacznik tego jakie technologie są obecnie używane na rynku, czego warto się uczyć i co trzeba potrafić aby swobodnie zmieniać pracę. Pakiet materiałów od Krzyśka Sopyły do nauki ML oraz rozwiązanie konkretnych zagadnień takich jak pipeline dla danych ze Stravy.

Weźmiecie udział w pieszym rajdzie PPTK na odznakę nizinną? Nawet jeśli nie, pamiętajcie że dobrze jest łączyć przyjemne z pożytecznym!

Newsletter Dane i Analizy, 2022-05-30

Mon, 30 May 2022 15:00:00 +0000

Znacie metodę “getting things done”? Jest taka książka Davida Allena opowiadająca dokładnie co i jak. Ale kto by czytał całą książkę, jeśli jest wersja skrócona? Polecam. Jeśli wolicie książkę to w Helionie jest promocja na e-booka.

Polecam dzisiaj trochę oglądania - praktyczne wykorzystaniu narzędzi ML w banku w prezentacji XGBoost w praktyce oraz DDD w systemach rozproszonych. Cała reszta materiałów równie znakomita :)

#analiza_danych_koncepcje

5 Ways to Use Histograms
Sposoby na użycie histogramów… z perspektywy machine learningu

Newsletter Dane i Analizy, 2022-05-23

Mon, 23 May 2022 15:00:00 +0000

Dzisiaj delikatnie więcej tematów bliższych biznesowi niż IT - mierniki, jakość, zaangażowanie w pracę (to polecam każdemu). Dane i Analizy to też consulting tego typu rozwiązań - jeśli trzeba to zapraszam do kontaktu

Są też standardowo poradniki związane głównie z Pythonem i Big Data, ale znajdzie się też coś dla chcących zacząć poważniej pisać w Javie

#AI_ML

GreenLIT: Using GPT-J to Create Screenplays
Czy sztuczna inteligencja może pisać scenariusze filmowe?

Train XGBoost Models in Amazon SageMaker in 4 Simple Steps
Jak wykorzysać Amazon SageMaker do trenowania modeli w chmurze?

Newsletter Dane i Analizy, 2022-02-28

Mon, 28 Feb 2022 15:00:00 +0000

Po raz drugi Dane i Analizy są patronem medialnym CuValley Hack. To też druga edycja tego hackathonu, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Impreza startuje 11 marca.

Hackathon zrzesza otwarte umysły i pomysłowych specjalistów, którzy chcą tworzyć innowacyjne projekty dla polskiej miedzi. Uczestnicy skupią się na analizie danych oraz wykorzystaniu #AI, #MachineLearning czy #BigData w układach automatyki przemysłowej. Co Was czeka?
3 zadania, w których do wygrania wysokie nagrody pieniężne 40 godzin kodowania i networking na kanale Slack tysiące dostępnych danych webinary, Keynote Speakerzy, porządna dawka wiedzy i inspiracji!

Newsletter Dane i Analizy, 2021-12-06

Mon, 06 Dec 2021 15:00:00 +0000

Na Mikołajki przegląd internetu pod kątem danych, ich analiz i sposobów programowania oraz wdrażania zaprogramowanych rozwiązań.
Najciekawszym dla początkujących będzie pewnie zbiór ponad 200 tekstów zgromadzonych w jednym miejscu na różne tematy związane z machine learingiem (to prawdę mówiąc trochę jak spis treści jednego bloga), a bardziej doświadczeni dowiedzą się jak połączyć C++ z Pythonem. Są też ciekawe teksty o R (i Shiny), co się ostatnio dość rzadko zdarzało.

Skoro jesteśmy przy R - w piątek (10 grudnia) zaś konferencja WhyR? - rezerwujcie sobie czas, bo materiału sporo (co widać po zaplanowanych streamingach na YouTube). Więcej szczegółów na stronie imprezy 2021.whyr.pl

Newsletter Dane i Analizy, 2021-11-08

Mon, 08 Nov 2021 09:00:00 +0000

Orchestrate a Data Science Project in Python With Prefect
Optimize Your Data Science Workflow in a Few Lines of Code Motivation As a data scientist, why should you care about optimizing your data science workflow? Let’s start with an example of a basic data science project. Imagine you were working with an Iris dataset. You started with building functions to process your data. https://medium.com/media/e479ca8deb87434b1859864118ec3bcc/href After defining (…)

Dealing With Dates in Pandas — 6 Common Operations You Should Know
Dealing With Dates in Pandas — 6 Common Operations You Should Know Never confused with dates again, hopefully. Besides texts and numbers, dates are a very common data type in our datasets. When we use Pandas to process dates, it’s definitely not the most straightforward task for most data scientists. When I began to use Pandas, I wasn’t familiar with date-related features, so every time when I (…)

Newsletter Dane i Analizy, 2021-06-21

Mon, 21 Jun 2021 09:00:00 +0000

Implementation of Top Design Patterns in Python
*according to developer & software architect with 9+ years of experience

A hands-on demo of analyzing big data with Spark
Scan a novel, calculate pi, and run regression on 50 million rows Conclusions This post was a deep dive on using Spark to process big data. We started with an overview of distributed computing before counting the frequency of each letter in Dostoyevsky’s War and Peace , estimating π with randomly (…)

Pipeline w SciKit Learn

Sat, 10 Oct 2020 11:21:01 +0000

Co to są pipelines w sci-kit learn i jak je wykorzystać? Czyli bardziej efektywne szukanie najlepszego modelu.

Photo by JJ Ying on Unsplash

Jeśli zajmujesz się tworzeniem modeli na przykład klasyfikujących jakieś dane to pewnie wielokrotnie powtarzasz te same kroki:

wczytanie danych
oczyszczenie danych
uzupełnienie braków
przygotowanie dodatkowych cech (feature engineering)
podział danych na treningowe i testowe
dobór hyperparametrów modelu
trenowanie modelu
testowanie modelu (sprawdzenie skuteczności działania)

I tak w kółko, z każdym nowy modelem.

MNIST dataset – sieci neuronowe, część 3 (sieć CNN)

Tue, 20 Feb 2018 11:19:42 +0000

Ciąg dalszy rozpoznawania pisanych ręcznie liczb. Potraktujemy obrazki jak obrazki (a nie jak wektory). Dla przypomnienia:

w zerowej części przygotowaliśmy zbiór danych (aby finalnie korzystać i tak z tego z Kaggle ;) i zobaczyliśmy jak wyglądają przykładowe liczby
w części pierwszej przygotowaliśmy modele w oparciu o XGBoost (najlepszy osiągnięty wynik to 87.1% trafności przewidywań) oraz o prostą sieć neuronową (FF, feed-forward) z wykorzystaniem pakietu nnet (najlepszy wyniki to 71.7%, ale liczone to było na fragmencie danych)
w części drugiej zainstalowaliśmy bibliotekę Keras wraz z back-endem w postaci tensorflow, poznaliśmy znaczenie współczynników loss, val_loss, acc oraz val_acc oraz przygotowaliśmy kilka modelów, z których najlepszy dał wynik około 97% poprawności rozpoznania liczb. Zrozumieliśmy (mam nadzieję) również logikę stojącą za budowaniem architektury sieci polegającą na składaniu kolejnych warstw jedna za drugą. Zobaczyliśmy również skąd mogą wynikać błędy klasyfikacji (te różne rodzaje czwórek rozpoznane jako dziewiątki na końcu tekstu)

W ostatniej dotychczas części cyklu traktowaliśmy dane o każdej z liczb w zbiorze uczącym jako wektor (czyli ciąg 784 liczb). Dzisiaj każdą liczbę potraktujemy poprawnie - jako obraz. Zaczniemy od wczytania pakietów oraz danych:

MNIST dataset – sieci neuronowe, część 1 (xgboost i nnet)

Thu, 01 Feb 2018 11:30:10 +0000

Budujemy pierwszą sieć neuronową oraz porównujemy jej wyniki z XGBoost. W pierwszej części przygotowaliśmy dane, a i tak będziemy korzystać z gotowych z Kaggle.com. Zanim wkroczymy w sieci neuronowe zobaczmy dla przypomnienia jaki mamy rozkład liczb (ile jest jakich)?

library(tidyverse)

# wczytujemy zestaw danych
data <- read_csv("data/train.csv")

data %>%
 count(label) %>%
 ggplot() +
 geom_col(aes(as.factor(label), n, fill = as.factor(n)), color = "gray50", show.legend = FALSE) +
 labs(x = "Liczba", y = "Liczba obrazków")

Żeby całość działa się szybciej i potrzebowała mniej pamięci wybierzemy po 250 próbek dla każdej liczby: