TensorFlow on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2025-03-24

Mon, 24 Mar 2025 15:00:00 +0000

W dzisiejszym numerze analizujemy ewolucję systemów rekomendacji i wyszukiwania w erze LLM, prezentujemy zaawansowane techniki inżynierii danych, w tym potoki danych oparte na PostgreSQL oraz porównanie formatów data lake. Poruszamy również kwestię minimalizację liczby spotkań, a także przedstawiamy nowe narzędzia usprawniające pracę z Pythonem i bazami wektorowymi.

#ai_ml

Improving Recommendation Systems & Search in the Age of LLMs
Kompleksowa analiza transformacji systemów rekomendacji i wyszukiwania w kontekście dużych modeli językowych. Artykuł omawia zmiany w przemysłowych rozwiązaniach w ostatnim roku, skupiając się na architekturach multimodalnych, generowaniu danych wspomaganym przez LLM oraz technikach uczenia transferowego i destylacji.

Newsletter Dane i Analizy, 2025-02-24

Mon, 24 Feb 2025 15:00:00 +0000

Ciekawostka tego tygodnia to What’s in your stack: The state of tech tools in 2025, czyli spostrzeżenia 6500 profesjonalistów z branży technologicznej na temat ich ulubionych i najmniej lubianych narzędzi. Długi tekst, najciekawsze obserwacje:

Top narzędzia AI i ich wykorzystanie:

ChatGPT: 90% profesjonalistów używa go codziennie Claude: 35% używa do złożonych analiz Gemini: 24% wykorzystuje głównie do integracji z Google Workspace

Rewolucja w developmencie:

40% programistów regularnie używa GitHub Copilot 17% przeszło na Cursor (AI-natywne IDE) VS Code pozostaje królem z 48% udziałem (“Wiadomix!” - red.nacz.)

Newsletter Dane i Analizy, 2025-02-17

Mon, 17 Feb 2025 15:00:00 +0000

Mam nadzieję, że Walentynki były udane? ;-) Może szukasz spóźnionego prezentu dla początkującego programisty (albo dla siebie) - mój nowy e-book o Pythonie (pobieranie danych z API, współpraca z bazą danych, aplikacja we Flasku), który zadebiutował właśnie 14 lutego, może być strzałem w dziesiątkę. Więcej informacji na stronie książki.

W tym tygodniu mam dla Ciebie solidną dawkę wiedzy z różnych obszarów analizy danych i programowania - jak zwykle zresztą. Szczególnie warto zwrócić uwagę na materiały dotyczące uczenia maszynowego - od budowy własnej biblioteki deep learning po praktyczną optymalizację modelu wykrywania oszustw. Dla osób zainteresowanych LLM, a w szczególności Transformerami - jest przystępne wyjaśnienie ich działania.

Newsletter Dane i Analizy, 2024-07-22

Mon, 22 Jul 2024 15:00:00 +0000

Tomek zwrócił się do mnie z prośbą o przekazanie informacji o jego książce (e-booku). Otóż napisał ogromną ilość tekstu (ze 100 stron) na temat tego jak budować projekty data science w Pythonie. Jak układać pliki w folderach, jak zarządzać wymaganiami, jak zarządzać prerekwizytami typu dane czy też wynikowe wykresy, predykcje, modele. Jest też o automatycznym formatowaniu i sprawdzaniu kodu przy użyciu Ruff oraz dość sporo o notatnikach Jupytera. Normalnie książka coś kosztuje (30 zł), ale dla Was - do 5 sierpnia - jest za darmo, o tutaj.

Newsletter Dane i Analizy, 2024-06-24

Mon, 24 Jun 2024 15:00:00 +0000

W piłkę polska reprezentacja już (za moment) na Euro nie pogra, ale o przewidywaniu wyników trwającego turnieju piłkarskiego coś dzisiaj znajdziecie. Nawet nie w kontekście polskiej reprezentacji, a bardziej w kontekście “jak to się robi?”. Bo taki cel ma ten newsletter - pokazywać jak to się robi. Więc jeśli znasz kogoś, kto jeszcze nie wie to ślij mu tego maila. A jeśli ktoś przysłał Tobie tego maila - to zapisz się prawilnie na odpowiedniej stronie.

Newsletter Dane i Analizy, 2024-06-17

Mon, 17 Jun 2024 15:00:00 +0000

W minionym tygodniu miało swoją premierę narzędzie, które w ramach GenAI potrafi ożywić zdjęcia. Mowa o Luma. Oczywiście pojawiło się już kilka ożywionych memów albo okładek płyt. W ciekawą idzie to stronę… Pamiętajcie jednak, że zanim wrzucicie w tego typu maszynki swoje prywatne zdjęcia żeby przeczytać regulamin (ten z LumaLabs AI na wiele im pozwala).

W minionym tygodniu rozpoczęło się też Euro 2024 i to pewnie części z Was zajmuje sporo czasu. Szkoda tylko, że FiveThirtyEight.com przestało się zajmować sportem - bardzo fajne modele predykcyjne mieli na temat sportu. Za to (przed startem turnieju) swoje predykcje przygotował Eurosport.

Newsletter Dane i Analizy, 2023-11-27

Mon, 27 Nov 2023 15:00:00 +0000

W minionym tygodniu miałem okazję być uczestnikiem konferencji Data Science Summit. Moje obserwacje są dość proste (ale przyznam, że interesowały mnie ścieżki bliższe data engineering niż data science czy wręcz precyzyjnie LLM):
budowanie modeli przestało być zagadnieniem zagadnieniem jest ich wdrażanie, utrzymywanie, sprawianie by szybko działały i były łatwe do podmiany na swoje lepsze wersje a więc znaczenie ma MLOps hasło data mesh straciło impakt - nadal mówi się o tym, że dane to powinien być produkt, że ważny jest “demokratyczny dostęp do danych”, ale nie ma takiego hype jak rok temu dużo mówi się o Streamlit jako narzędziu do szybkiego budowania dedykowanych rozwiązań do prezentacji danych (i interakcji z nimi), właściwie obok dedykowanych narzędzi BI (PowerBI, MS Fabric, Tableau) Streamlit był jedynym rozwiązaniem open source

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-07-24

Mon, 24 Jul 2023 15:00:00 +0000

Pisanie newsletterów (oraz postów na bloga) jest proste - robi się to mniej więcej tak:

Obrazek ten pochodzi z wpisu Robina Moffatta (polecam jeśli myślisz o pisaniu bloga lub pojedynczych tekstów o programowaniu, albo po prostu dokumentacji). Proces wygląda tak samo - czy są wakacje czy ich nie ma.

A że jestem w trakcie urlopu to pozwólcie, że dzisiaj na tym zakończymy wstęp.

#ai_ml

Using a Keras Tuner for Hyperparameter Tuning of a TensorFlow Model
Hyperband Tuner użyty do doboru najlepszych parametrów dla przygotowanego modelu opartego i sieć neuronową

Newsletter Dane i Analizy, 2023-05-15

Mon, 15 May 2023 15:00:00 +0000

Wielokrotnie w newsletterze znalazły się teksty mówiące o wykorzystaniu Snowflake, BigQuery czy Databricks. Dzisiaj przyszedł jednak czas na szybkie wprowadzenie do tych narzędzi - jak zacząć z nich korzystać? Jak stworzyć konto, jak załadować pierwsze dane?

A wiecie, że narzędzia Microsoftu - na przykład Excel (poprzez VBA) czy też PowerBI potrafią współpracować z zewnętrznymi skryptami napisanymi w Pythonie albo R? Jeśli nie, to poniżej znajdziecie przykłady takiej współpracy. Swoją drogą - pewnie już ze dwa lata mija od plotek o wprowadzeniu Pythona do Excela… ale coś nie widać zmiany.

Newsletter Dane i Analizy, 2023-04-17

Mon, 10 Apr 2023 15:00:00 +0000

Mój stary to fanatyk sztucznej inteligencji.. Kto zna to zna, Michał przygotował (z użyciem AI) przeróbkę znanej copy-pasty Malcolma XD.
Ponieważ ChatGPT tak mocno rządzi w mediach ostatnio, dzisiaj specjalna sekcja na ten temat.

W tej dedykowanej sekcji przedstawiam więc kilka inspirujących tekstów, które pokazują drogę od tego w czym i jak ChatGPT może pomóc, do konkretnych rozwiązań zastępujących na przykład StackOverflow, aby na koniec pokazać jak wykorzystać API przygotowane przez OpenAI z poziomu kodu.

Newsletter Dane i Analizy, 2023-02-06

Mon, 06 Feb 2023 15:00:00 +0000

Dzisiaj nieco zagadnień teoretycznych. Dobór odpowiedniego rozkładu do istniejących danych, metody tropienia ile tak na prawdę mamy “klastrów” (grup) w danych.

Sporo też o GPT-3, a raczej jego wykorzystaniu w różny sposób (od pisania książek do pisania… rozszerzeń do Chrome). Niespodziewanie dzisiaj rozrósł się dział dedykowany Apache Kafka.

Na koniec coś o wizualizacji, na przykład szpilki pokazujące gdzie mieszkają ludzie.

#AI_ML

Building a Multiclass Classification Model in PyTorch
PyTorch zdobywa rynek AI spychając w cień TensorFlow. Jeśli więc zamierzasz się przesiadać - ten tutorial o prostej klasyfikacji może się przydać

Newsletter Dane i Analizy, 2023-01-30

Mon, 30 Jan 2023 15:00:00 +0000

Dzisiaj na początek trochę o orkiestracji za pomocą Apache Airflow. Zobaczymy co potrafi to narzędzie w zakresie sterowania pobieraniem danych i jak sprawuje się na produkcji.

A jak już mamy pobrane dane to możemy z nimi coś zrobić korzystając z jednej z bibliotek pythonowych. Albo policzyć jakieś modele i z ich pomocą przeanalizować na przykład klientów i ich drogę przez koszyk zakupowy.

W sumie - u laików - synonimem słowa “model” jest “sztuczna inteligencja”. A jak sztuczna inteligencja to może od razu ChatGPT (z którego już dzieciaki korzystają żeby pisać prace domowe)?

Newsletter Dane i Analizy, 2023-01-09

Mon, 09 Jan 2023 15:00:00 +0000

W pierwszym pełnym tygodniu nowego roku wracamy ze standardowym zestawem materiałów.

Jest więc coś o machine learningu (dobry jest tekst o YOLOv5, przede wszystkim pokazujący że nie tylko TensorFlow obowiązuje w domenie deep learning), sporo ciekawostek ocierających się o NLP i analizę tekstu. Jest gotowy przepis na pobieranie danych z Kafki i zapisywanie w Mongo.

Na koniec zapraszam na CuValley Hack! To trzecia edycja hackathonu organizowanego przez KGHM w ramach programu Dolina Miedziowa. To przyznam szczerze spełnienie mojej idei hackathonu: dane wprost z przemysłu i konkretne problemy (zobacz na stronie jakie są zadania) do rozwiązania.

Newsletter Dane i Analizy, 2022-11-28

Mon, 28 Nov 2022 15:00:00 +0000

Czarny Piątek co prawda za nami, ale wietrzenie magazynów bardzo się przyda. Tym bardziej, że w ankiecie sprzed bodaj dwóch tygodni przyznaliście, że więcej polecanych tekstów w jednym numerze jesteście w stanie przełknąć. Zatem wietrzymy i mamy więcej niż zwykle.

Ostatnio pokazywałem potencjalną drabinkę Mundialu, która już być może nieco nieaktualna, prawda? Od początku całej imprezy wpadają jednak do wora dane z Twittera i między innymi na fanpage’u pokazywałem przykładowe wykresy. Projekt jest dość prosty w przygotowaniu, jak znajdę czas to (mam nadzieję) w tym tygodniu opiszę z grubsza założenia.
Okazuje się, że big data można robić w kilka dni. Mam w tym doświadczenie, może to “robi robotę”?

Newsletter Dane i Analizy, 2022-11-14

Mon, 14 Nov 2022 15:00:00 +0000

Dziękuję przede wszystkim za wypełnienie ankiety! Chyba najbardziej za średnią ocen 8.7. Jeśli nie wypełniłaś/wypełniłeś jeszcze ankietki to poszukaj maila z minionej środy i przeklikaj w te trzy minutki kilka pytań. Pomoże w rozwoju newslettera, część uwag już wziąłem sobie do serca.

Dzisiaj szerokie spektrum tematów. Starałem się, aby każdy z tekstów które tutaj trafiły porządnie zgłębiały temat, a nie były zwykłym “baitem”. Mam nadzieję, że udało się wybrać to najsmaczniejsze. Szczerze mówiąc z około 90 potencjalnych kandydatów tylko te przeszły selekcję.

Newsletter Dane i Analizy, 2022-10-10

Mon, 10 Oct 2022 15:00:00 +0000

Dzisiaj prawdziwa bomba na początek - szczegółowy esej na temat wykorzystania uczenia maszynowego na rynku akcji. Tekst obejmuje projekt systemu, który konsekwentnie pokonywał S&P 500, dopóki nie został zamknięty w lipcu 2022 roku. Jest tu wiele, w tym dyskusja na temat dynamiki rynku, podejścia do modelowania, stosu technologicznego, inżynierii funkcji, pipeline ML i nie tylko. Czyta się długo, ale warto! Didact AI: The anatomy of an ML-powered stock picking engine.

Poza tym sporo dzisiaj materiałów o przetwarzaniu tekstu (na róźnym poziomie zaawansowania), kilka przydasiów do Apache Kafka, nauka SQLAlchemy (czyli jak w Pythonie gadać z bazami danych).

Newsletter Dane i Analizy, 2022-09-19

Mon, 19 Sep 2022 15:00:00 +0000

Dzisiaj sporo tekstów dotyka sieci neuronowych. a może lepiej powiedzieć: TensorFlow. Mamy krótkie przedstawienie jak w ogóle sieci działają, kilka tekstów pokazujących jak z TensorFlow pracować i przygotowywać modele. Interesujące jest porównanie modeli regresji liniowej zawartych w pythonowym SciKit-Learn.

Dla początkujących i średniozaawansowanych mamy dwa obszary: scheduler zadań czyli coś o Apache Airflow oraz (też Apache) Spark o łączeniu danych i wykorzystaniu w NLP

Mam też dla Was coś specjalnego. Każdy lubi rabaty, a ja daję bezterminowo 15% zniżki na Karty Data Science!

Newsletter Dane i Analizy, 2022-07-25

Mon, 25 Jul 2022 15:00:00 +0000

Wakacje wakacjami, ale te kilka godzin poświęciłem specjalnie dla Was aby przygotować dzisiejsze wydanie newslettera.

Pamiętacie Wojny Rdzeniowe? Dla tych, którzy nie bardzo - ciekawy tekst (po polsku, co rzadkie tutaj ;) opowiadający historię tych… hmmm… konkursów? zawodów?

A gdyby tak przygotować wewnętrzne rozgrywki tego typu? Co o tym sądzicie? Piszcie!

Zamiast jednak programować można klikać. Jeśli ktoś jest zwolennnikiem no-code to pewnie zainteresuje się przeglądem platform tego typu przeznaczonych do zadań machine learningu.

Newsletter Dane i Analizy, 2022-07-18

Mon, 18 Jul 2022 15:00:00 +0000

W tym tygodniu sporo materiałów związanych z przygotowywaniem modelu danych w bazie - to istotne zagadnienie, warto się chociaż trochę w temacie orientować jeśli projektujemy coś co ma dane przechować (i potem je przekazać dalej albo przekształcić).

Tak też wyszło, że zebrało się kilka zagadnień związanych z przetwarzaniem tekstu w Pythonie oraz przetwarzaniem (np. poprzez OCR) całych dokumentów.

#AI_ML

ML prediction on streaming data using Kafka Streams
Najsmaczniejsze kąski w przetwarzaniu danych w czasie rzeczywistym są właśnie takie - jest strumień danych, na nim działają jakieś modele machine learningowe i o czymś decydują. Tutaj dowiesz się jak to zbudować w kilku krokach

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2022-05-02

Mon, 02 May 2022 15:00:00 +0000

Dzisiaj wielkie święto. I nie chodzi o święto flagi, a o nowy post na blogu. Minął prawie rok od poprzedniego, więc dzień ten zasługuje na miano święta ;-)

Rozproszona architektura, mikroserwisy i baza nosql - taka armata na zwykły sklep internetowy? Tak! Z wyjaśnieniem dlaczego i przykładami w Pythonie! Właśnie to znajdziecie w moim wpisie Sklep rozproszony. To zrobiony w kilka dni proof of concept działania nowoczesnej architektury w dość prostym problemie. Zapraszam do lektury.

Newsletter Dane i Analizy, 2022-01-10

Mon, 10 Jan 2022 15:00:00 +0000

Koniec przerw świątecznych, koniec długich weekendów, czas wracać do pracy.

Dla mnie osobiście rok zaczął się zabawą z Raspberry Pi i próbwaniem co to cudo potrafi. Nigdzie nie ma Raspberry Pi 4, więc zadowoliłem się na start Pi Zero. Mały, ale wariat - używam do PiHole oraz staram się podglądać co robi w nocy kot. Jak? A no tym prostym skryptem i kamerką podłączoną po USB.

#analiza_danych_koncepcje

11 Dimensionality reduction techniques you should know in 2021
11 metod na redukcję rozmiarów Twoich danych. Ale zmniejszenie wielkości to nie jedyne zastosowanie - przy redukcji wymiarów często odsłaniają się ukryte informacje

Newsletter Dane i Analizy, 2021-12-27

Mon, 27 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… w tym roku. Czy ten sam dowcip (o ostatnim numerze newslettera) działa dwa razy? Wątpię. Ale dobry suchar po całej masie pierogów, sałatek i ciast może okazać się zbawienny. Tak wiem - jest czerstwo, zatem zgodnie z planem ;-)

Przed Tobą ostatnia w tym roku dawka interesujących tekstów, nieco skromniejsza niż zwykle, ale liczę na to że również atrakcyjna.

#analiza_danych_koncepcje

How to Deal With Categorical Variable in Predictive Modeling
Jak radzić sobie ze zmiennymi kategorycznymi w danych? Kilka przydatnych metod

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-12-13

Mon, 13 Dec 2021 15:00:00 +0000

“Samo posiadanie danych nie wnosi jednak żadnej wartości dla biznesu. Spotkałam się z sytuacjami w firmach, w których były zbierane dane, ale nikt z nich nie korzystał. Po prostu było ich za dużo i były przetwarzane w niewłaściwy, lub ograniczony sposób” - znacie taką sytuację? Jest bardzo popularna. Mamy dużo danych i nie wiemy co z nimi zrobić. Polecam wywiad z Izą Wisłocką o big data i smart data w handlu.

Newsletter Dane i Analizy, 2021-12-06

Mon, 06 Dec 2021 15:00:00 +0000

Na Mikołajki przegląd internetu pod kątem danych, ich analiz i sposobów programowania oraz wdrażania zaprogramowanych rozwiązań.
Najciekawszym dla początkujących będzie pewnie zbiór ponad 200 tekstów zgromadzonych w jednym miejscu na różne tematy związane z machine learingiem (to prawdę mówiąc trochę jak spis treści jednego bloga), a bardziej doświadczeni dowiedzą się jak połączyć C++ z Pythonem. Są też ciekawe teksty o R (i Shiny), co się ostatnio dość rzadko zdarzało.

Skoro jesteśmy przy R - w piątek (10 grudnia) zaś konferencja WhyR? - rezerwujcie sobie czas, bo materiału sporo (co widać po zaplanowanych streamingach na YouTube). Więcej szczegółów na stronie imprezy 2021.whyr.pl

Newsletter Dane i Analizy, 2021-10-11

Mon, 11 Oct 2021 09:00:00 +0000

Top 5 Time Series Analytics
Learn about the top use-cases and techniques for time-series data Time is present in most of the data around us. From retail product sales data to financial stock price, to IoT sensor data, all have a notion of time in it. So mastering time-series analytics is going to make you master of the data science world The top 5 analytics which I will demonstrate here are Seasonality Detection to find (…)

Newsletter Dane i Analizy, 2021-09-27

Mon, 27 Sep 2021 09:00:00 +0000

t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python
Machine Learning t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python How to use t-Distributed Stochastic Neighbor Embedding (t-SNE) to visualize high-dimensionality data? t-SNE visualization with different perplexities. Gif image by author . Intro A successful data scientist understands a wide range of Machine Learning algorithms and can explain the results to (…)

Stawiamy własny serwer

Thu, 14 Jun 2018 11:29:30 +0000

Budujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW, PHP oraz bazami danych MySQL i PostgreSQL.

Opis środowiska
Zakupy
Konfigurujemy VPSa
R, RStudio i Shiny
Python i Jupyter
Subdomeny - konfiguracja
Dodatki
Koniec

Tym razem więcej administrowana serwerami, a mniej programowania i analizowania danych. Zbudujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW (aby móc prezentować wynik swoich prac).

Opis środowiska

W niniejszym wpisie przygotujemy serwer zbudowany na linuxie w dystrybucji Ubuntu z działającym na nim (i dostępnym przez przeglądarkę z dowolnego miejsca z internetem) RStudio. Serwer pozwoli nam też na budowanie i publikowanie aplikacji napisanych w Shiny. Przy okazji zainstalujemy Pythona razem z Jupyter Notebook (oraz JupyterLab) do wygodnej pracy. Całości dopełni baza danych PostgreSQL. Aby móc publikować swoje dzieła w formie bloga zainstalujemy PHP oraz bazy MySQL - być może zechcesz zainstalować WordPressa, a on tego wymaga. Do czego taka maszyna może się przydać? W zależności od wydajności:

Przewidywanie pogody

Thu, 12 Apr 2018 08:42:57 +0000

W poprzednim odcinku zebraliśmy dane o pogodzie w Polsce od 1951 roku. Dzisiaj przygotujemy prognozę pogody. Ale przede wszystkim nauczymy się weryfikować modele. Mając zgromadzone dane o pogodzie z ponad 60 lat (1951-2017) możemy pokusić się o prognozowanie temperatury w przyszłości. Wykorzystamy trzy (właściwie dwa) modele dostępne od ręki w popularnych bibliotekach R oraz zaprzęgniemy do prognozowania sieć neuronową. Zaczniemy od potrzebnych bibliotek:

library(tidyverse)
library(lubridate)
library(DBI) # pobieranie danych z bazy SQLite
library(forecast) # na potrzeby modeli ARIMA i ETS/STLF
library(keras) # na potrzeby LSTM w TensorFlow
library(corrgram) # wykres korelacji

Na początek pobieramy dane o średniej dziennej temperaturze wszystkich stacji w latach 2000-2016. Te dane potraktujemy jako dane treningowe. Dane z 2017 roku potraktujemy jako testowe.

LSTM - przewidywanie tekstu (sieci neuronowe, część 4)

Mon, 05 Mar 2018 12:52:35 +0000

Czy da się napisać tekst za pomocą sieci neuronowych? Skorzystamy (podobnie jak w przypadku sieci CNN w poprzednich częściach) z TensorFlow opakowanego w Keras. Załadujmy wiec potrzebne pakiety i ustalmy kilka stałych dla kolejnych elementów kodu:

library(tidyverse)
library(keras)
library(stringr)
library(tokenizers)

## stałe

# tekst źródłowy
book_path <- "Mroz-Kasacja.txt"

# sterowanie poniższymi parametrami może poprawić model (im więcej tym lepiej),
# na pewno ma wpływ na zapotrzebowanie na pamięć i czas

# parametry zbioru treningowego
maxlen <- 30 # wielkość okna
max_lines <- 2000 # ile linii tekstu bierzemy do treningu?

# parametry sieci
# co najmniej 20 epochów daje sensowne wyniki
EPOCHS <- 20
# liczba neuronów w sieci LSTM - co najmniej 128 daje fajne wyniki, 256 jeszcze fajniejsze
lstm_neurons <- 128

Za dane treningowe posłuży nam tekst jednej z książek Remigiusza Mroza o Chyłce i Zordonie (o poprzedniego wpisu gdzie analizowałem te książki zdążyłem przeczytać wszystkie części, a już za chwile kolejna część :) - Kasacja. Aby przyspieszyć cały proces wybierzemy tylko cześć tekstu (max_lines powyżej), co jednocześnie pozwoli na ograniczenie potrzebnej ilości pamięci.

MNIST dataset – sieci neuronowe, część 3 (sieć CNN)

Tue, 20 Feb 2018 11:19:42 +0000

Ciąg dalszy rozpoznawania pisanych ręcznie liczb. Potraktujemy obrazki jak obrazki (a nie jak wektory). Dla przypomnienia:

w zerowej części przygotowaliśmy zbiór danych (aby finalnie korzystać i tak z tego z Kaggle ;) i zobaczyliśmy jak wyglądają przykładowe liczby
w części pierwszej przygotowaliśmy modele w oparciu o XGBoost (najlepszy osiągnięty wynik to 87.1% trafności przewidywań) oraz o prostą sieć neuronową (FF, feed-forward) z wykorzystaniem pakietu nnet (najlepszy wyniki to 71.7%, ale liczone to było na fragmencie danych)
w części drugiej zainstalowaliśmy bibliotekę Keras wraz z back-endem w postaci tensorflow, poznaliśmy znaczenie współczynników loss, val_loss, acc oraz val_acc oraz przygotowaliśmy kilka modelów, z których najlepszy dał wynik około 97% poprawności rozpoznania liczb. Zrozumieliśmy (mam nadzieję) również logikę stojącą za budowaniem architektury sieci polegającą na składaniu kolejnych warstw jedna za drugą. Zobaczyliśmy również skąd mogą wynikać błędy klasyfikacji (te różne rodzaje czwórek rozpoznane jako dziewiątki na końcu tekstu)

W ostatniej dotychczas części cyklu traktowaliśmy dane o każdej z liczb w zbiorze uczącym jako wektor (czyli ciąg 784 liczb). Dzisiaj każdą liczbę potraktujemy poprawnie - jako obraz. Zaczniemy od wczytania pakietów oraz danych:

MNIST dataset – sieci neuronowe, część 2 (Keras)

Tue, 13 Feb 2018 10:34:35 +0000

Tym razem przygotujemy środowisko do pracy z Keras i rozpoznamy kilka liczb (ponownie jak poprzednio).

Instalacja Keras

Zaczniemy od instalacji. Potrzebujemy zainstalowanego Pythona na maszynie. W unixach (w tym odcinku korzystam z serwera EC2 w AWS) nie jest to problem, pod Windowsem można zainstalować go na przykład instalując Anacondę. Kolejny krok to przygotowanie R do pracy z Keras. Najpierw instalujemy bibliotekę keras:

install.packages("keras")

a następnie sam silnik:

library(keras)
install_keras()

Ta ostatnia funkcja ma trochę parametrów - między innymi odpowiedzialnych z zainstalowanie TensorFlow skompilowanego pod korzystanie z GPU (wykorzystanie kart graficznych do obliczeń - znacznie przyspiesza to cały proces, ale potrzebny jest stosowny sprzęt). Odpowiedni ich opis znajdziecie w dokumentacji. Szczegółową dokumentację Keras znajdziecie na stronie Keras.io. Proces instalacji nieco trwa za pierwszym razem, później jest już z górki. Przy instalacji na Windowsie może się coś pogryźć w Anacondzie (mi powstało drugie środowisko i trochę z tym trzeba powalczyć). Na maszynie EC2 (szczególnie t2.micro) może być okazać, że zabraknie pamięci (tak się stało dla sieci opisywanych poniżej). Rozwiązaniem jest zwiększenie wielkości tzw. swapu czyli wirtualnej pamięci, która tak na prawdę jest miejscem na dysku. Znalazłem odpowiednie obejście na niezastąpionym Stackoverflow. Stosujemy więc zwiększenie swapu, po resecie maszyny wszystko wraca do normy (chyba, że potrzebujemy pozostać przy powiększonym miejscu - odpowiednia zmiana opisana jest też na SO).