GitHub on Łukasz Prokulski, Dane i Analizy

Agenty kodują same przez 16 dni, a Ty projektujesz architekturę na lata

Mon, 10 Aug 2026 15:00:00 +0000

W tym tygodniu trudno przeoczyć jeden wątek: autonomiczne agenty kodujące przestają być eksperymentem. Alibaba opublikowało wyniki 16-dniowego autonomicznego sprintu modelu Qwen, a równolegle pojawiło się kilka solidnych materiałów o tym, jak praktycznie skonfigurować środowisko do pracy z Claude Code czy Codex CLI. Jeśli jeszcze nie myślisz o agentic coding jako o codziennym narzędziu, ten numer powinien zmienić Twoje podejście.
No i AI uciekła i zaczęła rozrabiać. Ale o tym pisały mainstreamowe media tu, tu oraz tu.

Agenty piszą CV, Atlassian zmienia Jirę, a Polars i DuckDB łączą siły

Mon, 20 Jul 2026 15:00:00 +0000

Cześć! Za nami finał piłkarskich mistrzostw świata, gdzie Argentyna mierzyła się z Hiszpanią. Niezależnie od wyniku i wczorajszych emocji, poniedziałkowy poranek w IT przynosi powrót do naszej technologicznej rzeczywistości. Oby Twój tydzień zaczął się bez pożarów na produkcji!

W tym tygodniu styk AI oraz codziennych procesów deweloperskich.

Coraz więcej narzędzi, na czele z odświeżoną Jirą od Atlassiana, stawia na głęboką integrację z agentami AI, Pojawiają się innowacyjne frameworki, które potrafią napisać CV, analizować ogłoszenia o pracę i przejść przez rekrutacyjne sito, Obok rosnącej roli modeli LLM, dużo mówi się o sztuce sprawnego kierowania zapytaniami do odpowiednich silników językowych.

Ponad połowa kodu z AI? Raport 2026 i symulatory Kubernetes

Mon, 08 Jun 2026 15:00:00 +0000

W tym numerze przyglądamy się gwałtownej profesjonalizacji świata AI, gdzie agenty przestają być tylko ciekawostką, a właściwie są fundamentem codziennej pracy programistycznej.

Analizujemy najważniejszy raport roku (State of AI 2026), z którego wynika, że już ponad połowa kodu produkcyjnego pochodzi z systemów AI, pokazujemy protokół MCP jako kluczowy standard łączący modele z infrastrukturą oraz zalety natywnych agentów głosowych, i sprawdzamy, jak pliki SKILL.md pomagają skalować wsparcie AI w wielorepozytorialnych środowiskach Enterprise.

DE w baseballu, stress-test OpenClaw oraz event-driven agents

Mon, 16 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Solidna porcja inżynierii danych — case study z BlaBlaCar i Zalando, pipeline’y na Kafce i Airflow, porównanie Databricks z Microsoft Fabric. Są też dwa teksty o dbt: jeśli wolisz polski i gotowiec do uruchomienia, przygotowałem szybki start jako repo na GitHubie — wrzuć, odpal, działa (przynajmniej u mnie ;-).

Dla lubiących konkrety: analiza modeli cenowych pięciu cloud data warehouse’ów, omówienie pułapki „iluzji prototypu" w wdrożeniach AI i kilka tekstów o semantic layer — w tym mój wpis z końca zeszłego roku, jeśli chcesz szerszy kontekst przed lekturą.

dbt i semantic layer? a może po raz kolejny agenci ai?

Mon, 09 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Czy Power BI umiera? A GitHub Actions zabija zespoły?

Mon, 23 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z inżynierią danych i automatyzacją: od debaty o przyszłości Power BI i praktycznych zastosowań DuckDB w pipeline’ach ETL, przez kontrakty danych w produkcji, aż po wzorce projektowe w PySparku.

W sekcji AI i agentów przyjrzymy się ograniczeniom vibe codingu i propozycjom nowej warstwy abstrakcji dla systemów agentowych.

Nie zabraknie także materiałów o architekturze (case study migracji Airbnb z monolitu), DevOps (optymalizacja GitHub Actions), MLOps (metryki predykcyjne incydentów) oraz praktycznych poradników – od konfiguracji tmux dla pracy zdalnej po budowę dashboardów AI w kilka minut.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Sporo "przydasiów" do Linuxa oraz LLMów

Mon, 01 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach zarządzania danymi i sztuczną inteligencją w środowiskach produkcyjnych. Przedstawiamy kompleksowe podejścia do integracji modeli językowych: orkiestrację wielu LLM za pomocą Spring AI oraz budowę niestandardowych pipeline’ów z LangGraph. Znajdziecie również porównanie platform MLOps (MLFlow, Metaflow, Kubeflow).

W obszarze Big Data i data engineeringu omawiamy kluczowe technologie i wzorce architektoniczne. Delta Lake jako warstwa transakcyjna dla Apache Spark, praktyczne wzorce współpracy zespołowej z DuckDB, dyskusja o przyszłości koncepcji data mesh oraz kompleksowe spojrzenie na ekosystem Big Data – od kolejek wiadomości po HDFS, czyli standardowy stack big data (nota bene - możesz mieć big data w domu - zapraszam do repo).

Jak wygląda "przerzucanie liczb z worka do worka" w ubezpieczeniach i przemyśle?

Mon, 24 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz solidną dawkę praktycznej wiedzy – od optymalizacji agentów AI w GitHub Copilot i dyskusji o tym, czy serwer MCP rzeczywiście jest Ci potrzebny, przez zaawansowane techniki pracy z DuckDB i porównanie narzędzi do przetwarzania 650 GB danych, aż po konkretne konfiguracje Nginx, Terraform i Kubernetes.

Często tutaj trafiają teksty związane/zachwalające DuckDB (dzisiaj też będą). Alibaba tymczasem opublikowała trzyczęściowy cykl, w którym dogłębnie analizuje wewnętrzne mechanizmy DuckDB. Na blogu znajduje się analiza kodu DuckDB pod kątem formatu plików, formatu przechowywania tabel oraz warstwy wykonawczej. Część pierwsza, druga i trzecia.

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Konkretne projekty z analizy danych (jak zawsze :)

Mon, 20 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych rozwiązaniach dla każdego etapu pracy z danymi - od modelowania i inżynierii cech przez optymalizację baz danych, aż po wdrażanie w produkcji.

Czeka Cię porównanie modeli predykcyjnych (typowe zadanie dla juniorów - wytłumaczone krok po kroku) i nowe możliwości DuckDB, które zastępują całe pipeline’y w Pandas. Znajdziesz też wyzwania związane z architekturą: jak budować skalowalne systemy danych od podstaw oraz gdzie naprawdę powinny znaleźć się kontrakty danych. Dla miłośników LLMów jest przewodnik po LangChain oraz LangGraph, praktyczną instrukcję budowy lokalnego systemu RAG oraz analizę gotowości foundation models do pracy z danymi tabelarycznymi.

Sporo Streamlit i tutoriali budowania Agnetów AI

Mon, 08 Sep 2025 15:00:00 +0000

Gdy jedni wciąż zastanawiają się, czy warto eksperymentować z agentami AI, inni już budują kompletne systemy analityczne z Pydantic-AI i Streamlit. Gdy niektóre zespoły mierzą się z podstawową konfiguracją Kafki, inne optymalizują przepustowość na poziomie miliona wiadomości na sekundę. Między innymi o tym dzisiaj.

Rewolucja agentów AI - od zera do działającego agenta z LangGraph, plus praktyczne połączenie Streamlit z Pydantic-AI do analizy danych. To nie są już tylko proof-of-concept, to konkretne narzędzia robocze.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-05-12

Mon, 12 May 2025 15:00:00 +0000

Przed Tobą starannie wyselekcjonowane materiały z całego internetu, które pomogą Ci być na bieżąco ze światem danych, AI i programowania. Z ponad 500 źródeł, które wpadły do sitka w tym tygodniu, wybrałem te najbardziej wartościowe i inspirujące.

W tym wydaniu znajdziesz sporo praktycznych materiałów o Pythonie - od łączenia z bazami danych, przez wielowątkowe przetwarzanie z Joblib, po kolejkowanie zadań z Procrastinate. Dla miłośników AI, LLMów i RAGów są teksty o budowaniu własnych systemów przetwarzania dokumentów oraz optymalizacji pipeline’ów RAG.

Newsletter Dane i Analizy, 2025-05-05

Mon, 05 May 2025 15:00:00 +0000

Tym razem, pomimo majówki, zebrałem specjalnie dla Ciebie kolekcję tekstów, które łączy jeden wspólny mianownik - praktyczność. Mniej teorii, więcej konkretów, które możesz zastosować już dziś w swojej pracy z danymi i kodem.

W świecie AI i ML możesz przyjrzeć się technikom monitorowania sieci neuronowych podczas treningu oraz implementacji autokoderów wariacyjnych z Keras. Oba teksty to solidne przewodniki, które pomogą Ci lepiej zrozumieć, co dzieje się “pod maską” Twoich modeli.

Newsletter Dane i Analizy, 2025-04-28

Mon, 28 Apr 2025 15:00:00 +0000

W tym tygodniu mam dla was wybuchową mieszankę materiałów - od głębokiego uczenia maszynowego i tutoriala pisania własnych RAGów, przez wizualizację danych geolokalizacyjnych, po optymalizację dashboardów.

Szczególnie chciałbym zwrócić waszą uwagę na serię artykułów poświęconych Apache Airflow i Kafce - dwa narzędzia, które stały się nieodłącznym elementem nowoczesnych potoków danych. Znajdziecie dzisiaj zarówno wprowadzenie do zmian wdrożonych w Airflow w wersji 3.0, jak i praktyczne informacje o tym jak pisać wydajne DAGi.

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-03-03

Mon, 03 Mar 2025 15:00:00 +0000

Kto, w podziale na grupy zawodowe, używa najwięcej AI? Ciekawa wizualizacja na ten temat, oparta na zapytaniach do Claude. Spoiler: 37.2% zapytań dotyczy komputerów i matematyki (w tym rozwoju oprogramowania), co raczej nie dziwi.

Zastanawiałeś się kiedyś nad przejściem z SQL na NoSQL? Artykuł “I Dropped SQL for NoSQL” opisuje, jak taka zmiana wpłynęła na wydajność aplikacji, obsługując pięciokrotnie większy ruch i dziesięciokrotnie szybsze zapytania. Jeśli jednak wolisz pozostać przy SQL, “3 Foundational Principles for Writing Efficient SQL” przypomina o podstawowych zasadach, które pomogą Ci pisać wydajne i czytelne zapytania.

Newsletter Dane i Analizy, 2025-02-24

Mon, 24 Feb 2025 15:00:00 +0000

Ciekawostka tego tygodnia to What’s in your stack: The state of tech tools in 2025, czyli spostrzeżenia 6500 profesjonalistów z branży technologicznej na temat ich ulubionych i najmniej lubianych narzędzi. Długi tekst, najciekawsze obserwacje:

Top narzędzia AI i ich wykorzystanie:

ChatGPT: 90% profesjonalistów używa go codziennie Claude: 35% używa do złożonych analiz Gemini: 24% wykorzystuje głównie do integracji z Google Workspace

Rewolucja w developmencie:

40% programistów regularnie używa GitHub Copilot 17% przeszło na Cursor (AI-natywne IDE) VS Code pozostaje królem z 48% udziałem (“Wiadomix!” - red.nacz.)

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-12-23

Mon, 23 Dec 2024 15:00:00 +0000

Im bliżej roku tym więcej podsumowań roku. Ale podsumowania były w zeszłym numerze (kto przegapił może zobaczyć do archiwum).

Dzisiaj zaś ze względu na zbliżające się święta mniej materiału niż zwykle. Bo trzeba odpocząć od komputerów, spędzić czas z najbliższymi, wyjść na spacer, porzucać się śnieżkami… no może tutaj się zapędzamy nieco (patrząc na prognozę pogody).
Odstawcie modele ML, dostawcie Python, Sparki i Kafki, zajmijcie się uszkami w barszczu i prezentami spod choinki. No, ewentualnie może być Pinot… ale bardziej Pinot Noir niż Apache Pinot.

Newsletter Dane i Analizy, 2024-11-18

Mon, 18 Nov 2024 15:00:00 +0000

Newslettery… czy wiecie, że tylko nieco ponad 1/3 newsletterów ma swój drugi numer? Co 10-ty newsletter (precyzyjniej: 11%) ukazuje się dłużej niż 10 numerów. A jednocześnie 23-krotnie wzrosła liczba newsletterów od 2019 roku na platformie Substack. Tak mówi źródło tych danych.

Nasz newsletter ma jakieś 3 lata (przynajmniej w redakcyjnym archiwum w serwisie Raindrop.io gdzie zebrane są wszystkie teksty jest tag #newsletter_2021-11-15), co by znaczyło jakieś 150 wydań. W archiwum, bo były czasy przed budowaniem archiwum (kilkanaście tygodni na pewno), ale tak starych ludzi już nie ma… :-)
Archiwum mówi też o ponad 3400 tysiącu tekstów 😮

Newsletter Dane i Analizy, 2024-09-30

Mon, 30 Sep 2024 15:00:00 +0000

Kiedyś robiłem analizę danych zbioru o taksówkach w Nowym Jorku (wpis na blogu sprzed lat), w R. Tam było kilka wykresów, ale nie było interaktywnej wizualizacji. A tutaj jest interaktywna wizualizacja (repo na GitHubie dla tych, którzy nie mają dostępu do Medium), w Pythonie z pakietem Bokeh. EDA też jest, w części pierwszej - warto zapoznać się z tą serią, pokazuje ten najbardziej żmudny etap pracy analityka danych czy też data scientisty.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-08-12

Mon, 12 Aug 2024 15:00:00 +0000

Używacie Postmana do współpracy z API? Na przykład do testowania własnych usług albo rozpoznawania cudzych? Poznajcie Bruno - alternatywę, w 100% offline i open soruce. Bruno jest oddzielną aplikacją (okienkową i w CLI) oraz dodatkiem do VSCode. Zamiast czytać możecie też zobaczyć kilkunastominutowe demo.

“Czego powinniśmy się spodziewać, a co jest tylko szumem medialnym? Jaka jest różnica między obietnicą tej technologii a praktyczną rzeczywistością?”. Najnowszy artykuł Stephanie Kirmer (Ekonomia generatywnej AI) przedstawia bezpośrednie, bezkompromisowe spojrzenie na biznesowe przypadki produktów AI oraz zadaje pytanie, o to jaki jest model biznesowy dla generatywnej AI, biorąc pod uwagę to, co wiemy dzisiaj o technologii i rynku?

Newsletter Dane i Analizy, 2024-08-05

Mon, 05 Aug 2024 15:00:00 +0000

W maju bieżącego roku ponad 65 tysięcy programistów odpowiedziało na coroczną ankietę StackOverflow dotyczącą kodowania, technologii i narzędzi, których używają i chcą się nauczyć, sztucznej inteligencji i doświadczenia programistów w pracy. Tutaj znajdziesz wyniki.

W sekcji poświęconej AirFlow znajdziecie porównanie tego narzędzia do orkiestracji zadań z Maestro od Netflixa. Tutaj znajdziesz repo z kodem do instalacji. Z kolei mocna dzisiaj sekcja DevOps zawiera kilka przydatnych narzędzi, nie tylko związanych z jako takim DevOpsem, ale też przydanych dla innych.

Newsletter Dane i Analizy, 2024-07-29

Mon, 29 Jul 2024 15:00:00 +0000

Po zakończonym turnieju piłkarskim czas na igrzyska olimpijskie. Tu przynajmniej Polacy mają większe szanse. Ale w dzisiejszym numerze newslettera znajdziecie coś o analizie (głównie jako przestawieniu wyników w graficznej formie) spotkań piłkarskich - rozkładzie gorących miejsc czy siatce podań.

W sekcji związanej z wizualizacją danych jest też tekst, który ma na celu inspirację. Jak pokazać dane biznesowe? A może coś widać po ich pokazaniu (trendy, kierunki w których należy działać?)? Zobacz koniecznie!

Newsletter Dane i Analizy, 2024-07-01

Mon, 01 Jul 2024 15:00:00 +0000

Razem z początkiem lipca zwykle w mediach rozpoczyna się sezon ogórkowy. Upały dają się we znaki, żar leje się z nieba (pozdrawiamy fanów “Hydrozagadki” oraz Asa!), jedyne o czym chce się myśleć to schłodzone napoje i leżenie w basenie.

Ale mimo tych przeciwności losu przed Wami kolejna porcja wiedzy w postaci ręcznie wybranych najlepszych tekstów o AI i ML plus okolicach związanych z przetwarzaniem danych jakie przewinęły się przez cały tydzień w różnych mediach czy też innych newsletterach.

Newsletter Dane i Analizy, 2024-03-11

Mon, 11 Mar 2024 15:00:00 +0000

Chłodzenie procesora - jak robi to inżynier? Jeden pójdzie do sklepu czy serwisu i po prostu kupi “mocne” chłodzenie, a drugi - poświęci “nieco” czasu na napisanie kodu zbierającego dane z różnych czujników, zbuduje dashboard w Grafanie i na podstawie tego co jest na wykresach odpowiednio “pokręci śrubkami”. Mamy o tym tekst dzisiaj, znajdziesz go w Ciekawostkach.

W sekcji o bazach danych znajdziesz coś o DuckdB (znowu… pewien Maciej podejrzewa że mam jakiś procent od DuckDB… ale to serio świetne narzędzie!) czytającym dane z Open Street Map, przy okazji o samym formacie danych OSM. DuckDB za darmo, OSM za darmo, czego chcieć więcej? Zerkaj w sekcję Bazy danych.

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2024-02-19

Mon, 19 Feb 2024 15:00:00 +0000

Ubiegły tydzień to nowość w postaci Sora od OpenAI - generowanie wideo z promptów tekstowych. OpenAI sporo pisze o technikaliach na swoich stronach. Najbliższy tydzień-dwa ubiegnie pod znakiem Sory, a jak otworzą dostęp szerzej… to się dopiero zacznie!

Oczywiście Google nie pozostaje w tyle i prezentuje swojego bliźniaka: Gemini, z którego można też korzystać via API (gdyby było inaczej nie miałoby to sensu w dzisiejszych realiach) oraz starają się nie tracić kroku na polu text-to-video ze swoim Lumiere.

Newsletter Dane i Analizy, 2024-02-12

Mon, 12 Feb 2024 15:00:00 +0000

Dzisiaj o zarabianiu pieniędzy bez wysiłku. Każdy by tak chciał, prawda?
Otóż istnieje na to sposób. Wystarczy mieć dużo odsłon filmików na YouTube - każdy nastolatek to wie, prawda? A jutuber czy inny influencer to zawód przyszłości, ten najbardziej wymarzony… przez nastolatków.
Ale przecież nie każdy ma czas kręcić te śmieszne filmiki, wymyślać ich tematy… Z pomocą przychodzi automatyzacja, tak jak pokazano tutaj. A tutaj repozytorium z kodem w Pythonie który robi całą robotę.

Newsletter Dane i Analizy, 2023-12-18

Mon, 18 Dec 2023 15:00:00 +0000

Witam w najprawdopodobniej ostatnim numerze newslettera w tym roku. W przyszłym tygodniu mamy Boże Narodzenie, w kolejnym Nowy Rok - to raczej nie są momenty na przygotowywanie paczki artykułów o ML czy programowaniu ogólnie, raczej czas który lepiej poświęcić rodzinie, najbliższym albo najzwyczajniej odpoczynkowi od komputera.

Korzystając więc z okazji że “czytamy się” ostatni raz w tym roku chciałbym Wam życzyć tego co najlepsze, a przede wszystkim spokoju i odpoczynku. A już od stycznia - nowych projektów, nowej wiedzy, zdobywania kolejnych umiejętności.

Newsletter Dane i Analizy, 2023-11-13

Mon, 13 Nov 2023 15:00:00 +0000

Za chwilę w świat pójdą pierwsze odcinki nowego podcastu przygotowanego przez zespół Big Data & AI PZU: #SilniwIT o technologiach. To seria, w ramach której rozmawiam (wspólnie z Tomkiem z zespołu Fabryki Sztucznej Inteligencji) z gośćmi o szeroko pojętej sztucznej inteligencji. Wypatrujcie postów na FB, LinkedIn i pewnie w przyszłym newsletterze - mam nadzieję, że jak na amatorów - daliśmy radę. Staraliśmy się ucinać korpo-gadkę, powinno być interesująco ;-)

Wcześniej możecie posłuchać podsumowania z pierwszej konferencji OpenAI (firmy, która stworzyła ChatGPT) dla developerów w podcaście Technofobia Artura Kurasińskiego.

Newsletter Dane i Analizy, 2023-11-06

Mon, 06 Nov 2023 15:00:00 +0000

Odcinek przeprowadzkowy, gdyż miniony tydzień (a nawet dwa) to jedno wielkie urwanie głowy. Cały tydzień minął mi pod hasłem “przeprowadzka”, a to jak pewnie możecie się domyślać czas spędzony na pakowaniu, na rozpakowywaniu i (co najgorsze dla pracownika umysłowego ;-) noszeniu paczek. Szczerze mówiąc jakieś 20, może 30 procent rzeczy trafiło do utylizacji. A niby człowiek sprząta i pozbywa się na bieżąco.

Ale nie poddajemy się i życie trwa, newsletter wychodzi, a żona dała radę też nagrać odcinek swojego programu o książkach (już z pustego mieszkania). Jeśli interesuje Was literatura to serdecznie polecam Znalezione przeczytane.

Newsletter Dane i Analizy, 2023-10-30

Mon, 30 Oct 2023 15:00:00 +0000

Dzisiaj trochę o mapkach, trochę o diagramach (takie diagram as a code tylko dlaczego BitBucket nie potrafi wyświetlić Mermaid (ticket w Atlassianie jest “solved”! Ale zobaczcie jak ;-), a GitHub robi to z palcem… to znaczy bez problemu?), a do tego sporo materiału video. Chyba też więcej niż zwykle treści po polsku (polecamy tekst Tomka Zielińskiego o transportowaniu danych - może się przydać na spotkania rekrutacyjne, ja lubię zadawać analogiczne pytania).

Newsletter Dane i Analizy, 2023-10-23

Mon, 23 Oct 2023 15:00:00 +0000

Lubię DuckDB i lubię AirFlow. Kafka jest naturalnym sposobem na przesyłanie danych między systemami czy też mikroserwisami. Stąd też dzisiaj kilka tekstów zahaczających o te wszystkie technologie.

Dodatkowo trochę z obszaru zarządzania - zarówno opis typowego projektu data science jak i metryka opisująca stabilność kolejki prac.

No i trochę o mapkach, bo mapki są fajne.

#ai_ml

Fully Explained Softmax Regression for Multi-Class Label with Python
Klasyfikacja do wielu klas - o co tutaj chodzi? Przewodnik dla początkujących

Newsletter Dane i Analizy, 2023-10-16

Mon, 16 Oct 2023 15:00:00 +0000

Dzisiaj dwa raporty o AI. Pierwszy to bardziej zbiór krótkich esejów… gdzie prawie każdy prowadzi do rozbudowanego notebooka z szerszym komentarzem, wykresami i - jak to w Kaggle bywa - kodem. W Kaggle, bo to AI Report 2023 od Kaggle właśnie.

Drugi raport to State of AI Report 2023 od Air Street Capital. To opublikowany już szósty raz roczny raport o stanie sztucznej inteligencji. Ponad 160 stron, obejmujących:

Badania: Przełomy technologiczne i ich możliwości Przemysł: Obszary komercyjnego zastosowania sztucznej inteligencji i jej wpływ na biznes Polityka: regulacje dotyczące sztucznej inteligencji, jej implikacje gospodarcze i ewoluująca geopolityka sztucznej inteligencji Bezpieczeństwo: identyfikacja i łagodzenie katastrofalnych zagrożeń, jakie mogą dla nas stanowić przyszłe wysoce wydajne systemy sztucznej inteligencji Prognozy: to, w co wierzymy, że się wydarzy, oraz przegląd wyników, aby zachować uczciwość

Newsletter Dane i Analizy, 2023-10-02

Mon, 02 Oct 2023 15:00:00 +0000

Tytuł dzisiejszy, o siatce tajnych powiązań wśród noblistów, nieco prowokacyjny - zobaczmy czy ma wpływ na open rate newslettera ;-). A o samej siatce powiązań przeczytasz niżej. Siatka, w której Rodzina Curie odgrywa znaczącą rolę (dobrze brzmi, jak Rodzina Corleone, co nie? ;-)

W sekcji poświęconej językowi R znajdziecie analizę przygotowaną w ramach #TidyTuesday, czyli cotygodniowych ćwiczeń dla analityków danych. Polecam tę serię jeśli chcesz poćwiczyć swoje umiejętności, a brakuj Ci pomysłów (ileż można w churn klientów, ceny domów ze zbioru Boston Housing albo rozpoznawanie cyferek z MNIST?). Zadania przygotowane są z myślą o R, ale - zadanie to zadanie, prawda? Narzędzia do rozwiązania dowolne.

Newsletter Dane i Analizy, 2023-09-04

Mon, 04 Sep 2023 15:00:00 +0000

Wiecie co jest największym problemem dla analityka danych w dużej organizacji? Jest ich kilka, ale podzielić można je na kilka obszarów:
znajdowanie danych zrozumienie danych uzyskanie dostępu do danych

Przeczytacie o tym w 5 Common Data Governance Pain Points for Analysts & Data Scientists

I jeszcze na to dochodzi podejście do organizacji zespołów zajmującymi się danymi. Centralnie? A może każdy osobno? O tym pisze SeattleDataGuy w Centralized vs Decentralized vs Federated Data Teams.

Newsletter Dane i Analizy, 2023-08-21

Mon, 21 Aug 2023 15:00:00 +0000

Kiedyś analizowałem sieć tramwajową Warszawy wprowadzając przy okazji pojęcia związane z grafami (takimi matematycznymi tworami) - dzisiaj znajdziecie tekst o podobnej analizie, ale sieci dróg (na przykładzie Krakowa i Polski, bo autor wywodzi się z AGH).

**W tym tygodniu opowiadam o AI i nie tylko.**Według zapowiedzi, w ramach wydarzenia Kto stoi za sztuczną inteligencją? na Facebooku opowiem trochę o tym, czy sztuczna inteligencja zastąpi kiedyś człowieka. Wydarzenie przygotowane jest przez Szkolną Giełdę Pracy, transmisja live odbędzie się w czwartek 24 sierpnia o 18:00.

Newsletter Dane i Analizy, 2023-05-08

Mon, 08 May 2023 15:00:00 +0000

Majówka, majówka i po majówce. Wypoczęci? Ja zwiedziłem z rodziną Trójmiasto, jestem zadowolony i o to właściwie w wypoczynku chodzi. Tylko dlaczego tak wieje nad morzem?

W dzisiejszym odcinku zaś szczególnie polecam książkę Françoisa Fleureta The Little Book of Deep Learning - sporo teorii o tym jak działa głębokie uczenie, różne typy warstw i w ogóle na czym ta cała sztuczna inteligencja polega. Książka wygląda na przyciętą formatem do ekranu telefonu - przyznam, że to interesujący pomysł (ale już go znamy z chociażby [reklama] Kart Data Science).

Newsletter Dane i Analizy, 2023-01-09

Mon, 09 Jan 2023 15:00:00 +0000

W pierwszym pełnym tygodniu nowego roku wracamy ze standardowym zestawem materiałów.

Jest więc coś o machine learningu (dobry jest tekst o YOLOv5, przede wszystkim pokazujący że nie tylko TensorFlow obowiązuje w domenie deep learning), sporo ciekawostek ocierających się o NLP i analizę tekstu. Jest gotowy przepis na pobieranie danych z Kafki i zapisywanie w Mongo.

Na koniec zapraszam na CuValley Hack! To trzecia edycja hackathonu organizowanego przez KGHM w ramach programu Dolina Miedziowa. To przyznam szczerze spełnienie mojej idei hackathonu: dane wprost z przemysłu i konkretne problemy (zobacz na stronie jakie są zadania) do rozwiązania.

Newsletter Dane i Analizy, 2022-11-07

Mon, 07 Nov 2022 15:00:00 +0000

Dzisiaj poniedziałek, ale w środę po południu przyjdzie do Ciebie mail z ankietą. To 6 prostych pytań, które pomogą w rozwoju newslettera. Dawno nie było ankiety, widzę statystyki tego co czytacie, ale statystyki to jedno, a odczucie prawdziwego czytelniak to drugie :) Ankieta sprowadza się do klikania, zajmuje 2-3 minuty, zachęcam do wypełnienia.

A dzisiaj jeszcze standardowo - dużo treści na przeróżne tematy :). Dzisiaj na prawdę dużo (drugie tyle czeka w garażu, mam przynieść?).

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2022-08-01

Mon, 01 Aug 2022 15:00:00 +0000

Dzisiaj nieco więcej materiałów z krainy “ops” w świecie “devops”. Warto znać obie ziemie, żeby nie mieć problemu chociażby z uruchomieniem kilku aplikacji (dockerowymi) pod różnymi ścieżkami na jednej domenie. Dlatego warto zajrzeć do tekstów o Nginx.

Ale sprawy związane z analizowaniem danych czy też ich przetwarzaniem w celu przewidywania przyszłości tradycyjnie też są na poniższej liście interesujących artykułów z minionego tygodnia.

#AI_ML

Czym jest i jak zbadać dryft modelu (model drift)?
Dryft modelu odnosi się do spadku wydajności modelu z powodu zmian danych i relacji między zmiennymi wejściowymi i wyjściowymi

Newsletter Dane i Analizy, 2022-07-25

Mon, 25 Jul 2022 15:00:00 +0000

Wakacje wakacjami, ale te kilka godzin poświęciłem specjalnie dla Was aby przygotować dzisiejsze wydanie newslettera.

Pamiętacie Wojny Rdzeniowe? Dla tych, którzy nie bardzo - ciekawy tekst (po polsku, co rzadkie tutaj ;) opowiadający historię tych… hmmm… konkursów? zawodów?

A gdyby tak przygotować wewnętrzne rozgrywki tego typu? Co o tym sądzicie? Piszcie!

Zamiast jednak programować można klikać. Jeśli ktoś jest zwolennnikiem no-code to pewnie zainteresuje się przeglądem platform tego typu przeznaczonych do zadań machine learningu.

Newsletter Dane i Analizy, 2022-07-11

Mon, 11 Jul 2022 15:00:00 +0000

Machine learning czy też sztuczna inteligencja to nie są czarne skrzynki które dają odpowiedź na każde pytania. Owszem - ML/AI daje odpowiedzi (lub nie) na konkretne pytania (trzeba umieć je postawić, ale też zaakceptować niepewność odpowiedzi) i - po setkach spotkań z biznesem - to wydaje się najtrudniejsze do zrozumienia. AI da odpowiedź na konkretne pytanie - czy na obrazku jest pies czy kot albo jaka zapewne będzie wartość takiego czy innego wskaźnika za dwa tygodnie (skoro ostatnie pół roku było tak). A oprócz tego wszystkiego - AI/ML wymaga sporo pracy, o czym możecie przeczytać w opracowaniu Machine Learning Operations (MLOps): Overview, Definition, and Architecture.

Newsletter Dane i Analizy, 2022-05-23

Mon, 23 May 2022 15:00:00 +0000

Dzisiaj delikatnie więcej tematów bliższych biznesowi niż IT - mierniki, jakość, zaangażowanie w pracę (to polecam każdemu). Dane i Analizy to też consulting tego typu rozwiązań - jeśli trzeba to zapraszam do kontaktu

Są też standardowo poradniki związane głównie z Pythonem i Big Data, ale znajdzie się też coś dla chcących zacząć poważniej pisać w Javie

#AI_ML

GreenLIT: Using GPT-J to Create Screenplays
Czy sztuczna inteligencja może pisać scenariusze filmowe?

Train XGBoost Models in Amazon SageMaker in 4 Simple Steps
Jak wykorzysać Amazon SageMaker do trenowania modeli w chmurze?

Sklep rozproszony

Tue, 26 Apr 2022 12:52:17 +0000

Od kilku lat zajmuję się przede wszystkim wymyślaniem jak coś ma działać, opisywaniem tego i oddawaniem do zespołu developerskiego. Głównie są to rzeczy związane z real-time’owym działaniem systemów wszelakich. I dzisiaj przykład takiego działania. Dodatkowo - próbowałem napisać kod tak, żeby był łatwy do rozbudowy.

O co chodzi?

Zbudujemy coś na kształt prostego sklepu internetowego. Całość będzie zbudowana w nowoczesny (a przynajmniej tak się mówi na konferencjach, a jest to właściwie jedyny słuszny) sposób, komponenty będą od siebie niezależne, a kod w zamyśle ma wspierać taką niezależność.

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).

Newsletter Dane i Analizy, 2022-04-11

Mon, 11 Apr 2022 15:00:00 +0000

Trochę mniej artykułów, ale jeden z nich to potężny kolos (ten o SHAP). Do tego bardzo fajne porady dla początkujących w Pythonie i ciekawe koncepcje w świecie big data (jakby ktoś chciał postawić klaster to jest o tym poradnik).

Zaś w przyszłym tygodniu zrobimy sobie przerwę świąteczną - polewajcie się wodą za tydzień (oby pogoda dopisała), a nie zajmujcie się komputerami. Wesołych Świąt!

#analiza_danych_koncepcje

Revisiting MNIST with Fresh Eyes
Każdy kto próbował machine learningu albo deep learningu (w szczególności sieci CNN) zetknął się ze zbiorem ręcznie pisanych cyfr MNIST. Tutaj inne podejście do znanego problemu

Newsletter Dane i Analizy, 2022-03-28

Mon, 28 Mar 2022 15:00:00 +0000

Połowa dzisiejszych materiałów to konkretne projekty związane z danymi. Albo wyciąganie informacji z rachunków z przejazdy Uberem, albo realtime’owe wizualizacje tego co co się zmienia w Wikipedii, albo big data w Big Query. Plus raport Stanford AI Index Report

#AI_ML

Is Facebook Prophet suited for doing good predictions in a real-world project?
Jak biblioteka Prophet do prognozowania szeregów czasowych sprawdza się w realnych zastosowaniach?

#analiza_danych_koncepcje

Stop using random forest feature importances
Skąd wiecie, że dana cecha jest istona w Waszym modelu? “feature importances” z lasów losowych ma pewne niedociąnięcia o których warto wiedzieć

Newsletter Dane i Analizy, 2022-03-14

Mon, 14 Mar 2022 15:00:00 +0000

Mam nadzieję, że wiosna nadchodzi wielkimi krokami, więc dzisiaj trochę lżejszy dobór tematów.

Koniecznie zobacz nagranie z webinaru u Vladimira o BI i ML!

Polecam też zainteresować się Mermaid - rozszerzeniem do Markdown pozwalającym rysować diagramy. Da się też eksportować je później do np. PDFów - istnieje odpowiedni dodatek do pandoc. A o Meramind wiem od Arjana i jego filmu.

#AI_ML

Business Intelligence z Machine Learning
Zapis ciekawego webinaru łączącego oba wspominane w tytule zagadnienia

Newsletter Dane i Analizy, 2022-02-21

Mon, 21 Feb 2022 15:00:00 +0000

Dzisiaj sporo rzeczy związanych z Wordle - bo to jest świetny poligon doświadczalny na analizę danych i kombinatorykę, ale też ciekawe są wyniki tego jak ludzie grają w tę grę (poniżej link do artykułu na ten temat).

Świetny jest też tekst Maćka Jak wykryć phishing.

Dla początkujących adeptów Pythona kilka solidnych podstaw - warto prześledzić wszystko z dzisiejszej sekcji #python_junior.

#AI_ML

Create an ML Powered Prediction Service in Minutes
Prosty i szybki sposób na umieszczanie modeli machine learningowych na produkcji

Newsletter Dane i Analizy, 2022-02-07

Mon, 07 Feb 2022 15:00:00 +0000

Dzisiaj lajtowo, ale najbardziej polecam coś co mogliście przegapić wczoraj na fanpage’u - wideo o tym jak pomóc sobie grając w Wordle albo raczej jaka matematyka stoi za wyborem kolejnych słów. Jest też kod w repo.

#analiza_danych_projekty

Topic Modeling and Latent Dirichlet Allocation (LDA)
O czym są poszczególne tekstów w zbiorze tekstów? “Topic modeling” oparty o LDA pozwala to określić, a ten tekst wprowadza w zagadnienie na przykładzie kodu w Pythonie

#big_data

DARWIN: Data Science and Artificial Intelligence Workbench at LinkedIn
Jak LinkedIn buduje swoją platformę danych i ich analiz?

Newsletter Dane i Analizy, 2022-01-10

Mon, 10 Jan 2022 15:00:00 +0000

Koniec przerw świątecznych, koniec długich weekendów, czas wracać do pracy.

Dla mnie osobiście rok zaczął się zabawą z Raspberry Pi i próbwaniem co to cudo potrafi. Nigdzie nie ma Raspberry Pi 4, więc zadowoliłem się na start Pi Zero. Mały, ale wariat - używam do PiHole oraz staram się podglądać co robi w nocy kot. Jak? A no tym prostym skryptem i kamerką podłączoną po USB.

#analiza_danych_koncepcje

11 Dimensionality reduction techniques you should know in 2021
11 metod na redukcję rozmiarów Twoich danych. Ale zmniejszenie wielkości to nie jedyne zastosowanie - przy redukcji wymiarów często odsłaniają się ukryte informacje

Newsletter Dane i Analizy, 2022-01-03

Mon, 03 Jan 2022 15:00:00 +0000

Dzisiaj kilka tematów “pokrytych” nie tylko jednym tekstem. Mamy więc coś o modelach BERT plus automatycznie tworzenie tekstów przez GPT-3, mamy wizualizacje danych na mapach (w R i Pythonie). Mamy też cykl, który pozwoli na napisanie bota do np. CS:GO.

Na blogu od dawna nie było nowego tekstu (stąd podlinkoway niżej tekst o GPT-3 ;), ale jakieś rzeczy robię i publikuję. Zwykle jest tak, że energia opada po przygotowaniu działającego kodu. Tak jest z serwowaniem obrazków przez API (przy okazji te obrazki się generują) - sami zobaczcie do repozytorium.

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Newsletter Dane i Analizy, 2021-10-04

Mon, 04 Oct 2021 09:00:00 +0000

MLOps with Docker and Jenkins: Automating Machine Learning Pipelines
How to containerize your ML models with Docker and automate a Pipeline with Jenkins

Performing Deduplication with Record Linkage and Supervised Learning
Identifying duplicate records with a machine-learning approach Introduction Most data are recorded manually by humans and most often is not reviewed, not synchronized, and simply because there were mistakes made such as typos. Think for a second, have you ever filled out the same form twice before but with a slight difference in your address? For example, you submitted a form like this (…)

Newsletter Dane i Analizy, 2021-08-23

Mon, 23 Aug 2021 09:00:00 +0000

Scala is like Python 4
Although it’s fundamentally closer to Java, Scala has clearly taken a lot of influence from Python in terms of style and functionality. As someone who has written Python code for ~7 years now, playing around with Scala feels surprisingly familiar, but it’s more akin to using a statically typed and compiled version of Python 3. Obviously, they’re very different languages, b ut if you’re an (…)

Newsletter Dane i Analizy, 2021-08-16

Mon, 16 Aug 2021 09:00:00 +0000

5 Popular Machine Learning algorithms
Machine Learning Source: Image by GDJ on Pixabay A machine learning algorithm is conceptually similar to any other algorithm in computer science. An ML algorithm is a data-driven process that is used to create a production-ready machine learning model. If you consider machine learning to be a train for accomplishing a job, then machine learning models are the engines that push the train. The (…)

Newsletter Dane i Analizy, 2021-07-26

Mon, 26 Jul 2021 09:00:00 +0000

Ocena modeli klasyfikacyjnych - od tablicy pomyłek do F1 - Data science in pl
Zrozumieć modele klasyfikacyjne. Tablica pomyłek, czułość, swoistość precyzja i F1 - opis i intuicyjne przykłady.

Word Embedding Techniques: Word2Vec and TF-IDF Explained
The words need to be made meaningful for machine learning or deep learning algorithms. Therefore, they must be expressed numerically. Algorithms such as One Hot Encoding, TF-IDF, Word2Vec, FastText enable words to be expressed mathematically as word embedding techniques used to solve such problems. (…)

Analiza polskiego crowdfundingu na bazie Patronite.pl

Sun, 30 Aug 2020 15:45:49 +0000

Zebrałem informacje o ponad 1700 profilach na Patronite.pl - wiem ile zarabiają, ilu mają patronów i za co patroni płacą. Dzielę się tymi informacjami z Wami w - być może - największej analizie polskiego crowdfoundingu!

Patronite zgodnie z informacją na Wikipedii to założony w 2015 roku serwis wspomagający pozyskiwanie finansowania przez osoby twórcze. Podstawową formą działalności portalu jest pomoc w zdobywaniu comiesięcznego wsparcia od osób indywidualnych i instytucji.

Dla czystości tekstu pełny kod źródłowy znajdziecie w repozytorium

(Inteligentne) Raporty na żądanie

Wed, 07 Aug 2019 20:17:22 +0000

Dzisiaj przygotujemy narzędzia do automatycznego generowania raportów, które będzie (quasi) inteligentnie odpowiadać na pytania zadane przez email.

Czyli jak pozbyć się upierdliwej pracy (i zająć się czymś innym)

Uwaga: wraz z aktualizacją pakietu gmailr do wersji 1.0 prezentowany poniżej kod związany z logowaniem do konta może nie działać. Przeczytaj proszę informacje o tym jak to zmienić Kod na GitHubie powinien być ok.

Problem z jakim można się często spotkać w korporacjach to wysyłanie tych samych raportów mailem. Wyobraźmy sobie taki scenariusz:

Najpopularniejsze imiona dzieci nadane w 2018 roku

Tue, 05 Mar 2019 16:07:11 +0000

Niedawno Ministerstwo Cyfryzacji opublikowało listę najpopularniejszych imion nadawanych dzieciom w 2018 roku. Wykorzystamy to do połączenia Pythona z R (albo R z Pythonem).

Lista opublikowana została w postaci serii tekstów na stronach Ministerstwa, w formie całkowicie niezjadliwej. Co więcej - prasa podała informacje dalej, bez żadnego obrobienia tych danych. Zróbmy to więc jak należy przy okazji łącząc R i Pythona.

Aby móc w RStudio używać Pythona oraz mieć dostęp do obiektów Pythona w sesji R potrzebujemy biblioteki reticulate - polecam się z nią zapoznać. Daje ciekawe możliwości, które właśnie za chwilę zobaczymy na konkretnym przykładzie.

Analiza wykopalisk z głównej strony Wykop.pl

Wed, 12 Dec 2018 09:15:47 +0000

Czy Wykop to obraz całego świata czy tylko specyficzny dla społeczności wycinek? Co cieszy się największym powodzeniem? Wykop to serwis tworzony przez użytkowników. Każda informacja jest dodawana, oceniana i komentowana przez społeczność. Te najciekawsze (z największą liczbą wykopów, czyli głosów pozytywnie oceniających dodane znalezisko) trafiają na stronę główną. Analizą tego co trafiło na główną stronę Wykopu się zajmiemy. Kiedyś była taka analiza (Statystyki wykopu z lat 2005-2017), ale nowszej nie znalazłem. Sporo takich materiałów przewija się przez Reddit o Reddicie. Dlaczego więc, nie zrobić tego samego dla naszego polskiego odpowiednika? Dane zostały zebrane wieczorem 2 grudnia 2018 roku, tylko z pierwszych trzech tysięcy stron strony głównej serwisu. Świetnie byłoby mieć dane o każdym znalezisku, o tym kto zagłosował na plus, kto na minus. Tych danych byłoby bardzo dużo, ale nie chciałem ich zbierać. Zajęło by to dużo czasu, jeszcze więcej zajęła by obróbka, a mam inne rzeczy do roboty. Początkowo analiza ta miała być wprawką do nauki Pythona, ale stanęło (jak zwykle) na R. W Pythonie napisałem skrypt scrappujący dane. Skrypty (jakieś szczątkowe) i zebrane dane znajdziecie na moim repo. Zacznijmy od liczby znalezisk wpadających na stronę główną. Widzimy, że liczba ta jest mniej więcej stała i jest to średnio około 65 znalezisk dziennie (max to 156 - 19 grudnia 2015, minimum to 31 z 11 czerwca 2016 roku). Rozkład jest ładny, symetryczny, taki Gauss prawie. Znajdźmy absolutne hity - czyli znaleziska najwyżej wykopane: Aby było łatwiej je przeglądać (i dowiedzieć się o czym są - na podstawie opisów dodanych przez zgłaszających) poniżej tabela z bardziej szczegółowymi informacjami:

Wycieczki do Grecji

Fri, 30 Nov 2018 16:47:06 +0000

Ile kosztuje wycieczka do Grecji? Czy last minute jest opłacalne i kiedy cena zaczyna spadać? Jak znaleźć najbardziej atrakcyjne miejsce na wypoczynek (w Grecji)? Jakiś czas temu analizowałem raporty publikowane przez Polski Związek Organizatorów Turystyki. Z analizy wyszło, że najchętniej jeździmy na wypoczynek do Grecji (tak było w drugiej połowie 2017 roku). Postanowiłem więc sprawdzić ile kosztuje taki wyjazd.

Zebranie danych

Aby cokolwiek analizować trzeba mieć dane. Jeśli nie mamy dostępu do baz oraz nie możemy (albo nie chcemy) ich kupić to można pokusić się o ich zebranie z sieci. Założeniem tego bloga jest to, aby kolejne analizy przygotowywać bez opłat (nie licząc czasu i kosztów typu serwery), zatem dane weźmiemy sobie sami.

Google Analytics w R

Wed, 26 Sep 2018 16:16:34 +0000

Google Analytics to chyba najpopularniejszy sposób mierzenia ruchu na stronach internetowych. Można bardzo dużo wyklikać w panelu, ale może zaistnieć potrzeba pobrania danych statystycznych do analiz, których GA nie daje. Dzisiaj dowiesz się jak zrobić to w języku R. Jak większość zadań, tak samo i to ma pomocny pakiet. Jak można się podziewać pakiet nazywa się RGoogleAnalytics i dostępny jest poprzez instalację z GitHuba:

devtools::install_github("Tatvic/RGoogleAnalytics")

Załadujmy więc go do R (razem z innymi pakietami) i do dzieła:

Kto pisze teksty przemówień prezydenta Dudy?

Thu, 20 Sep 2018 16:13:07 +0000

Pytanie tytułowe jest nieco przewrotne. Sprawdzimy czy wystąpienia są do siebie podobne, a przede wszystkim dowiemy się jak to zrobić. Nazwisk autorów wystąpień nie podam… Niniejszy tekst to fragment (ale rozbudowany i zmodyfikowany) mojej prezentacji z konferencji “Machine Learning @ Enterprise”. Całość prezentacji z odpowiednimi skryptami znajdziecie na GitHubie. Dzisiaj skorzystamy z bibliotek:

library(tidyverse) # wykresy i manipulacja danymi
library(data.table) # dla fread - szybkie wczytywanie plików CSV
library(lsa) # dla cosine()
library(Rtsne) # implementacja t-SNE w R
library(plotly) # interaktywne wykresy
library(tidytext) # do manipulacji tekstem
library(wordcloud) # chmurki słów
library(lubridate) # manipulacja datami
library(rvest) # do pobierania danych z www
library(glue) # wygodne sklejanie ciągów znaków

W pierwszym kroku potrzebujemy wypowiedzi Andrzeja Dudy. Na szczęście wszystko jest podane na tacy na oficjalnej stronie prezydenta, a jedyne czego potrzebujemy to wyłuskać teksty. Do tego celu przygotujemy kawałek kodu:

Zmiany w Polsce a głosowanie w ONZ

Fri, 17 Aug 2018 11:45:37 +0000

Czy zmiany w Polsce (koniec PRL, wstąpienie do NATO i UE) mają odzwierciedlenie w głosowaniu w Zgromadzeniu Ogólnym Organizacji Narodów Zjednoczonych? Kto jest (a kto był) naszym przyjacielem a z kim nam nie jest po drodze? Dzisiejszy wpis to sporo kodu (dość prostego, często powtórzonego - nie programujcie w ten sposób!), a całość podzielić można na kilka części:

opis użytych narzędzi - dwa nowe (na blogu) pakiety: widyr oraz unvotes
przygotowanie danych do dalszej pracy

Właściwa analiza zaczyna się od

Gdzie są sklepy, drogi czy cokolwiek innego?

Fri, 10 Aug 2018 18:49:05 +0000

Zastanawialiście się skąd wziąć listę wszystkich miejsc danego typu - na przykład przedszkola w Warszawie - i narysować je na mapie? Jeśli tak, to z tego postu dowiesz się jak to zrobić. Wpis techniczny, żadna tam analiza. Ale są mapki! Macie świadomość, że istnieje coś takiego jak Wikipedia, prawda? Zbiór haseł uzupełniany przez ochotników. Istnieje coś podobnego dla map i nazywa się Open Street Map. Ludzie z całego świata dodają informacje o różnych obiektach na mapach - budują drogi, stawiają domki i tak dalej. Dane te można pokazać jako mapy, ale też przeszukiwać. W R mamy pakiet osmdata (przygotowany przez zacną inicjatywę rOpenSci, a jest opakowaniem dla Overpass API), który umożliwi nam skorzystanie z tych informacji. W dalszej części do pokazania (na interaktywnych, przesuwanych i skalowanych) map użyjemy pakietu leaflet (opierający się na bibliotece JavaScript Leaflet, który nota bene również korzysta z Open Street Map. Ciekawostka na marginesie: ostatnio Google zmienił drastycznie ceny używania Google Maps (ciekawy tekst na ten temat znajdziecie tutaj), zatem korzystanie z Open Street Map może być wybawieniem. Zaczniemy od wczytania odpowiednich bibliotek:

Dziewczyny z Sympatii - co widać na zdjęciach?

Mon, 30 Jul 2018 16:34:30 +0000

Było już o kobietach z Sympatii (i o panach), ale wszystko to było na podstawie informacji zawartych w profilu. Dzisiaj sięgniemy nieco głębiej. Zbierając profile zebraliśmy też linki do zdjęć. Korzystając z microsoftowego Cognitive services Face API pobieramy cechy jakie udaje się rozpoznać na zdjęciach. Między innymi są to informacje o:

wieku
płci
okularach
kolorze włosów
emocjach jakie wyraża twarz, na przykład czy osoba na zdjęciu się uśmiecha

W dużym uproszczeniu Face API to bramka do wytrenowanego modelu (zapewne sieci neuronowej). Wrzucamy zdjęcie, a w odpowiedzi dostajemy kilka parametrów, które są wynikiem porównania zdjęcia z tym czego sieć się nauczyła. Skrypt (jaki inne z tego cyklu) znajdziecie na githubie. Pobrałem tylko dane dla zdjęć pań, nie będzie odpowiednika tego samego wpisu dla panów. Zobaczmy co sztuczna inteligencja wyczytała ze zdjęć i jak to się ma do informacji podawanych w profilach przez ich właścicielki.

Dziewczyny z Sympatii

Fri, 06 Jul 2018 08:49:38 +0000

Ponad 1/3 kobiet na Sympatii szuka miłości. Chce się zakochać, wyjść za mąż i mieć dzieci. Jest czuła i towarzyska. A w dodatku małżeństwo jest dla nich bardzo ważne. Ich partner powinien być czuły, romantyczny i dowcipny. Powinien lubić spędzać czas w restauracji a nie na karaoke czy w operze. Koniecznie musi lubić podróżować! Na chyba, że chodzi o przygodę - wówczas wystarczy dowcipny. Jakie są dziewczyny z Sympatii? Czego szukają? Tym razem wpis z wykresami, a kody źródłowe znajdziecie na moim GitHubie. Krótko mówiąc:

R-base, R-dplyr, R-data.table i Python

Wed, 23 May 2018 15:44:07 +0000

Podstawy manipulacji danymi w tabelkach. W R (trzy wersje) oraz w Pythonie. Bo to pierwszy post z cyklu idziemy w stronę Pythona. W dzisiejszym wpisie zajmiemy się podstawowymi operacjami na tabelach (data frame) z danymi. Dlaczego to jest ważne? Są to najczęściej wykonywane operacje w trakcie analizy danych, bo przecież:

dane trzeba wczytać do komputera
czasem zmodyfikować, na przykład policzyć wartość na podstawie dwóch lub więcej kolumn
wybrać określone wiersze lub określone kolumny
połączyć jedną tabelę z inną

Z tak przygotowanych danych można później na przykład narysować wykres czy też wrzucić je do modelu. I to jest wystarczające, na co dowodem jest pewnie z 70% moich wpisów z ostatnich 12 miesięcy (albo i więcej). Kolejne 20% wpisów to sposób pozyskania danych. 10% było pewnie o modelach wszelakich. Osobiście uważam, że w R nauczyłem się na tyle dużo, aby przejść na kolejny poziom. W pracy są to aplikacje w Shiny czy też panele w wykorzystaniem flexdashboard (znowu: w obu przypadkach 70% pracy to manipulacja danymi w tabelkach), ale ciągnie mnie do Pythona. Gdybym zaczynał przygodę z machine learning czy data science to wybrałbym Pythona. Jednocześnie mam nadzieję, że dla osób znających jeden z języków niniejszy wpis będzie ciekawym wprowadzeniem w drugi język. Jeśli chodzi o R to zobaczymy jak wykonać podstawowe operacje wykorzystując standardowe możliwości R (R-base), wykorzystując pakiety dplyr (wchodzący w skład ekosystemu tidyverse) oraz data.table. W przykładach dla Pythona będzie to pandas. Dlaczego data.table? Porównanie prędkości pokazuje, że dla bardzo dużych tabel data.table jest najszybszy. Zaczniemy od wczytania odpowiednich bibliotek. W R oczywiście:

A lato było cieplejsze...

Tue, 27 Mar 2018 10:22:04 +0000

Czy w Boże Narodzenie zawsze brakowało śniegu? Czy klimat się ociepla? Jak ciepło przepływa przez Polskę? Dzisiaj zajmiemy się pogodą. Sporo ciekawych zagadnień przed nami:

Skąd wziąć dane o pogodzie w Polsce?
Pory roku na przestrzeni lat - czy wiosna przychodzi szybciej? A może lat trwa krócej?
- zobaczymy procentowy podział dni w roku na poszczególne pory roku (ile było dni wiosennych, a ile zimowych)
- czy wiosna przychodzi coraz szybciej - jak kształtowała się temperatura w marcu na przestrzeni lat?
Czy klimat się ociepla?
- jak wyglądały różnice w temperaturze na przestrzeni lat
- czy poszczególne miesiące są coraz cieplejsze lub zimniejsze?
- podobnie dla kolejnych dni - jak wyglądała liczba dni cieplejszych i zimniejszych niż średnia?
Czy jest różnica miedzy temperaturami w kraju?
- przygotujemy animowane mapki temperatury dla 2017 roku
A kiedyś to było…
- Boże Narodzenie ze śniegiem
- w Lany Poniedziałek było cieplej

Pobranie danych

Zanim przejdziemy do analizy potrzebujemy danych o pogodzie. Zgodnie z ustawą o dostępie do danych publicznych IMGW udostępnia dane historycznie na stronie https://dane.imgw.pl/. Dane aktualne są dostępne poprzez API, ale dane historyczne spakowane już niestety nie. Dostępne są w postaci spakowanych plików CSV, podzielone na kilkanaście katalogów. Do wszystkiego da się jednak dobrać. Aby skorzystać z tych zasobów należy każdy plik (archiwum) pobrać, rozpakować i wyciągnąć z niego dane. Aby nie operować na dużej liczbie plików przepiszemy je do bazy danych (w tym przypadku będzie to plikowa baza SQLite, chociaż może być dowolna - mySQL, PostgreSQL). Skrypt przepisujący dane znajdziecie na moim githubie (jak i pozostałe poniżej zaprezentowane kody).

Diagnoza, Wataha czy Belfer?

Fri, 29 Dec 2017 10:32:30 +0000

Który jesienny serialowy hit był najczęściej komentowany w 2017 roku? Jakie to były komentarze? Dzisiaj, w ostatnim poście w tym roku, zajmiemy się polskimi serialami z jesiennej ramówki. Na warsztat weźmiemy trzy tytuły: Diagnozę od TVN, Belfra od Canal+ oraz Watahę od HBO. Zobaczymy jak wyglądała obsługa seriali na Facebooku i jakie towarzyszyły im komentarze. Uwaga: post (lub informacje na wykresach) mogą zdradzać fabułę seriali! Kod jest na tyle uniwersalny, że wystarczy podać inne nazwy fanpage’y w części wczytującej dane aby uzyskać podobną analizę dla innych facebookowych stron - na przykład dla partii politycznych.

Przez losowy las Spotify

Sun, 10 Dec 2017 10:16:32 +0000

Czy machine learning może pomóc w poszukiwaniu ulubionej muzyki? Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Już kiedyś o tym było w oparciu o LastFM, dzisiaj będzie w oparciu o Spotify. Taki szybki wpis. Na początek potrzebujemy kilku elementów:

własnej aplikacji współpracującej z API Spotify - zbudować ją można zaczynając z dashboardu Spotify, potrzebujemy numerku client_id i client_secret
te numerki wpisujemy do zmiennych o tych samych nazwach i zapisujemy sobie lokalnie (żeby nie przechowywać ich w kodzie) w pliku spotify_cred.rda. W bardzo prosty sposób: save(client_id, client_secret, file = "spotify_cred.rda")
następnie budujemy kilka funkcji, których będziemy używać. Kod jest długi, nie warto go tutaj zamieszczać - znajdziecie go na GitHubie (swoją drogą jest tam nieco więcej funkcji niż potrzeba, ale nie wszystkie skończone i działające)

Uzbrojeni w taki zestaw zaczynamy od pozyskania tokenu:

Wino

Thu, 23 Nov 2017 09:01:52 +0000

Jakie wina sprzedają się najlepiej? Czy Polacy lubią wino czerwone czy białe? Słodkie czy wytrawne? Jak wybrać wino dobre i tanie? Dane na potrzeby analizy pobierzemy ze sklepu internetowego. Odpowiedni skrypt (i pobrane dane) znajdziecie w repo na GitHubie, w pliku get_data.R. Skrypt jest dość długi, nie wnosi niczego ciekawego do samej analizy. Po zebraniu danych możemy przystąpić do EDA (eksploracji danych). Potrzebujemy właściwie tylko pakietu tidyverse (od zaktualizowanej kilka dni temu wersji w skład ekosystemu wchodzą stringr i forcats; w przyszłości przydałoby się jeszcze lubridate dla kompletu). Wczytujemy więc zapisane dane, lekko je modyfikujemy (ze względu na późniejszą kolejność i porządek na wykresach).

Jak nauczyć się R? Co czytać?

Wed, 30 Aug 2017 14:09:36 +0000

W listach pytacie o źródła wiedzy dotyczącej R. Dzisiaj kilka linków. Na początek agregaty, które mogą okazać się wystarczające:

R Bloggers - platforma zbierająca treści z wielu blogów
Revolution Analytics
Data Science Central - platforma blogowa dla dłubiących w BigData

Warto śledzić też blogi poszczególnych osób:

Julia Silge to współautorka pakietu tidytext (i jednocześnie data scientist w Stack Overflow)
Variance Explained - blog drugiego współautora tidytext
blog Maëlle Salmon, który kiedyś dodałem do RSSów (trafiłem pewnie w poszukiwaniach czegoś konkretnego albo z r-bloggers)

Jednym z lepszych miejsc jest cała domena związana z RStudio i poszczególne jej subdomeny, przede wszystkim blog RStudio oraz RViews. W ramach RStudio znajdziecie też dużo informacji o poszczególnych pakietach - strona zbiorcza jest tutaj. Z polskich blogów szczególnie polecam dwa:

Lista Przebojów Trójki

Fri, 25 Aug 2017 22:05:45 +0000

Lista Przebojów Trójki to chyba najpopularniejsza lista przebojów w Polsce, a z pewnością najstarsza. Zobaczmy czego możemy się dowiedzieć z całej jej historii. Potrzebne będzie kilka pakietów R (do pobrania danych dodatkowo rvest):

library(tidyverse)
library(lubridate)

library(ggrepel) # dla ładnego umiejscowienia labelek na wykresach

Pobranie danych

Skorzystamy z archiwum Listy Trójki zebranym na stronie LP3.pl - klikając w kolejne numery notowań po prawej stronie widzimy, że zmienia się adres strony według schematu http://www.lp3.pl/alpt.phtml?m=1&nn=XXX gdzie XXX to kolejny numer (niekoniecznie notowania). Trzeba znaleźć największy numer (najnowsze notowanie) i przejść przez kolejne strony (kolejne XXX od jeden do tej największej liczby). Analiza kodu HTML strony pozwala na wybranie odpowiednich jej fragmentów i tym samym zgromadzenie danych. Szczegółowym kodem nie będę zamęczał - znajduje się na GitHubie. Pojawiają się pytania od Was jak scrappować strony - być może przygotuję o tym kiedyś dedykowany wpis techniczny (choć wolę przygotowywać analizy :). Dane zapisałem w pliku lokalnym. Swoją drogą na LP3.pl znajdziecie część z poniższych analiz.

Zmiany temperatury w czasie - animowany wykres kołowy

Thu, 10 Aug 2017 08:12:44 +0000

Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić. Wspomniany filmik to

Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs. Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz - w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj. Dodatkowo instalujemy pakiet RGoogleAnalytics:

Ekstraklasa - analiza

Tue, 11 Jul 2017 14:50:21 +0000

Zaczynamy nową serię - analizę i przede wszystkim przewidywania dotyczące rozgrywek w ramach piłkarskiej Ekstraklasy. Cykl będzie składał się z trzech części:

w pierwszej przeprowadzimy analizę danych z historycznych rozgrywek na podstawie wyników meczów z sezonów 2008/09 do 2016/17
w drugiej części spróbujemy znaleźć model, który pozwoli na symulację rozgrywek oraz sprawdzimy jego skuteczność
zaś w ostatniej części - przygotowanym modelem wytypujemy wyniki na nadchodzący sezon 2017/18

Zapowiada się ciekawie, zatem do dzieła! Tym razem będzie bez kodów R w treści posta, wszystkie zaś dostępne są na moim GitHubie. Historyczne dane pobrałem ze strony Historia Polskiej Piłki Nożnej, stosowny skrypt na GitHubie nazywa się load_table.r. Dane zawierają informację o dacie meczu (i sezonie w którym mecz został rozegrany), drużynach i wyniku. Niestety nie znalazłem łatwych do zaadoptowania wyników z np. minutami meczu w których padają bramki - przez to analiza będzie nieco uboga. Ale może ciekawa? Na początek zobaczmy czy własne boisko sprzyja wygranej? Uwaga - są to dane uśrednione ze wszystkich sezonów, jeśli Legia grała z Wisłą Kraków u siebie (grała 13 razy) to liczymy średnią liczbę bramek zdobytą przez oba zespoły i to traktujemy jako wynik takiego super-meczu.

Maszynka do czytania Twittera

Tue, 20 Jun 2017 12:57:10 +0000

Bardzo lubię Twittera, który w Polsce jest trochę niedowartościowany. Według mnie to najszybsze źródło informacji, a przy okazji - przyjemne i wygodne w zdobywaniu danych do przeróżnych analiz. Najnowsze dane do jakich dotarłem (nie szukałem długo - jakieś 2 minuty) mówią o tym, że w Polsce z FB korzysta jakieś pięć razy więcej użytkowników niż z Twittera. Niby mało, ale jak zobaczymy jest to wystarczająco. Analizowaliśmy już w oparciu o dane z Twittera wyniki Oscarów oraz aktywność podczas meczu piłki nożnej. Nie ma jednak prostego sposobu (nie znam, może raczej tak), aby w krótkim czasie dotrzeć to tego co aktualnie dzieje się na Twitterze. Przygotujemy sobie więc odpowiednie narzędzie.

Mecz Polska - Rumunia na Twitterze

Mon, 12 Jun 2017 11:00:36 +0000

Wydarzenia sportowe (lub inne dziejące się tu i teraz) są bardzo wdzięcznym tematem analizy tego, co dzieje się w mediach społecznościowych. Jak wyglądał Twitter podczas meczu Polska - Rumunia?

Przygotowanie tokenu

Aby zebrać dane z Twittera potrzebujemy zbudować aplikację, która wykorzysta API Twittera i jej tokenu. W samym R wykorzystamy pakiet rtweet. Koniec końców potrzebny nam jest klucz API (para Consumer Key i Consumer Sectet) - jak je zdobyć można przeczytać tutaj (z obrazkami). Odpowiednie wartości należy przypisać do zmiennych poniżej. Kod przygotuje nam token i zapisze w lokalnym pliku, dzięki temu w przyszłości będziemy mogli taki token wykorzystać:

Oceny filmów i ich przewidywanie

Thu, 08 Jun 2017 13:59:55 +0000

Od czego zależą oceny filmów? Jak będzie oceniony film, który dopiero powstaje? Dawno temu, czyli gdzieś około roku, może nawet półtora temu, zebrałem z Filmwebu prawie całą ówczesną bazę danych o filmach. Wykorzystałem biblioteki napisane w PHP korzystające z (nie)oficjalnego API Filmwebu budując skrypt, który dla kolejnych ID “produktów” (produktów, bo Filmweb ma nie tylko filmy, ale również seriale i gry) i pobierał odpowiednie informacje (do ID bodaj 770 tys.): rok produkcji filmu, jego polski i oryginalny tytuł, czas trwania, gatunki, twórców i obsadę oraz liczbę ocen i średnią ocenę (na moment pobrania danych). Powstało kilka plików CSV (pliki relacyjne) z dużą ilością danych. Dzisiaj z tego skorzystamy i pooglądamy jak zmieniał się przemysł filmowy. Pliki zgromadzone zostały w formie CSV, po wyczyszczeniu danych wpakowałem wszystko w jeden plik z danymi. Wczytajmy sobie te dane:

Sejm VII kadencji

Sat, 22 Apr 2017 14:19:27 +0000

Jak znaleźć posłów do przejęcia z jednego klubu do drugiego? Czy posłowie głosują zgodnie z głosem lidera? Sprawdzimy dzisiaj jak wygląda rozkład sił w polskim Sejmie. Jak bardzo partie różnią się od siebie, komu z kim po drodze i czy są posłowie, którzy głosują inaczej niż lider? Wszystkie te informacje wydobędziemy moim ulubionym sposobem, czyli bez czytania. A tak na prawdę to bez wnikania w politykę, bez oglądania wiadomości. Jedynie na podstawie tego jak poszczególne osoby głosują w kolejnych głosowaniach. Jeśli nie interesują Cię technikalia - przejdź od razu do wyników: