API on Łukasz Prokulski, Dane i Analizy

LLM zwraca poprawny JSON i się myli. Plus: pathlib, benchmarki i marka osobista w IT

Mon, 07 Sep 2026 15:00:00 +0000

W tym wydaniu dużo o narzędziach, które już pewnie masz w stosie, ale rzadko trafia się dobry materiał tłumaczący ich działanie od środka. Są tu teksty o Airflow 3, dbt, Marquezie i formatach serializacji, a każdy z nich ma konkretną tezę, nie tylko opis funkcji.

jak migracja z legacy ETL do dbt wygląda krok po kroku, dlaczego Parquet eliminuje do 80% narzutu I/O w porównaniu z CSV, co Marquez robi z Twoim data lineage i jak integruje się z OpenLineage.

Medallion pęka w szwach, agenci tracą kontekst... co z tym zrobić?

Mon, 27 Jul 2026 15:00:00 +0000

Ten numer ma wyraźny środek ciężkości: agenci AI i to, co z nimi robić, kiedy wychodzisz poza pierwsze eksperymenty. Teksty o LangGraph - od “jak zbudować pierwszego agenta” po “co psuje się po kilku miesiącach” - tworzą razem coś w rodzaju mini-ścieżki, którą można przejść od razu albo wracać do poszczególnych etapów w miarę potrzeb. Uzupełnia je tekst o tym, jak zmienia się rola programisty, kiedy AI przejmuje pisanie kodu - i dlaczego to jest trudniejsze niż się wydaje.

Dashboard i agent muszą się zgadzać. Plus Kueue, Iceberg i kryzys jakości kodu przy 40 stopniach w cienu

Mon, 29 Jun 2026 15:00:00 +0000

Witaj w pierwsym wakacyjnym wydaniu newslettera Dane i Analizy — przygotowanym w niedzielę wieczór, gdy Polska powoli stygła (ta, jasne…) po tym, co meteorolodzy nazwali najgorętszym dniem w historii pomiarów. Nawet 40 stopni w cieniu. Skoro już jesteś przed ekranem zamiast przy wiatraczku, to dobrze trafiłeś — zebrałem dla Ciebie materiały, które warto przeczytać przy klimatyzacji lub choćby przy otwartym oknie.

W tym numerze sporo miejsca zajmują agenty AI — i to z różnych kątów. Dowiesz się, jak wyposażyć LLM w mózg data inżyniera, dlaczego Twój agent i dashboard mogą sobie wzajemnie zaprzeczać (i jak temu zaradzić architektonicznie), czym jest Agent Experience jako nowy wymiar projektowania API, a do tego jak AI wkracza do katalogów danych. Temat agentów w danych to nie hype — to realny kierunek, który warto rozumieć głębiej niż na poziomie demo.

Osiem wzorców potoków danych, Snowflake od środka i przedwakacyjny DevOps

Mon, 22 Jun 2026 15:00:00 +0000

Rozpoczynamy ostatni tydzień roku szkolnego, co dla wielu oznacza początek letnich urlopów i chwilowe zwolnienie tempa w projektach. To idealny moment na uporządkowanie technicznego długu oraz wdrożenie usprawnień, które pozwolą Twoim systemom bezawaryjnie przetrwać czas wakacyjnej flauty. Warto skupić się na:

automatyzacji powtarzalnych zadań operacyjnych, przeglądzie konfiguracji bezpieczeństwa i zarządzania kluczami, refaktoryzacji krytycznych fragmentów kodu przed masowymi urlopami w zespole.

W obszarze inżynierii danych i architektury przyglądamy się sprawdzonym wzorcom projektowym oraz zaawansowanym metodom skalowania przepływów. Zrozumienie relacji między różnymi modelami przetwarzania pozwala na budowanie systemów odpornych na nagłe skoki ruchu. W tym tygodniu dowiesz się więcej o:

Ponad połowa kodu z AI? Raport 2026 i symulatory Kubernetes

Mon, 08 Jun 2026 15:00:00 +0000

W tym numerze przyglądamy się gwałtownej profesjonalizacji świata AI, gdzie agenty przestają być tylko ciekawostką, a właściwie są fundamentem codziennej pracy programistycznej.

Analizujemy najważniejszy raport roku (State of AI 2026), z którego wynika, że już ponad połowa kodu produkcyjnego pochodzi z systemów AI, pokazujemy protokół MCP jako kluczowy standard łączący modele z infrastrukturą oraz zalety natywnych agentów głosowych, i sprawdzamy, jak pliki SKILL.md pomagają skalować wsparcie AI w wielorepozytorialnych środowiskach Enterprise.

Czy AI Slop zaleje sieć? Plus Spark, Kafka i SQL

Mon, 25 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz ich głębokiej integracji z codziennym workflow inżynierskim.

Analizujemy, jak agenty Playwright i protokół MCP automatyzują cykl życia błędu, od wykrycia po zgłoszenie w Jirze, pokazujemy, jak Claude Code i lokalne modele Qwen2.5 zmieniają zasady gry w analizie danych i budowaniu dashboardów, i sprawdzamy, ile “śmieciowego” AI (slop) faktycznie krąży w sieci i jak to wpływa na jakość informacji.

W obszarze inżynierii danych skupiamy się na wydajności, optymalizacji kosztów i mądrym wyborze silników bazodanowych.

Agenty w produkcji, DuckDB na sterydach i kłamstwa Kubernetesowi

Mon, 11 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na profesjonalizacji narzędzi AI w codziennej pracy inżynierskiej.

Analizujemy, jak Databricks i Shopify wbudowują agentów AI bezpośrednio w swoje platformy, pokazujemy, dlaczego AI przestaje być dodatkiem, a staje się integralną warstwą systemów, i tłumaczymy zmianę podejścia: od prompt engineeringu do context engineeringu i pracy na głębszych warstwach modeli LLM.

W świecie Data Engineeringu wracają do gry lekkie, lokalne silniki analityczne.

Przyglądamy się, jak DuckDB i Polars redefiniują wydajność pracy z danymi na pojedynczej maszynie, pokazujemy, kiedy lokalne przetwarzanie wygrywa z klasycznym podejściem cloud-first, a także wracamy do fundamentów: Kafka i Spark wciąż żyją, ale wymagają konkretnych checklist optymalizacyjnych przy skali produkcyjnej.

Od potoków danych w YAML po automatyzację SharePoint API

Mon, 04 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na przełomowych zmianach w sposobie, w jaki systemy AI wchodzą w interakcję z naszym otoczeniem technologicznym.

Analizujemy Model Context Protocol (MCP) – otwarty standard, który kończy erę pisania dedykowanych integracji, sprawdzamy, jak agenty AI płynnie komunikują się z bazami danych w modelu „plug-and-play”, i pokazujemy praktyczne wdrożenia budujące skalowalne ekosystemy sztucznej inteligencji.

W obszarze Data Engineeringu i analityki dbt pozostaje centralnym punktem, ale jego rola ewoluuje w stronę pełnej automatyzacji.

Więcej niż podstawy: AI, lakehouse, zaawansowany SQL

Mon, 02 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu eksplorujemy najnowsze trendy w świecie danych i AI – od inteligentnych agentów wspomagających pracę z kodem i platformami analitycznymi, przez zaawansowane techniki machine learning i tokenizacji, aż po praktyczne podejścia do architektury systemów i inżynierii danych.

Poznaj narzędzia, które realnie skracają czas developmentu, dowiedz się, jak wykorzystać embeddings w prognozowaniu szeregów czasowych, a także sprawdź, dlaczego PostgreSQL oferuje znacznie więcej niż podstawowe zapytania SQL. Nie zabraknie również praktycznych projektów z wykorzystaniem H3 do analiz geoprzestrzennych, przewodnika po architekturze lakehouse oraz wskazówek, jak unikać krytycznych błędów w API Pythona i pipeline’ach danych. Dla dla entuzjastów wizualizacji – profesjonalne wykresy w R oraz zasady projektowania efektywnych dashboardów.

Zero ETL i hackathon z Bielikiem

Mon, 09 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu: architektura Zero ETL jako nowy standard w inżynierii danych (albo kolejny buzz word - różnie to bywa z nowościami), praktyczne zastosowania AI w zespołach data science, oraz ewolucja DuckDB w kierunku pełnoprawnego lakehouse.
Znalazłem też przegląd antywzorców w architekturach mikroserwisowych, strategie cache’owania w REST API i przewodnik po zarządzaniu ewolucją schematów w pipeline’ach strumieniowych (to potrafi być ból!).
Znajdziesz dzisiaj również frameworki analityczne dla e-commerce, techniki feature engineering w SQL dla szeregów czasowych oraz narzędzia do observability systemów ML w produkcji.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Agenci AI, skalowanie pipeline'ów i ewolucja Pythona

Mon, 19 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu głęboko zanurzamy się w świat agentów AI i agentic AI: od fundamentalnych rozróżnień między generatywną AI, agentami i podejściem agentycznym, przez praktyczne wyzwania bezpieczeństwa w postaci mapowania API, aż po optymalizację zarządzania kontekstem w Model Context Protocol. Nie zabraknie również solidnych podstaw machine learningu: kodowanie danych kategorycznych, Support Vector Machines oraz kompleksowy przegląd metod detekcji anomalii w Pythonie.

Na froncie inżynierii danych pokazujemy, jak ewoluować od prostych crontabów do systemów obsługujących miliardy zdarzeń, jak wykorzystać DuckDB do szybkich analiz bez ciężkiej infrastruktury oraz dlaczego dokumentacja jako kod w dbt-checkpoint staje się silnikiem jakości danych. Praktyczny przewodnik end-to-end z darmowymi narzędziami oraz refleksje nad zawodem data engineera dopełniają obrazu codziennych wyzwań w tej dziedzinie.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

System design, bazy danych i praktyczny Python

Mon, 10 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach projektowania i optymalizacji systemów danych.
Zaczynamy od architektury: poznasz sprawdzone metody nauki projektowania systemów oraz zajrzysz pod maskę infrastruktury OpenAI opartej na Kubernetes i Apache Kafka.
W sekcji baz danych znajdziesz spojrzenie na BigQuery z perspektywy programistów Pythona oraz dwanaście realnych przypadków migracji do DuckDB z konkretnymi oszczędnościami.

Miłośnicy Pythona znajdą też kilka wartościowych materiałów: od elegancji dekoratorów, przez biblioteki przewyższające Excela, po praktyczną migrację z PostgreSQL do MongoDB. Warto zerknąć na porównanie HTTPX z Requests (nie tylko w kontekście projektów LLM, ale po prostu na httpx jako nowocześniejszy pakiet) oraz omówienie narzędzia UV Toolchain do stabilizacji środowisk CI/CD.

Nowy dział low code

Mon, 06 Oct 2025 15:00:00 +0000

Kolejny tydzień, kolejna porcja wiedzy z szerokiego świata danych i AI. Jak zwasze przed Tobą materiały, które sprawdzą się zarówno w codziennej pracy, jak i przy zgłębianiu nowych technologii.

Jeśli zajmujesz się infrastrukturą i DevOps, czekają na Ciebie praktyczne wzorce Dockerfile dla Pythona, które zredukują czas buildów do sekund, oraz dziewięć sprawdzonych technik autoskalowania w Kubernetes, które przetrwają piki ruchu. A dla fanów baz danych – przegląd rozszerzeń PostgreSQL, które działają jak supermoc, oraz porównanie architektur Snowflake, Oracle i PostgreSQL.

Polski tutorial z vide codingu + nierówności w globalnej adopcji AI - Newsletter Dane i Analizy (🗓 %Y-%m-%d)

Mon, 22 Sep 2025 15:00:00 +0000

Jeśli dopiero zaczynasz przygodę z vibe codingiem i Claude Code, koniecznie obejrzyj 48-minutowy tutorial, który przeprowadzi Cię przez budowę kompletnej aplikacji. Dla bardziej zaawansowanych użytkowników są materiały o zarządzaniu serwerami MCP w produkcji oraz wyzwaniach związanych z governance w systemach autonomicznych.

Miłośnicy analizy danych znajdą praktyczne wskazówki dotyczące wizualizacji z wykorzystaniem Pythona i Seaborn, implementację XAI z biblioteką SHAP, a także 10 sprytnych trików do pracy z danymi kategorycznymi w scikit-learn. Szczególnie imponujący jest przypadek optymalizacji SQLite, gdzie wydajność wzrosła (jak twierdzi autor) z 19 tysięcy do 4,2 miliona zdarzeń na sekundę!

Newsletter Dane i Analizy, 2025-07-07

Mon, 07 Jul 2025 15:00:00 +0000

Ten tydzień przyniósł szczególnie bogate żniwo materiałów technicznych – po zwyczajowej analizie dziesiątek źródeł i setek (jeśli nie tysięcy) artykułów, udało się wyłonić zwyczajowe “około dwadzieścia” najważniejszych publikacji z obszaru data science, ML i AI. Rozkład tematyczny doskonale odzwierciedla aktualne trendy w branży (i zainteresowania Redaktora Naczelnego): dominuje Python i Data Engineering. Ale (poza zainteresowaniami Naczelnego) potwierdza to centralną rolę tych obszarów w nowoczesnych zagadnieniach związanych z danymi.

Szczególnie interesujące są materiały dotyczące architektury systemów AI – od multi-agentowych rozwiązań Anthropic, przez unifikację ML na Ray w Pinterest, aż po praktyczne implementacje MLOps z pełnym monitoringiem. Widać wyraźnie, że branża przechodzi od eksperymentów do produkcyjnych, skalowalnych rozwiązań.

Newsletter Dane i Analizy, 2025-06-30

Mon, 30 Jun 2025 15:00:00 +0000

Dzisiaj w numerze od rewolucji w projektowaniu API po fundamentalne pytania o architekturę danych, od praktycznych implementacji AI po badania nad samopoczuciem programistów – każdy artykuł odkrywa nowe perspektywy na temat tego, jak sztuczna inteligencja przemienia nasze sposoby pracy.

Era Agentów AI wymaga nowego podejścia do projektowania
Jednym z kluczowych tematów tego numeru jest ewolucja API w kontekście rosnącej popularności agentów AI. Agenty AI zachowują się jak wątki - to boty zadaniowe uruchamiane w celu osiągnięcia określonego celu, co oznacza, że nasze dotychczasowe podejście do projektowania interfejsów programowych wymaga gruntownego przemyślenia. Czy nasze API są gotowe na świat, w którym konsumentami nie są już tylko ludzie, ale także inteligentne maszyny działające autonomicznie?

Newsletter Dane i Analizy, 2025-06-16

Mon, 16 Jun 2025 15:00:00 +0000

Mamy poniedziałek rano, więc zaparzaj kawę i przygotuj się na rozpoczęcie tygodnia z porcją wiedzy z świata danych i sztucznej inteligencji.

Witam przede wszystkich nowych subskrybentów! Zgodnie z obietnicą (warto śledzić moje social media): oto moja najnowsza książka mówiącej o tym, co trzeba umieć, aby pracować z danymi - od zupełnych podstaw w Excelu do dużych projektów data-inżynieryjnych, modeli AI czy dashboardów dla zarządów największych spółek.

Książka na razie dostępna jest za darmo, więc należy się śpieszyć. To wersja 1.0.beta, więc wszystkie uwagi mile widziane!

Newsletter Dane i Analizy, 2025-06-09

Mon, 09 Jun 2025 15:00:00 +0000

Dzisiaj momentami jest grubo - na przykład matematyczna elegancja B-spline’ów. Ale jest też trochę praktyki w DuckDB. Jeśli myślisz, że świat danych to tylko nudne CSVki i niekończące się ETLe, ten numer (mam nadzieję) przekona Cię, że to naprawdę fascynująca dziedzina pełna niespodzianek.

Szczególnie polecam zwrócić uwagę na historię firmya Tencent Music, która oszczędziła 80% kosztów przenosząc się z Elasticsearch na Apache Doris - to jeden z tych przypadków, gdy zmiana architektury naprawdę się opłaca. Z kolei dla miłośników optymalizacji opowieść o tym, jak Python API można przyspieszyć 10x bez przepisywania na Go czy Rust - czasem wystarczy po prostu dobrze pomyśleć!

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-04-28

Mon, 28 Apr 2025 15:00:00 +0000

W tym tygodniu mam dla was wybuchową mieszankę materiałów - od głębokiego uczenia maszynowego i tutoriala pisania własnych RAGów, przez wizualizację danych geolokalizacyjnych, po optymalizację dashboardów.

Szczególnie chciałbym zwrócić waszą uwagę na serię artykułów poświęconych Apache Airflow i Kafce - dwa narzędzia, które stały się nieodłącznym elementem nowoczesnych potoków danych. Znajdziecie dzisiaj zarówno wprowadzenie do zmian wdrożonych w Airflow w wersji 3.0, jak i praktyczne informacje o tym jak pisać wydajne DAGi.

Newsletter Dane i Analizy, 2025-04-07

Mon, 07 Apr 2025 15:00:00 +0000

Dzisiaj “mapy rozwoju” - czyli listy zagadnień, które warto poznać, zgłębić, nauczyć się, aby rozwinąć się w danej dziedzinie. Dziedziny te oczywiście bliskie są tematom przewodnim tego newslettera - przetwarzaniu danych. Zatem jest “ścieżka rozwojowa” dla inżynierów danych oraz dla zajmujących się machine learningiem (i jego “operacjonalizacyjną” stroną - MLOps).

Ciekawe dla Ciebie mogą być również dwa świeże raporty (za 2024 rok) związane z bezpieczeństwem - jeden z CERT, więc bezpieczeństwo raczej ogólne. Drugi z Komisji Nadzoru Finansowego dotyczący instytucji finansowych.

Newsletter Dane i Analizy, 2025-03-24

Mon, 24 Mar 2025 15:00:00 +0000

W dzisiejszym numerze analizujemy ewolucję systemów rekomendacji i wyszukiwania w erze LLM, prezentujemy zaawansowane techniki inżynierii danych, w tym potoki danych oparte na PostgreSQL oraz porównanie formatów data lake. Poruszamy również kwestię minimalizację liczby spotkań, a także przedstawiamy nowe narzędzia usprawniające pracę z Pythonem i bazami wektorowymi.

#ai_ml

Improving Recommendation Systems & Search in the Age of LLMs
Kompleksowa analiza transformacji systemów rekomendacji i wyszukiwania w kontekście dużych modeli językowych. Artykuł omawia zmiany w przemysłowych rozwiązaniach w ostatnim roku, skupiając się na architekturach multimodalnych, generowaniu danych wspomaganym przez LLM oraz technikach uczenia transferowego i destylacji.

Newsletter Dane i Analizy, 2025-03-10

Mon, 10 Mar 2025 15:00:00 +0000

Pod koniec lutego “ukazał” się zbiór danych (pochodzących najprawdopodobniej z serwisu rynekpierwotny.pl) zawierający całkiem sporo ofert nowych mieszkań (i nie tylko). Zbiór o tyle interesujący, że ze współrzędnymi oferowanych lokalizacji. Na LinkedIn wrzuciłem na szybko przygotowaną mapkę wynikającą z tego zbioru, ale planuję coś większego: e-mailowy cykl (3-4 maile, pewnie co tydzień) pokazujący co z tymi danymi można zrobić. Na pewno napiszę o tym w newsletterze, na pewno napiszę o tym na LinkedIn - zatem zapraszam do obserwowania. Na fanpage’u Dane i Analizy też będzie o tym info, więc też warto obserwować.
Żeby było ciekawiej - dość podobny temat porusza jeden z dzisiejszych postów, jakie znajdziesz poniżej - ten o kebabach - to doskonały przykład praktycznego zastosowania analizy danych.

Newsletter Dane i Analizy, 2025-02-17

Mon, 17 Feb 2025 15:00:00 +0000

Mam nadzieję, że Walentynki były udane? ;-) Może szukasz spóźnionego prezentu dla początkującego programisty (albo dla siebie) - mój nowy e-book o Pythonie (pobieranie danych z API, współpraca z bazą danych, aplikacja we Flasku), który zadebiutował właśnie 14 lutego, może być strzałem w dziesiątkę. Więcej informacji na stronie książki.

W tym tygodniu mam dla Ciebie solidną dawkę wiedzy z różnych obszarów analizy danych i programowania - jak zwykle zresztą. Szczególnie warto zwrócić uwagę na materiały dotyczące uczenia maszynowego - od budowy własnej biblioteki deep learning po praktyczną optymalizację modelu wykrywania oszustw. Dla osób zainteresowanych LLM, a w szczególności Transformerami - jest przystępne wyjaśnienie ich działania.

Newsletter Dane i Analizy, 2025-02-10

Mon, 10 Feb 2025 15:00:00 +0000

Zanim przejdę do sedna, czyli bieżącego numeru, mam dla Ciebie informację. Otóż za moment będzie dostępny kompleksowy e-book typu “od juniora do mida”. Książka to projekt, który kompleksowo przeprowadza przez budowę aplikacji - od komunikacji z API, przez bazę danych, aż po konteneryzację. Bez pierdół teoretycznych, za to z mocnym naciskiem na praktykę. Szczegóły już niedługo w oddzielnym mailu, więc trzymajcie się blisko skrzynki odbiorczej!

A co Cię czeka w tym numerze?

Newsletter Dane i Analizy, 2025-01-27

Mon, 27 Jan 2025 15:00:00 +0000

Na bieżący numer złapało się kilka ciekawych tematów. Warto zwrócić uwagę na tekst o systemach automatyzacji w Amazonie i Netfliksie - pokazuje podejście dużych firm do skalowalności i bezpieczeństwa. Dobry jest artykuł o topic modeling z użyciem BERTopic i FASTopic - może się przydać przy przetwarzaniu skarg klientów.

Dla fanów Kafki znajdzie się materiał o konsumentach wiadomości, a dla pythonowców zestaw o wizualizacjach z Pythona w Power BI, budowaniu API gateway na FastAPI i poradnik “10 Tips to Become REALLY Good at Python”, gdzie w pół godziny Arjan mówi o tym, co jest najważniejsze przy nauce Pythona, od czego trzeba zacząć i co doskonalić na początku. Do tego jest też wideo dla początkujących adeptów Pandas.

Newsletter Dane i Analizy, 2025-01-20

Mon, 20 Jan 2025 15:00:00 +0000

Ten tydzień to głównie narzędzia i automatyzacja - od tworzenia wątków na Twitterze po sprzątanie plików. Jeśli szukasz sposobów na ulepszenie swojego warsztatu, to dobrze trafiłeś. Szczególnie ciekawe są dwa artykuły o pracy z API - jeden o Claude.ai (który coraz śmielej radzi sobie z analizą tekstu), drugi o tym jak zaprojektować klucze API, żeby nie wyglądały jak kot przebiegł po klawiaturze ;-)

Dla pythonistów garść praktycznych rozwiązań: radzenie sobie z zagnieżdżonymi strukturami danych przez Pydantic, wyciąganie tabel z PDFów (kto nigdy nie walczył z parsowaniem PDFa, niech pierwszy rzuci kamieniem).

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-12-09

Mon, 09 Dec 2024 15:00:00 +0000

Nie wiem czy korzystacie z list zakupów w aplikacjach do tego przewidzianych? To wygodne - cała rodzina dodaje na jedną listę to, co trzeba kupić, a potem jedna osoba (np. ojciec ;) jedzie do sklepu i przywozi te siaty… U mnie taką aplikacją jest Listonic (i nie jest to reklama - apka ma trochę irytujących elementów). Aplikacja jest popularna, co pozwala jej twórcom na zgromadzenie dużej liczby “list zakupów” i przygotowanie na tej podstawie ciekawych raportów.

Newsletter Dane i Analizy, 2024-12-02

Mon, 02 Dec 2024 15:00:00 +0000

Motywem przewodnim w dzisiejszym odcinku jest API. Jakich frameworków użyć (w Pythonie), czym od siebie się różnią? A może websocket?

Podobnie mamy w sekcji z praktycznymi projektami z zakresu analizy danych (nie zawsze tam o samą analizę chodzi - czasem bardziej o uczenie maszynowe niż analizowanie w rozumieniu tzw. EDA): wykrywanie wartości odstających w zbiorach.

Co tydzień przedstawiamy tutaj kilka projektów wykorzystujących analizę danych, machine learning czy też AI. Zamiast czekać kilkanaście tygodni (i liczyć że temat, który Cię interesuje się pojawi) możesz zerknąć na stronę gdzie zgromadzono ponad 65 (może i 69, a więc prawie 70!) przykładowych projektów razem z kodem źródłowym. Boot-camp z ML? Niepotrzebny! Wystarczą te projekty… oraz porządne doczytanie dlaczego tak a nie inaczej zrobiono to czy tamto.

Newsletter Dane i Analizy, 2024-11-18

Mon, 18 Nov 2024 15:00:00 +0000

Newslettery… czy wiecie, że tylko nieco ponad 1/3 newsletterów ma swój drugi numer? Co 10-ty newsletter (precyzyjniej: 11%) ukazuje się dłużej niż 10 numerów. A jednocześnie 23-krotnie wzrosła liczba newsletterów od 2019 roku na platformie Substack. Tak mówi źródło tych danych.

Nasz newsletter ma jakieś 3 lata (przynajmniej w redakcyjnym archiwum w serwisie Raindrop.io gdzie zebrane są wszystkie teksty jest tag #newsletter_2021-11-15), co by znaczyło jakieś 150 wydań. W archiwum, bo były czasy przed budowaniem archiwum (kilkanaście tygodni na pewno), ale tak starych ludzi już nie ma… :-)
Archiwum mówi też o ponad 3400 tysiącu tekstów 😮

Newsletter Dane i Analizy, 2024-11-04

Mon, 04 Nov 2024 15:00:00 +0000

Odkrycie tego tygodnia: Bolt.new. Serwis, który korzystając modeli językowych przygotuje całą aplikację i - o ile jest ona frontendowa - pozwoli jednym guzikiem ją wdrożyć.
Testując to chwilę udało się po kilku dopytaniach przygotować kod, który daje GUI (dostępny przez WWW) do edycji obserwowanych kanałów na YouTube. Obserwowanie polega na tym, że jeśli pojawi się nowy film na kanale to wysyłana ma być informacja poprzez komunikator Signal (specjalnie, bo Signal nie ma API, trzeba wywoływać polecenie w konsoli). Powstały kod wzbogacony został o Dockerfile (razem z pobraniem odpowiedniej wersji Signala oraz potrzebnej mu Javy) i deployment na Kubernetesa. Kiedy wiemy co robimy i czego oczekujemy oraz potrafimy wyłapać błędy - na pewno ułatwia to pracę. I jeszcze jedno: zapytania pisałem po polsku (w ramach eksperymentu) i zostałem w pełni zrozumiany, chociaż odpowiedzi były po angielsku. Wynik działania tutaj (mam nadzieję, że link zadziała).

Newsletter Dane i Analizy, 2024-10-28

Mon, 28 Oct 2024 15:00:00 +0000

Jeden z tekstów, które znajdziecie poniżej mówi o tym, jak pobrać z YouTube wideo, wyciągnąć z niego dźwięk, a potem ten dźwięk przekształcić w zapis tekstowy (taki do czytania). Potem i tak nikt tego nie czyta…

Niektórzy może czytają. A jeśli wolą jednak oglądać albo słuchać - dzisiaj przed Wami zapisy wideo z dwóch konferencji. Jedna to “Oh My Hack” odbywająca się w Polsce i skupiająca się na zagadnieniach związanych z bezpieczeństwem. Nagrania pochodzą z edycji, która miała miejsce w 2023 roku. Druga konferencja to coś nowszego - amsterdamska edycja PyData, z tego roku.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-08-19

Mon, 19 Aug 2024 15:00:00 +0000

Dzisiaj sporo materiałów z ulubionej chyba działki redaktora naczelnego, czyli coś o data engineeringu (najlepiej opakowanym w Pythona). Mamy więc bardzo fajny tekst o tym jak śledzić autobusy szkolne - w wielu polskich miastach pojazdy komunikacji miejskiej wyposażona są w nadajniki GPS, co pozwala na śledzenie ich w czasie rzeczywistym (warszawskie dane są dostępne na przykład tutaj (link do dokumentacji w PDF) czy też ogólnie na stronie WWW).

Nieco więcej niż zwykle dzisiaj o języku R - o tym jak z jego pomocą szybko przygotować atrakcyjne dashboardy z kodu oraz o tym, że mamy odpowiednik tidyverse dla prac z modelami machine learning.

Newsletter Dane i Analizy, 2024-08-12

Mon, 12 Aug 2024 15:00:00 +0000

Używacie Postmana do współpracy z API? Na przykład do testowania własnych usług albo rozpoznawania cudzych? Poznajcie Bruno - alternatywę, w 100% offline i open soruce. Bruno jest oddzielną aplikacją (okienkową i w CLI) oraz dodatkiem do VSCode. Zamiast czytać możecie też zobaczyć kilkunastominutowe demo.

“Czego powinniśmy się spodziewać, a co jest tylko szumem medialnym? Jaka jest różnica między obietnicą tej technologii a praktyczną rzeczywistością?”. Najnowszy artykuł Stephanie Kirmer (Ekonomia generatywnej AI) przedstawia bezpośrednie, bezkompromisowe spojrzenie na biznesowe przypadki produktów AI oraz zadaje pytanie, o to jaki jest model biznesowy dla generatywnej AI, biorąc pod uwagę to, co wiemy dzisiaj o technologii i rynku?

Newsletter Dane i Analizy, 2024-07-29

Mon, 29 Jul 2024 15:00:00 +0000

Po zakończonym turnieju piłkarskim czas na igrzyska olimpijskie. Tu przynajmniej Polacy mają większe szanse. Ale w dzisiejszym numerze newslettera znajdziecie coś o analizie (głównie jako przestawieniu wyników w graficznej formie) spotkań piłkarskich - rozkładzie gorących miejsc czy siatce podań.

W sekcji związanej z wizualizacją danych jest też tekst, który ma na celu inspirację. Jak pokazać dane biznesowe? A może coś widać po ich pokazaniu (trendy, kierunki w których należy działać?)? Zobacz koniecznie!

Newsletter Dane i Analizy, 2024-07-22

Mon, 22 Jul 2024 15:00:00 +0000

Tomek zwrócił się do mnie z prośbą o przekazanie informacji o jego książce (e-booku). Otóż napisał ogromną ilość tekstu (ze 100 stron) na temat tego jak budować projekty data science w Pythonie. Jak układać pliki w folderach, jak zarządzać wymaganiami, jak zarządzać prerekwizytami typu dane czy też wynikowe wykresy, predykcje, modele. Jest też o automatycznym formatowaniu i sprawdzaniu kodu przy użyciu Ruff oraz dość sporo o notatnikach Jupytera. Normalnie książka coś kosztuje (30 zł), ale dla Was - do 5 sierpnia - jest za darmo, o tutaj.

Newsletter Dane i Analizy, 2024-07-01

Mon, 01 Jul 2024 15:00:00 +0000

Razem z początkiem lipca zwykle w mediach rozpoczyna się sezon ogórkowy. Upały dają się we znaki, żar leje się z nieba (pozdrawiamy fanów “Hydrozagadki” oraz Asa!), jedyne o czym chce się myśleć to schłodzone napoje i leżenie w basenie.

Ale mimo tych przeciwności losu przed Wami kolejna porcja wiedzy w postaci ręcznie wybranych najlepszych tekstów o AI i ML plus okolicach związanych z przetwarzaniem danych jakie przewinęły się przez cały tydzień w różnych mediach czy też innych newsletterach.

Newsletter Dane i Analizy, 2024-06-03

Mon, 03 Jun 2024 15:00:00 +0000

Po dłuższym weekendzie mocny w AI numer newslettera przed Tobą. Numer, który pokrywa takie obszary AI jak obraz, tekst oraz dźwięk.
W ramach obrazu mamy tutorial PyTorcha, ale dodatkowo być może zainteresuje Cię informacja, że modele rozpoznawania obiektów na obrazach YOLO dotarły już do wersji 10 - tutaj review pejpera z opisem YOLOv10, w treści też linki do wytrenowanych modeli i kodu wykorzystujących te modele.

Oprócz AI kilka wskazówek, które mogą przydać się przy wyborach SQL czy NoSQL albo FastAPI czy Flask. Do tego aż dwa teksty o modelowaniu struktury danych w bazie, w tym bardzo konkretny (i obszerny) tutorial o kalendarzach.

Newsletter Dane i Analizy, 2024-05-27

Mon, 27 May 2024 15:00:00 +0000

Dzisiaj krótko, bo tydzień krótszy i “nie ma czasu załadować taczek”. Może tak lepiej?

#analiza_danych_projekty

Customer Segmentation
Analiza RFM (Recency, Frequency and Monetary) wykorzystana do segmentacji klientów. Bardziej opis niż zajęcia praktyczne, a praktyka podana w excelu

#architektura

How Twitter processes 4 billion events in real-time daily
Od architektury Lambda do Kappa

3 Reasons Why You Might Want to Use Monolith Instead of Microservice
Czyżby odwrót od podejścia mikroserwisowego? A może tylko kilka szczególnych przypadków?

Newsletter Dane i Analizy, 2024-04-29

Mon, 29 Apr 2024 15:00:00 +0000

#ai_ml

How to Run Llama 3 Locally?
W zeszłym tygodniu nie było nic o Llama 3, zatem dzisiaj instrukcja jak ten najnowszy model językowy od Facebooka uruchomić lokalnie.

#analiza_danych_koncepcje

Fabric Madness: Experiments
Eksperymenty z MLFlow spięte z MS Fabric

Representing Matrices as JSON Objects
Czy macierz można zapisać w JSONie? Pierwszy z serii artykułów na temat kompromisów pomiędzy macierzami a tym formatem plików

#analiza_danych_projekty

Public Transport Accessibility in Python
Analiza danych geograficznych w Pythonie - dostępność komunikacji miejskiej w Budapeszcie. Ale może to być dostępność do restauracji, aptek czy paczkomatów…

Newsletter Dane i Analizy, 2024-04-22

Mon, 22 Apr 2024 15:00:00 +0000

#ai_ml

Create an AI-Driven Movie Quiz!
Ciekawy projekt, który tworzy quiz wiedzy na temat filmów. Dane o filmach zebrane są z internetowej bazy, przetworzone przez mechanizmy AI, a cała zabawa odbywa się z wykorzystaniem API. Tekst opisuje projekt, a sam kod dostępny jest na GitHubie

#analiza_danych_koncepcje

SOLID Principles Applied to Data Science
Jak zbudować standardowy proces MLowy (wczytanie danych, preprocessing, uczenie modelu i finalna predykcja na nowych danych) w zgrabną architekturę spełniającą zasady SOLID?

Newsletter Dane i Analizy, 2024-04-15

Mon, 15 Apr 2024 15:00:00 +0000

#analiza_danych_projekty

Mastering Exploratory Data Analysis (EDA)
Usystematyzowane podejście do analizy danych, której celem jest odkrycie istotnych dla przyszłych modeli cech. Za każdym razem robi się to podobnie, więc - warto znać zasady.

Improving Generalization in Survival Models
Analiza przeżycia jako sposób na predykcję odejść pracowników.

#architektura

So You Want to Build An Event Driven System?
Jak zbudować system sterowany zdarzeniami? Jakie są korzyści z przyjęcia tego stylu architektury, jakie są wyzwania i niektóre kompromisy? Nagranie z konferencji [YouTube, 52 minuty, po angielsku]

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2024-02-19

Mon, 19 Feb 2024 15:00:00 +0000

Ubiegły tydzień to nowość w postaci Sora od OpenAI - generowanie wideo z promptów tekstowych. OpenAI sporo pisze o technikaliach na swoich stronach. Najbliższy tydzień-dwa ubiegnie pod znakiem Sory, a jak otworzą dostęp szerzej… to się dopiero zacznie!

Oczywiście Google nie pozostaje w tyle i prezentuje swojego bliźniaka: Gemini, z którego można też korzystać via API (gdyby było inaczej nie miałoby to sensu w dzisiejszych realiach) oraz starają się nie tracić kroku na polu text-to-video ze swoim Lumiere.

Newsletter Dane i Analizy, 2024-01-22

Mon, 22 Jan 2024 15:00:00 +0000

YOLO. Nie tylko “you only live once” ale - w kontekście ML/AI i computer vision - przede wszystkim modele do rozpoznawania obiektów na zdjęciach.
Doczekaliśmy się już kilku wersji algorytmu YOLO, każda kolejna jest szybsza, sprawniejsza, rozpoznająca więcej i lepiej. Na to właśnie idzie klikanie w światła drogowe albo autobusy w obrazkowych captcha ;-)
Więcej o kolejnych wersjach YOLO i ich architekturach dowiesz się z tekstu, w którym dodatkowo znajdziesz linki do tego jak trenować i używać tych modeli.

Newsletter Dane i Analizy, 2023-12-18

Mon, 18 Dec 2023 15:00:00 +0000

Witam w najprawdopodobniej ostatnim numerze newslettera w tym roku. W przyszłym tygodniu mamy Boże Narodzenie, w kolejnym Nowy Rok - to raczej nie są momenty na przygotowywanie paczki artykułów o ML czy programowaniu ogólnie, raczej czas który lepiej poświęcić rodzinie, najbliższym albo najzwyczajniej odpoczynkowi od komputera.

Korzystając więc z okazji że “czytamy się” ostatni raz w tym roku chciałbym Wam życzyć tego co najlepsze, a przede wszystkim spokoju i odpoczynku. A już od stycznia - nowych projektów, nowej wiedzy, zdobywania kolejnych umiejętności.

Newsletter Dane i Analizy, 2023-10-30

Mon, 30 Oct 2023 15:00:00 +0000

Dzisiaj trochę o mapkach, trochę o diagramach (takie diagram as a code tylko dlaczego BitBucket nie potrafi wyświetlić Mermaid (ticket w Atlassianie jest “solved”! Ale zobaczcie jak ;-), a GitHub robi to z palcem… to znaczy bez problemu?), a do tego sporo materiału video. Chyba też więcej niż zwykle treści po polsku (polecamy tekst Tomka Zielińskiego o transportowaniu danych - może się przydać na spotkania rekrutacyjne, ja lubię zadawać analogiczne pytania).

Newsletter Dane i Analizy, 2023-10-09

Mon, 09 Oct 2023 15:00:00 +0000

Dzisiaj w likach znajdziecie ponad pięciogodzinny kurs VSCode (ale nie trzeba oglądać całego - wystarczy z niego wyjąć około 30-45 minut żeby mieć tak zwany komplecik w obrębie swoich zainteresowań). Dodatkowo polecam kurs użycia Postmana - chyba najlepszego narzędzia do współpracy z już gotowym API. Też nie trzeba oglądać całości (tym bardziej że całość to ponad 4 godziny), ale może coś ciekawego znajdziecie? Kurs na YouTube a kanał freeCodeCamp gorąco polecam! Do newstlettara trafia to co nowe, a masa tam dobrego sprzed lat.

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-09-04

Mon, 04 Sep 2023 15:00:00 +0000

Wiecie co jest największym problemem dla analityka danych w dużej organizacji? Jest ich kilka, ale podzielić można je na kilka obszarów:
znajdowanie danych zrozumienie danych uzyskanie dostępu do danych

Przeczytacie o tym w 5 Common Data Governance Pain Points for Analysts & Data Scientists

I jeszcze na to dochodzi podejście do organizacji zespołów zajmującymi się danymi. Centralnie? A może każdy osobno? O tym pisze SeattleDataGuy w Centralized vs Decentralized vs Federated Data Teams.

Newsletter Dane i Analizy, 2023-08-07

Mon, 07 Aug 2023 15:00:00 +0000

Jakie bazy danych są popularne? Które są używane, a których programiści chcieliby użyć w swoim kolejnym projekcie? Między innymi takie pytania zadano w ankiecie State of Databases 2023, której podsumowanie właśnie opublikowano. Takie ankiety są obrazem rynku - warto śledzić trendy, bo można z nich wywnioskować jakich narzędzi używają inni, w jakie warto inwestować (aby znaleźć pracowników albo pracę). Czy wyniki takich ankiet odpowiadają na pytanie Która technologia jest najlepsza? - zdecydujcie sami.

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2023-06-26

Mon, 26 Jun 2023 15:00:00 +0000

Rozpoczynamy pierwszy tydzień wakacji, ale to wcale nie oznacza, że newsletter ma urlop. Wręcz przeciwnie.

W dzisiejszym wydaniu kilka tekstów opisujących dobre praktyki i całe cykle tutorialowe: CRUD-woe API dla MongoDB czy też asynchroniczne mikroserwisy spięte Rabbitem. To dla tych średniozaawansowanych programistów (i tych, którzy chcą swoją wiedzę przenieść z poziomu juniorskiego na wyższy). Dla tych bardziej juniorów - korepetycje z Window Functions w SQLu i “rozpakowywujących” gwiazdek w Pythonie (mimo że to nie Gwiazdka, he he, zacny suchar).

Newsletter Dane i Analizy, 2023-05-01

Mon, 01 May 2023 15:00:00 +0000

Jak mówi Google sesja główna matury 2023 rozpocznie się już 4 maja - zatem już w tym tygodniu.

Nie wiem ilu czytelników jest przed maturą (z przeprowadzonych dawno temu ankiet wynika, że bardziej jesteście na studiach lub zaraz je kończycie), ale jeśli ktoś zdaje w tym roku to życzę wszystkiego najlepszego.

Jeśli zaś jesteście rzeczywiście pod koniec studiów to zapewne za węgłem czai się poszukiwanie pracy. Z tego okazji dzisiaj dwa teksty, które w obrębie tematyki tego newslettera krążą, a mogą pomóc przy szukaniu pracy. Może bardziej na rozmowie rekrutacyjnej. Pierwszy z nich to “Machine Learning System Design Interview Cheat Sheet” zawierający dobrą listę pytań dla projektujących systemy ML (to jest cykl, konkretnie druga część, a inne znajdziecie pod kolejnymi linkami: pierwsza, trzecia, czwarta), zaś “30 Common CI/CD Interview Questions (with Answers)” skierowane jest bardziej do tych, którzy wolą wdrażać i utrzymywać oprogramowanie.

Newsletter Dane i Analizy, 2023-04-17

Mon, 10 Apr 2023 15:00:00 +0000

Mój stary to fanatyk sztucznej inteligencji.. Kto zna to zna, Michał przygotował (z użyciem AI) przeróbkę znanej copy-pasty Malcolma XD.
Ponieważ ChatGPT tak mocno rządzi w mediach ostatnio, dzisiaj specjalna sekcja na ten temat.

W tej dedykowanej sekcji przedstawiam więc kilka inspirujących tekstów, które pokazują drogę od tego w czym i jak ChatGPT może pomóc, do konkretnych rozwiązań zastępujących na przykład StackOverflow, aby na koniec pokazać jak wykorzystać API przygotowane przez OpenAI z poziomu kodu.

Newsletter Dane i Analizy, 2023-03-13

Mon, 13 Mar 2023 15:00:00 +0000

Wielokrotnie na łamach niniejszego newslettera poruszane były tematy związane z Apache Kafka. A to podejście architektoniczne z grubsza mówiące dlaczego Kafka jest fajna i przydatna, a to podejście developerskie - o tym jak wysyłać i konsumować wiadomości z Kafki. Często też trafiają się bardziej zaawansowane przykłady - traktujące Kafkę jako bazę danych (z ktable czy ksql), czasem uzupełnione o Spark Streaming czy inne dodatkowe narzędzia typu Trino.

Ale najczęściej chyba Kafka wykorzystywana jest do przesyłania komunikatów w podejściu publish & subscribe. Są jednak przecież inne rozwiązania kolejkowe - Rabbit, czy na przykład MQTT popularne w rozwiązaniach Internet of Things. Przeczytajcie o podobieństwach i różnicach Kafki z MQTT (tekst Kafka vs Rabbit też oczywiście jest).

Newsletter Dane i Analizy, 2023-02-27

Mon, 27 Feb 2023 15:00:00 +0000

W dzisiejszym wydaniu najwięcej miejsca poświęcam wizualizacji danych i okolicach.

Kalibracja obrazu jest okolicą (bardzo odległą - w sumie oba tematy łączy tylko to, że mamy do czynienia z obrazem), jest też więc coś o tym. Kalibracja jest potrzebna przy problemach natury computer vision, a takowy - w postaci maskowania obiektów na obrazie - też dzisiaj poruszamy.

W poprzednim tygodniu dużym powodzeniem cieszył się tekst o MLOps (jeśli boisz się, że umknęło - zerknij do archiwum), więc dzisiaj kontynuacja, niejako na fali z poprzedniego tygodnia.

Newsletter Dane i Analizy, 2023-01-02

Mon, 02 Jan 2023 15:00:00 +0000

Witaj w pierwszym numerze newslettera “Dane i Analizy” w nowym roku! Mam nadzieję, że spędziłeś święta w miłym towarzystwie i jesteś gotowy na kolejne wyzwania w pracy. Albo spędziłaś i jesteś gotowa :)

W tym numerze polecam trzy artykuły, które mogą być pomocne w rozwoju Twoich umiejętności: “The Art of Writing Amazing REST APIs” to kompendium wiedzy dla tych, którzy chcą nauczyć się tworzyć skalowalne i łatwe w użyciu interfejsy sieciowe “Simple Parquet Tutorial and Best Practices” to zestaw porad dla tych, którzy chcą rozszerzyć swoje umiejętności związane z przetwarzaniem danych w formacie parquet “A Real-Time Streaming Project with Smartphone Data” to przewodnik po najlepszych praktykach związanych z przetwarzaniem danych z telefonów komórkowych w czasie rzeczywistym.

Newsletter Dane i Analizy, 2022-12-27

Tue, 27 Dec 2022 15:00:00 +0000

Święta, święta i po świętach. Nawet newsletter opóźniony specjalnie o jeden dzień, żebyście mogli w pełni od komputerów odpocząć :)

W ostatnim w 2022 roku numerze trochę mniej tekstów, ale to nie znaczy że są one słabszej jakości. Spora część dzisiejszego tortu to technologie big data, ale jest też coś o Pythonie i kilka ciekawostek ogólnych.

Najbardziej chyba polecam zestawienie w zmianie liczby ludności w i wokół polskich miast - książkowe wręcz przykłady suburbanizacji. Dobre jest też wyjaśnienie algorytmów boostingowych.

Newsletter Dane i Analizy, 2022-12-05

Mon, 05 Dec 2022 15:00:00 +0000

Jak wygląda Mundial na Twitterze?

W kilka dni i właściwie w trzy osoby przygotowaliśmy dashboard pozwalający monitorować co się dzieje podczas meczów na Mundialu. Gdzie to zobaczyć? Na mundial.achaja.org (login: robercik, hasło: nicsieniestalo).
A jak to wszystko działa?

Skrypt w Pythonie zbiera dane z Twittera

API Twittera pozwala na podpięcie się pod strumień (dane same spływają, w czasie rzeczywistym, chociaż przy natłoku komunikatów zdarza się nawet 5-minutowy lag) którym przychodzą nowe obiekty - tweety taki obiekt zawiera treść, tagi, informacje o tym w jakim języku napisany został tekst zbieramy więc te wszystkie twitty dla meczu po hashtagu, np. dla meczu Francja-Polska #FRAPOL oraz #POLFRA dodatkowo zbieramy tweety dla hashtagów ogólnych: #WorldCup #WorldCup2022 #FIFAWorldCup #QatarWorldCup2022 #Qatar2022

Newsletter Dane i Analizy, 2022-11-28

Mon, 28 Nov 2022 15:00:00 +0000

Czarny Piątek co prawda za nami, ale wietrzenie magazynów bardzo się przyda. Tym bardziej, że w ankiecie sprzed bodaj dwóch tygodni przyznaliście, że więcej polecanych tekstów w jednym numerze jesteście w stanie przełknąć. Zatem wietrzymy i mamy więcej niż zwykle.

Ostatnio pokazywałem potencjalną drabinkę Mundialu, która już być może nieco nieaktualna, prawda? Od początku całej imprezy wpadają jednak do wora dane z Twittera i między innymi na fanpage’u pokazywałem przykładowe wykresy. Projekt jest dość prosty w przygotowaniu, jak znajdę czas to (mam nadzieję) w tym tygodniu opiszę z grubsza założenia.
Okazuje się, że big data można robić w kilka dni. Mam w tym doświadczenie, może to “robi robotę”?

Newsletter Dane i Analizy, 2022-10-24

Mon, 24 Oct 2022 15:00:00 +0000

Dzisiejsze wydanie newslettera skupia się na szeregach czasowych. Szeregiem czasowym jest pewnie jakieś 60% danych, na pewno wszystkie zmieniające się w czasie. Tak więc liczba klientów w sklepie (albo stronie internetowej), wynik pomiarów z jakiegoś czujnika (temperatura) itd itp - wszystko to układa się w szeregi czasowe.

A takie szeregi pozwalają na przewidywanie przyszłości. Czasem jest to łatwe, czasem trudne (giełda to też w zasadzie szereg czasowy, a przewidywanie nie jest takie oczywiste). I trochę o tym dzisiaj.

Newsletter Dane i Analizy, 2022-09-26

Mon, 26 Sep 2022 15:00:00 +0000

Wracamy do rysowania wykresów, pobierania danych ze stron internetowych oraz robienia dashboardów (i raportów w Wordzie). To dzisiejsze główne punkty zainteresowań. Ale dla fanów rozwiązań big data też coś się znajdzie.

#analiza_danych_projekty

Automate your music collection
Znudziły Ci się playlisty Spofity? Ciągle słuchasz “ulubionych”? Być może Ci to odpowiada. Ale jeśli lubisz odkrywać nową muzykę to możesz czuć się jak w bańce. Albo wykorzystać historię odtwarzanych utworów oraz API serwisu Last.fm żeby poznać coś nowego

Newsletter Dane i Analizy, 2022-09-05

Mon, 05 Sep 2022 15:00:00 +0000

Pod logiem Fundacji Apache aż roi się od projektów, a świat big data to pewnie w 90-95% Apache COŚ. Znamy Kafkę, znamy Apache Spark, Apache Hadoop. Dzisiaj przedstawiamy (w dziale BigData) kilkoro innych członków rodziny.

Jeśli zaś mamy dużo mapek do wyświetlenia naszym klientom na stronie (bo na przykład monitorujemy każdy wypożyczony rower, hulajnogę czy samochód i mamy miliony wejść na stronę dziennie) to w dziale DevOps coś o rozwiązaniu open soruce, które może zmniejszyć nasze koszty.

Newsletter Dane i Analizy, 2022-08-29

Mon, 29 Aug 2022 15:00:00 +0000

Uważni czytelnicy fanpage’a Dane i Analizy już zapewne przeczytali mój nowy post o analizie tras rowerowych (heatmapa w nim prezentowana już nieaktualna), ale jeśli kogoś ominęło to zapraszam. Pokazuję w nim:
jak przeczytać plik XML jak agregować dwuwymiarowe dane w NumPy jak agregować je w Pandas jak przygotować mapkę w Folium

A jak już tamten tekst znasz to dzisiaj też niemało do wyboru. Zapraszam do lektury!

#AI_ML

Which Python Framework is Better for Machine Learning Apps?
Mamy jakiś nasz cudowny model, daje świetne wyniki, ale predykcje można dostać tylko uruchamiając skrypt z konsoli albo jeszcze gorzej w Jupyter Notebooku. Co zrobić, żeby było to użytecznie online’owe narzędzie? Opakować w API. Ale który pythonowy framework wybrać?

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2022-06-13

Mon, 13 Jun 2022 15:00:00 +0000

Jak być data scientistą w Pythonie?

import pandas as pd

i gotowe!

Żart oczywiście (taki familiadowy, ale kto boomerowi zabroni?), a o samym Pandasie polecam wystąpienie Jana Kantego Milczka z PyData w Bydgoszczy.

#AI_ML

Uber’s Real-Time Document Check
Jak Uber zrobił weryfikację na podstawie dokumentów typu dowód osobisty?

Intro to MLOps Using Amazon SageMaker
Co to MLOps i jak SageMaker pomaga? A chyba pomaga, skoro to najpopularniejsze tego typu narzędzie (tak przynajmniej wynika z case studies pokazywanych na konferencjach)

Newsletter Dane i Analizy, 2022-05-23

Mon, 23 May 2022 15:00:00 +0000

Dzisiaj delikatnie więcej tematów bliższych biznesowi niż IT - mierniki, jakość, zaangażowanie w pracę (to polecam każdemu). Dane i Analizy to też consulting tego typu rozwiązań - jeśli trzeba to zapraszam do kontaktu

Są też standardowo poradniki związane głównie z Pythonem i Big Data, ale znajdzie się też coś dla chcących zacząć poważniej pisać w Javie

#AI_ML

GreenLIT: Using GPT-J to Create Screenplays
Czy sztuczna inteligencja może pisać scenariusze filmowe?

Train XGBoost Models in Amazon SageMaker in 4 Simple Steps
Jak wykorzysać Amazon SageMaker do trenowania modeli w chmurze?

Newsletter Dane i Analizy, 2022-03-07

Mon, 07 Mar 2022 15:00:00 +0000

Dzisiaj świetne teksty o feature selection czy projektowaniu i rozwijaniu API. O API to nawet komiks mamy :)

Przypominam też, że za chwilę (11 marca) startuje CuValley Hack - hackathon, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Uczestnicy skupią się na analizie danych oraz wykorzystaniu AI/ML w układach automatyki przemysłowej. Co Was czeka?
3 zadania i 120 000 PLN do wygrania! 40h kodowania tysiące dostępnych danych webinary, Keynote Speakerzy i duża dawka wiedzy

Newsletter Dane i Analizy, 2022-02-28

Mon, 28 Feb 2022 15:00:00 +0000

Po raz drugi Dane i Analizy są patronem medialnym CuValley Hack. To też druga edycja tego hackathonu, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Impreza startuje 11 marca.

Hackathon zrzesza otwarte umysły i pomysłowych specjalistów, którzy chcą tworzyć innowacyjne projekty dla polskiej miedzi. Uczestnicy skupią się na analizie danych oraz wykorzystaniu #AI, #MachineLearning czy #BigData w układach automatyki przemysłowej. Co Was czeka?
3 zadania, w których do wygrania wysokie nagrody pieniężne 40 godzin kodowania i networking na kanale Slack tysiące dostępnych danych webinary, Keynote Speakerzy, porządna dawka wiedzy i inspiracji!

Newsletter Dane i Analizy, 2022-02-14

Mon, 14 Feb 2022 15:00:00 +0000

Dzisiaj coś trudniejszego niż MNIST oraz ściągawka z algorytmów grupowania elementów (clustering). Do tego ciekawy projekt wizualizacji danych z meczów piłki nożnej.

A jeśli myślisz o projektowaniu systemów a nie tylko o samej analizie danych to wykład Sławka Sobótki o Domain Driven Design powinien Cię uradować.

#AI_ML

Using Google Cloud Machine Learning APIs
Jak korzystać z interfejsów machine learning API od Google w Pythonie? Część pierwsza cyklu

Using FastAI to classify Japanese kanji characters
Rozpoznawanie pisanych ręcznie cyfr - czyli zbiór MNIST - to może być zbyt prosty problem dla adeptów sztuki nauki o danych

Newsletter Dane i Analizy, 2022-01-31

Mon, 31 Jan 2022 15:00:00 +0000

Dzisiaj odcinek dość pythonowy, ale za to z obszernym tekstem o tworzeniu modeli w R - cały proces opisany po kolei. Polecam!

#AI_ML

Natural Language Processing (NLP) for Semantic Search
Duża pozycja, która wprowadza w świat NLP

#ciekawostki

What Does a Data-Driven Government Look Like?
Teoretycznie więcej danych to lepsze decyzje. Czy zarządzanie maistem albo państwem jest możliwe w oparciu o dane? Jak może to wyglądać?

AI Geospatial Wildfire Risk Prediction
Przewidywanie zdarzeń związanych z geografią - pogoda, pożary - ciekawe zagadanienie, a często pomijane przy np. poradnikach ML.

Newsletter Dane i Analizy, 2022-01-03

Mon, 03 Jan 2022 15:00:00 +0000

Dzisiaj kilka tematów “pokrytych” nie tylko jednym tekstem. Mamy więc coś o modelach BERT plus automatycznie tworzenie tekstów przez GPT-3, mamy wizualizacje danych na mapach (w R i Pythonie). Mamy też cykl, który pozwoli na napisanie bota do np. CS:GO.

Na blogu od dawna nie było nowego tekstu (stąd podlinkoway niżej tekst o GPT-3 ;), ale jakieś rzeczy robię i publikuję. Zwykle jest tak, że energia opada po przygotowaniu działającego kodu. Tak jest z serwowaniem obrazków przez API (przy okazji te obrazki się generują) - sami zobaczcie do repozytorium.

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Newsletter Dane i Analizy, 2021-10-23

Sat, 23 Oct 2021 09:00:00 +0000

Best front-end Python frameworks in 2021
Welcome back! Python is an awesome programming language with a ton of capability, one of these functions is building GUI’s (front-ends), so let’s talk about some of my favorite front-ends frameworks for Python. Now, Python is an awesome language for web development as well, if you want to see some sample websites you can build with Python, check out this article below: Let’s take a look at some (…)

Newsletter Dane i Analizy, 2021-10-11

Mon, 11 Oct 2021 09:00:00 +0000

Top 5 Time Series Analytics
Learn about the top use-cases and techniques for time-series data Time is present in most of the data around us. From retail product sales data to financial stock price, to IoT sensor data, all have a notion of time in it. So mastering time-series analytics is going to make you master of the data science world The top 5 analytics which I will demonstrate here are Seasonality Detection to find (…)

Newsletter Dane i Analizy, 2021-09-20

Mon, 20 Sep 2021 09:00:00 +0000

VLOOKUP implementation in Python in three simple steps
Oftentimes, in the field of data analytics, it’s the data cleaning and processing that takes the most amount of time and effort. While the steps such as data cleaning, filtering, and pre-processing are generally under-evaluated or overlooked as compared to more juicy components such as the model development, it’s the quality of data that determines the quality of output. As it is rightly said, (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-09-06

Mon, 06 Sep 2021 09:00:00 +0000

How Much More Time We Spent at Home
We had to do more from home. Here’s how much everything shifted by total minutes in a day. Tags: home , time use

A Comprehensive Guide to Image Processing: Using an OpenCV Tool
Image Processing Essentials An image processing tool with OpenCV, QT Creator, and C++ As the last part of this series on the Image Processing flow, I want to present a simple Image Processing Tool implemented using OpenCV 3.2.0 on QT Creator (5.12.10) with C++ to apply almost all the Image Processing operations discussed in the previous posts. To be able to use it, it’s enough to build OpenCV (…)

Newsletter Dane i Analizy, 2021-07-19

Mon, 19 Jul 2021 09:00:00 +0000

Dobry, zły i brzydki – Parę słów o Pandas UDF w Apache Spark | Tech Blog ING Bank Śląski
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak (…)

Geocoding in Python: A Complete Guide
A step-by-step tutorial on geocoding with Python Continue reading on Towards Data Science »

Ile czasu marnujemy na spotkaniach?

Fri, 28 May 2021 15:50:04 +0000

Jak z poziomu Pythona dostać się do zawartości Outlooka (poczta, kalendarz)?

W niedawnym tekście opisałem drogę do aktualnego miejsca i zajęcia w pracy. Pisałem (chyba tak, sprawdź!), że sporo czasu zajmują mi spotkania? Sprawdźmy!

Photo by Estée Janssens on Unsplash

Poprzednio nie było też kodu, a przecież kod jest najciekawszy.

Gdzieś po drodze miałem styczność z VBA, a niedawno odkryłem, że w sumie z narzędziami MS Office można postępować dość podobnie z poziomu Pythona jak z poziomu VBA. Dzisiaj więc trochę o narzędziach MS Office dotykanych Pythonem.

Newsletter Dane i Analizy, 2021-05-10

Mon, 10 May 2021 09:00:00 +0000

How to Perform Basic ML Serving With Python, Docker, and Kubernetes
This tutorial provides a basic, step-by-step example of real-time serving a machine learning (ML) model as a REST API with Python, Docker, and Kubernetes. We’ll build a basic REST API with Python, test it locally with Docker, and deploy our API with Kubernetes. By the way, if you want to go faster, (…)

Dockerizing Shiny Applications
Docker provides isolation to applications. Images are immutable. Running multiple instances of the same image can serve many users at the same time. All these general advantages of containerized applications apply to Shiny apps too. The post Dockerizing Shiny Applications first appeared on (…)

Jak trzymać konfigurację skryptów?

Mon, 29 Mar 2021 16:06:13 +0000

Jak trzymać konfigurację skryptów? Żeby było bezpiecznie i wygodnie? Przy prostych zadaniach konfiguracyjne parametry można (ale nie należy!) trzymać inline w kodzie. Ale lepiej w zmiennych (właściwie stałych) zdefiniowanych na początku pliku (i odpowiednio nazwanych, żeby wiedzieć że to stałe związane z konfiguracją). A najlepiej - w pliku zewnętrznym (lub zmiennych systemowych, ale tym się dzisiaj nie zajmiemy).

Photo by Ferenc Almasi on Unsplash

Dlaczego w pliku zewnętrznym? Z co najmniej dwóch powodów:

Które API szybsze - w Pythonie czy w R?

Fri, 05 Jun 2020 15:48:33 +0000

Wiele razy czytałem opinie, że Python jest szybszy a R nie nadaje się na produkcję. Ale to opinie nie potwierdzone badaniami. Tutaj pierwsze badania na ten temat!

Testom podlegać będzie API zbudowane w R z użyciem frameworków Plumber i RestRserve oraz w Pythonie z użyciem Flask.

Biorąc pod uwagę analizę danych i na przykład wnioskowanie czy predykcje oparte o te dane zarówno R jak i Python dobrze się sprawdzają. Mam nadzieję, że niejednokrotnie w ramach tego bloga pokazałem, że R jest idealny do analizy danych. A o Pythonie w tym samym kontekście pisze się wszędzie (i pewnie tutaj będzie też coraz więcej). Zatem czy warto wybierać pomiędzy tymi rozwiązaniami przy wdrożeniu na produkcję?

(py)Spark, Hadoop i HDFS - podstawy

Thu, 09 Apr 2020 19:06:13 +0000

Dzisiaj zajmiemy się wykorzystaniem Sparka i Hadoopa do przetwarzania większej ilości danych. Oraz do budowania prostego modelu (regresji liniowej). Może jeszcze nie jest to big data, ale mechanizmy są identyczne jak w przypadku większej liczby danych. Wystarczy tylko tych danych więcej zgromadzić, zbudować większe środowisko (dużo serwerów) i… też będzie działało.

A w dodatku poznamy pakiet faker który pozwoli nam na wygenerowanie sztucznych danych.

Spark i Hadoop

Apache Spark to rozwijana na zasadach open source platforma klastrowego przetwarzania danych, która ma interfejsy API dla takich języków programowania jak Scala, Python, Java i R.

Muzyka i data science

Tue, 24 Mar 2020 17:11:08 +0000

Każdego dnia pojawia się nowa muzyka, w wielu różnych gatunkach. Jak wybrać to, czemu warto poświęcić czas?

Dodatkowo dowiemy się jakie znaczenie ma uczciwe przygotowanie danych.

Zdjęcie na okładce: Franck V. on Unsplash

Gdybym miał powiedzieć co lubię najbardziej bez wątpienia byłaby to muzyka. Słucham dużo, nie wyobrażam sobie życia w ciszy. Ale mimo dostępu do nieskończonych (powiedzmy) zasobów muzycznych chociażby poprzez Spotify zauważyłem, że zamykam się w bańce już znanych wykonawców i utworów. A ja lubię odkrywać nowe dźwięki, tylko nie mam czasu (trochę też zbyt na to jestem leniwy) na szukanie nieznanych utworów czy wykonawców. Po co mam poświęcać kupę czasu na szukanie czegoś co mi się nie spodoba?

(Inteligentne) Raporty na żądanie

Wed, 07 Aug 2019 20:17:22 +0000

Dzisiaj przygotujemy narzędzia do automatycznego generowania raportów, które będzie (quasi) inteligentnie odpowiadać na pytania zadane przez email.

Czyli jak pozbyć się upierdliwej pracy (i zająć się czymś innym)

Uwaga: wraz z aktualizacją pakietu gmailr do wersji 1.0 prezentowany poniżej kod związany z logowaniem do konta może nie działać. Przeczytaj proszę informacje o tym jak to zmienić Kod na GitHubie powinien być ok.

Problem z jakim można się często spotkać w korporacjach to wysyłanie tych samych raportów mailem. Wyobraźmy sobie taki scenariusz:

Model jako API (w R)

Wed, 17 Jul 2019 13:19:18 +0000

Budujemy model w R. Daje nawet dobre wyniki. Ale jak go użyć produkcyjnie? Gdyby tak pytać o wynik korzystając z API?

Dzisiaj o tym jak przygotować w R web-serwis, czyli narzędzie które zapytane (w odpowiedni sposób) przez internet zwróci nam jakiś wynik. W naszym przypadku odpowiedzią będzie wynik działania modelu.

Zadanie podzielimy na kilka etapów:

przygotowanie modelu
przygotowanie funkcji, które będą używać naszego modelu
web-service korzystający z tych funkcji

Przygotowanie modelu

Na warsztat weźmiemy bardzo prosty przykład i prosty model. Będziemy przewidywać gatunek irysa na podstawie rozmiarów płatka (petal) i kielicha (sepal) - czyli wykorzystamy popularny w uczeniu maszynowym zbiór iris.

Spark, czyli opóźnienia pociągów

Fri, 21 Dec 2018 14:52:21 +0000

Czy polskie pociągi są punktualne? To pytanie, na które poszukamy odpowiedzi, ale jest ono tylko przyczynkiem do dzisiejszego wpisu.

Chciałbym pokazać dzisiaj sposób znalezienia odpowiedzi, nawet nie samą odpowiedź. Skąd wziąć dane? Jak sobie z nimi poradzić? Czym je uzupełnić?

Pozyskanie danych

W pierwszym odruchu pomyślałem o stronach PKP i webscrappingu. Ale na Twitterze mojego bota @rstatspl obserwuje inny bot - @OpPociagow, który prezentuje ciekawe dane. Skoro prezentuje to je ma. Skoro ma, to gdzieś są. Chwila rozmowy z twórcą i uzyskujemy adres InfoPasażer Archiver - archiwum opóźnień pociągów.

Facebook w R

Tue, 16 Oct 2018 15:04:18 +0000

Kto uważany jest za gwiazdę rozrywki 100-lecia niepodległej Polski? Takie pytanie pojawiło się w poniedziałek 15 października na fanpage’u Karoliny Korwin-Piotrowskiej. Pani Karolina poprosiła o wpisywanie nazwisk w komentarzach. Oczywiście obudził się we mnie umysł pragmatyczny i zapytał (siebie): ciekawe jak ona to ręcznie sobie policzy?. Ludzie przecież będą wpisywać nazwiska jak leci a nie w jakiejś uporządkowanej formie. Bo ankietę można zrobić tak jak ta majonezowo-ketchupowa do której wypełnienia serdecznie namawiam! Jak będzie dużo głosów to będzie sensowny wynik. I opowieść jak to wszystko zostało zbudowane. Zajmie Ci to góra dwie minuty. Nie po to człowiek siedzi w internecie i analizie danych, żeby z takim problemem sobie nie poradził. A że w R jest dostępny pakiet Rfacebook to zadanie policzenia głosów jest banalnie proste. Poza Rfacebook przyda nam się kilka innych pakietów (w sumie standard):

Google Analytics w R

Wed, 26 Sep 2018 16:16:34 +0000

Google Analytics to chyba najpopularniejszy sposób mierzenia ruchu na stronach internetowych. Można bardzo dużo wyklikać w panelu, ale może zaistnieć potrzeba pobrania danych statystycznych do analiz, których GA nie daje. Dzisiaj dowiesz się jak zrobić to w języku R. Jak większość zadań, tak samo i to ma pomocny pakiet. Jak można się podziewać pakiet nazywa się RGoogleAnalytics i dostępny jest poprzez instalację z GitHuba:

devtools::install_github("Tatvic/RGoogleAnalytics")

Załadujmy więc go do R (razem z innymi pakietami) i do dzieła:

Gdzie są sklepy, drogi czy cokolwiek innego?

Fri, 10 Aug 2018 18:49:05 +0000

Zastanawialiście się skąd wziąć listę wszystkich miejsc danego typu - na przykład przedszkola w Warszawie - i narysować je na mapie? Jeśli tak, to z tego postu dowiesz się jak to zrobić. Wpis techniczny, żadna tam analiza. Ale są mapki! Macie świadomość, że istnieje coś takiego jak Wikipedia, prawda? Zbiór haseł uzupełniany przez ochotników. Istnieje coś podobnego dla map i nazywa się Open Street Map. Ludzie z całego świata dodają informacje o różnych obiektach na mapach - budują drogi, stawiają domki i tak dalej. Dane te można pokazać jako mapy, ale też przeszukiwać. W R mamy pakiet osmdata (przygotowany przez zacną inicjatywę rOpenSci, a jest opakowaniem dla Overpass API), który umożliwi nam skorzystanie z tych informacji. W dalszej części do pokazania (na interaktywnych, przesuwanych i skalowanych) map użyjemy pakietu leaflet (opierający się na bibliotece JavaScript Leaflet, który nota bene również korzysta z Open Street Map. Ciekawostka na marginesie: ostatnio Google zmienił drastycznie ceny używania Google Maps (ciekawy tekst na ten temat znajdziecie tutaj), zatem korzystanie z Open Street Map może być wybawieniem. Zaczniemy od wczytania odpowiednich bibliotek:

Dziewczyny z Sympatii - co widać na zdjęciach?

Mon, 30 Jul 2018 16:34:30 +0000

Było już o kobietach z Sympatii (i o panach), ale wszystko to było na podstawie informacji zawartych w profilu. Dzisiaj sięgniemy nieco głębiej. Zbierając profile zebraliśmy też linki do zdjęć. Korzystając z microsoftowego Cognitive services Face API pobieramy cechy jakie udaje się rozpoznać na zdjęciach. Między innymi są to informacje o:

wieku
płci
okularach
kolorze włosów
emocjach jakie wyraża twarz, na przykład czy osoba na zdjęciu się uśmiecha

W dużym uproszczeniu Face API to bramka do wytrenowanego modelu (zapewne sieci neuronowej). Wrzucamy zdjęcie, a w odpowiedzi dostajemy kilka parametrów, które są wynikiem porównania zdjęcia z tym czego sieć się nauczyła. Skrypt (jaki inne z tego cyklu) znajdziecie na githubie. Pobrałem tylko dane dla zdjęć pań, nie będzie odpowiednika tego samego wpisu dla panów. Zobaczmy co sztuczna inteligencja wyczytała ze zdjęć i jak to się ma do informacji podawanych w profilach przez ich właścicielki.

API, Feedly i R

Fri, 20 Apr 2018 09:00:16 +0000

Jak zmusić R do korzystania z (dowolnego) API? Jak przygotować atrakcyjne tabelki w raportach? Nie tak dawno na Dane i analizy wrzuciłem post z informacją, że Feedly ma API. Źródłem inspiracji był post z bardzo fajnego bloga, którego autor chyba pracuje nad biblioteką do R obsługującą API Feedly (tak to wygląda po opublikowanych przez niego fragmentach kodu). Niby nic szczególnego, ale od czasu śmierci Google Readera brakuje mi w czytnikach RSS jednej rzeczy: informacji o tym, których kanałów nie czytam. Google Reader miał to niejako wbudowane (był wskaźnik liczby przeczytanych postów do wszystkich opublikowanych w kanale), Feedly niestety tej informacji nie ma. Spróbujemy to samo uzyskać w Feedly, najpopularniejszym chyba czytniku RSS. Może na początek słówko wyjaśnienia co to jest czytnik RSS? Większość z nas korzysta z internetu podobnie: przeglądamy wiadomości, Facebooka i Twittera (też jako źródło wiadomości), jakiegoś Instagrama czy Snapchata (to już magia dla mnie, zapewne w związku z wiekiem…). Jeśli coś nas zainteresuje w feedzie na Facebooku to przechodzimy na odpowiednią stronę, czytamy i wracamy. Podobnie jest z Twitterem. Do wiadomości najczęściej używamy jednego portalu. Problem pojawia się kiedy czytamy jakieś ulubione blogi i nie pamiętamy aby na nie wejść (a Facebook skutecznie usuwa nam z walla posty z odpowiednich stron). Albo jak potrzebujemy porównać wiadomości prezentowane przez Wyborczą, TVN z tym co pisze TVPInfo, Niezależna czy TV Republika. Poza tym nie ma czasu na czytanie nawet leadów, opinię o tekście można sobie wyrobić na podstawie samego tytułu, a jakże! Co zrobić? Z pomocą przychodzą właśnie czytniki RSS. Kanał RSS to takie pliczki XML na serwerach (najczęściej generowane automatycznie) z najnowszymi wpisami (lub ich skrótami) albo czymkolwiek innym (np. z najnowszymi ogłoszeniami z Allegro czy OLX - przydatna opcja jeśli śledzimy ogłoszenia z jakiejś kategorii, na przykład polujemy na aukcje z poszukiwanym winylem). Feedly to jeden z czytników tych kanałów. Cały myk polega na tym, że serwis co jakiś czas (jak często dowiemy się na przykładzie za chwilę) sprawdza kolejne kanały i zapisuje sobie nowości. A potem na jednej stronie widzimy skróty i linki do wszystkich kanałów. Ja mam jakieś 170 kanałów zapisanych w Feedly - nie dałbym rady codziennie ogarnąć tylu stron. Wystarczy za to 15 minut z Feedly i przegląd nowości mam z głowy. Dodatkowy plus czytnika jest taki, że nie musimy pamiętać co czytaliśmy - czytnik sam to oznacza. Ja robię tak, że przeglądam całość, czytam to co mnie interesuje (albo zaznaczam do przeczytania później - ta lista stale rośnie…), a resztę oznaczam jako przeczytane. I przy kolejnej sesji z Feedly nie miesza mi się to co nowe z tym co już czytałem (albo tylko tak oznaczyłem). Rozumiecie już ideę? Wszystkie serwisy (na które się zapiszemy) w jednym miejscu, w wygodnej aplikacji. Idealna sprawa. Ale przy większej liczbie obserwowanych kanałów rośnie liczba treści jaka wpada do czytnika. A części kanałów nie czytamy. Ja na przykład mam kategorię Wiadomości - zagranica, gdzie pojawia się dużo treści (bo są tam najnowsze z CNN i BBC), a których czytam kilka… tytułów. Resztę oznaczam jako przeczytane. Wracając do celu całego ćwiczenia: chciałbym wiedzieć które kanały usunąć, żeby mi nie zaśmiecały feedu - po co ma pojawiać się coś, czego i tak nie czytam? Zajmiemy się dzisiaj w związku z tym próbą rozwiązania tego problemu. Początek standardowy:

A lato było cieplejsze...

Tue, 27 Mar 2018 10:22:04 +0000

Czy w Boże Narodzenie zawsze brakowało śniegu? Czy klimat się ociepla? Jak ciepło przepływa przez Polskę? Dzisiaj zajmiemy się pogodą. Sporo ciekawych zagadnień przed nami:

Skąd wziąć dane o pogodzie w Polsce?
Pory roku na przestrzeni lat - czy wiosna przychodzi szybciej? A może lat trwa krócej?
- zobaczymy procentowy podział dni w roku na poszczególne pory roku (ile było dni wiosennych, a ile zimowych)
- czy wiosna przychodzi coraz szybciej - jak kształtowała się temperatura w marcu na przestrzeni lat?
Czy klimat się ociepla?
- jak wyglądały różnice w temperaturze na przestrzeni lat
- czy poszczególne miesiące są coraz cieplejsze lub zimniejsze?
- podobnie dla kolejnych dni - jak wyglądała liczba dni cieplejszych i zimniejszych niż średnia?
Czy jest różnica miedzy temperaturami w kraju?
- przygotujemy animowane mapki temperatury dla 2017 roku
A kiedyś to było…
- Boże Narodzenie ze śniegiem
- w Lany Poniedziałek było cieplej

Pobranie danych

Zanim przejdziemy do analizy potrzebujemy danych o pogodzie. Zgodnie z ustawą o dostępie do danych publicznych IMGW udostępnia dane historycznie na stronie https://dane.imgw.pl/. Dane aktualne są dostępne poprzez API, ale dane historyczne spakowane już niestety nie. Dostępne są w postaci spakowanych plików CSV, podzielone na kilkanaście katalogów. Do wszystkiego da się jednak dobrać. Aby skorzystać z tych zasobów należy każdy plik (archiwum) pobrać, rozpakować i wyciągnąć z niego dane. Aby nie operować na dużej liczbie plików przepiszemy je do bazy danych (w tym przypadku będzie to plikowa baza SQLite, chociaż może być dowolna - mySQL, PostgreSQL). Skrypt przepisujący dane znajdziecie na moim githubie (jak i pozostałe poniżej zaprezentowane kody).

Jak zrobić twitterowego bota?

Wed, 21 Mar 2018 09:52:09 +0000

Automaty rządzą naszym życiem. Czy tego chcemy czy nie. Szczególnie w sieciach społecznościowych, nawet podobno wygrały wybory prezydenckie w USA (ciekawe czy w Rosji też). Spróbujmy zatem samodzielnie napisać jakiś automat działający w social mediach. W R, chociaż można w czymkolwiek innym.

Przygotujemy automat (bota), który będzie na Twitterze publikował wybrane przez nas treści. Taki bot już istnieje - to @rstatspl. W tym wpisie znajdziecie informacje jak powstał. Bot @rstatspl robi trzy rzeczy:

Przez losowy las Spotify

Sun, 10 Dec 2017 10:16:32 +0000

Czy machine learning może pomóc w poszukiwaniu ulubionej muzyki? Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Już kiedyś o tym było w oparciu o LastFM, dzisiaj będzie w oparciu o Spotify. Taki szybki wpis. Na początek potrzebujemy kilku elementów:

własnej aplikacji współpracującej z API Spotify - zbudować ją można zaczynając z dashboardu Spotify, potrzebujemy numerku client_id i client_secret
te numerki wpisujemy do zmiennych o tych samych nazwach i zapisujemy sobie lokalnie (żeby nie przechowywać ich w kodzie) w pliku spotify_cred.rda. W bardzo prosty sposób: save(client_id, client_secret, file = "spotify_cred.rda")
następnie budujemy kilka funkcji, których będziemy używać. Kod jest długi, nie warto go tutaj zamieszczać - znajdziecie go na GitHubie (swoją drogą jest tam nieco więcej funkcji niż potrzeba, ale nie wszystkie skończone i działające)

Uzbrojeni w taki zestaw zaczynamy od pozyskania tokenu:

Zmiany temperatury w czasie - animowany wykres kołowy

Thu, 10 Aug 2017 08:12:44 +0000

Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić. Wspomniany filmik to

Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs. Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz - w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj. Dodatkowo instalujemy pakiet RGoogleAnalytics:

Najbardziej aktywni użytkownicy na stronach partii

Tue, 08 Aug 2017 14:43:11 +0000

Kim są osoby najbardziej aktywne na fanpage’ach poszczególnych partii? Po artykule Anny Mierzyńskiej a jeszcze bardziej (i wcześniej) po publikacji wyników analizy naukowców z Oxfordu na temat fake-newsów i kont-botów zapragnąłem zrobić dokładnie to samo. Sprawdzić jak bardzo prawdopodobne jest, że konta które są najbardziej aktywne są botami. Metodologia jest stosunkowo prosta: trzeba wytypować najbardziej aktywne konta, sprawdzić ile osób mają w znajomych, co lajkują (jak często) i co podają dalej, jak dużo napisały postów i w jakim czasie (czy są młode czy stare). Na podstawie kilku wskaźników można określić z jakimś prawdopodobieństwem czy konto jest botem. Niestety, o ile na Twitterze większość informacji można pobrać, o tyle z Facebookiem jest już gorzej i niewiele się da wyciągnąć z API. Anna Mierzyńska swoją analizę przeprowadziła ręcznie. Ja nie lubię takiej dłubaniny, szczególnie jeśli są narzędzia. Podczas prób moja analiza obrała nieco inny kierunek (nie Czy konto jest botem? a Kim jest użytkownik?). Zobaczmy co wyszło. Na początku potrzebujemy danych. Wytypowałem osiem facebookowych stron partii pokazywanych w sondażach:

The Rolling Stones Tour

Tue, 25 Jul 2017 10:39:50 +0000

Po wolnej musi być szybka, takie są zasady muzykowania pada na koncertowej płycie Bolilol Tour zespołu Illusion. Sprawdźmy czy tak jest na koncertach… …ale nie dokładnie to sprawdzimy. Inspiracją dla niniejszego postu jest wpis z 2011 roku o utworach granych przez Metallicę na koncertach, szczególnie infografika, o której ów wpis jest. Infografika przedstawia popularność piosenek granych na koncertach. Skoro ktoś mógł to zrobić, to dlaczego nie ja? Instrukcja jak zrobić to samo poniżej. Za źródło danych posłuży serwis Setlist.fm, w którym znaleźć można całą masę informacji o koncertach - przede wszystkim datę, miejsce i to co najbardziej interesująca - lista utworów. Dane pobierać będziemy przez API, do którego potrzebny jest klucz. Po założeniu konta w serwisie możemy sobie taki wygenerować. Z API rozmawiamy JSONem - dlatego poniżej biblioteka jsonlite oraz RCurl do odpytywania tegoż API.

Mecz Polska - Rumunia na Twitterze

Mon, 12 Jun 2017 11:00:36 +0000

Wydarzenia sportowe (lub inne dziejące się tu i teraz) są bardzo wdzięcznym tematem analizy tego, co dzieje się w mediach społecznościowych. Jak wyglądał Twitter podczas meczu Polska - Rumunia?

Przygotowanie tokenu

Aby zebrać dane z Twittera potrzebujemy zbudować aplikację, która wykorzysta API Twittera i jej tokenu. W samym R wykorzystamy pakiet rtweet. Koniec końców potrzebny nam jest klucz API (para Consumer Key i Consumer Sectet) - jak je zdobyć można przeczytać tutaj (z obrazkami). Odpowiednie wartości należy przypisać do zmiennych poniżej. Kod przygotuje nam token i zapisze w lokalnym pliku, dzięki temu w przyszłości będziemy mogli taki token wykorzystać:

Oceny filmów i ich przewidywanie

Thu, 08 Jun 2017 13:59:55 +0000

Od czego zależą oceny filmów? Jak będzie oceniony film, który dopiero powstaje? Dawno temu, czyli gdzieś około roku, może nawet półtora temu, zebrałem z Filmwebu prawie całą ówczesną bazę danych o filmach. Wykorzystałem biblioteki napisane w PHP korzystające z (nie)oficjalnego API Filmwebu budując skrypt, który dla kolejnych ID “produktów” (produktów, bo Filmweb ma nie tylko filmy, ale również seriale i gry) i pobierał odpowiednie informacje (do ID bodaj 770 tys.): rok produkcji filmu, jego polski i oryginalny tytuł, czas trwania, gatunki, twórców i obsadę oraz liczbę ocen i średnią ocenę (na moment pobrania danych). Powstało kilka plików CSV (pliki relacyjne) z dużą ilością danych. Dzisiaj z tego skorzystamy i pooglądamy jak zmieniał się przemysł filmowy. Pliki zgromadzone zostały w formie CSV, po wyczyszczeniu danych wpakowałem wszystko w jeden plik z danymi. Wczytajmy sobie te dane:

Partie polityczne i sport

Thu, 25 May 2017 12:32:43 +0000

Czy preferencje polityczne mają jakiś związek z preferencjami sportowymi? Innymi słowy: czy jeśli lubię PSL to wolę piłkę nożną czy jednak bieganie? Stereotypowo mogłoby to wyglądać tak: Nowoczesna to biegi, PiS - piłka nożna i podnoszenie ciężarów (przed tv, ciężary 500ml w puszce), Kukiz - wędkarstwo, PSL - wypas owiec. Koniec żartu, można się śmiać. A jak jest? Zrobimy eksperyment z dużą ilością danych. Facebook ma to od ręki, dlatego wykorzystamy publiczne informacje z tego właśnie źródła. Poza tym - te 2 miliardy użytkowników zostawia bardzo dużo informacji o sobie. Według badania Gemius/PBI za kwiecień 2017 w Polsce z Facebooka korzysta 22.6 mln internautów (81.4% wszystkich, co ciekawe - zanotowano spadek o ponad 200 tys. m/m). Jak to zrobić? Po pierwsze trzeba wytypować listę fanpage’y na podstawie których będziemy wyciągać wnioski. Skorzystałem z dwóch źródeł: własnej głowy (i sondaży poparcia) aby wytypować partie i z własnych rąk aby wyszukać ich fanpages na Facebooku. Druga strona równania to lista fanpage’y sportowych (dla mnie trudniejsze) - tutaj skorzystałem z raportów Sotrender. Teraz metodologia. Można na kilka sposobów. Na przykład biorąc listę fanów poszczególnych stron i szukając części wspólnych tych zbiorów. Tak będziemy działać. Problemem jest tylko jak uzyskać listę fanów? Kiedyś Facebook udostępniał poprzez API możliwość wywoływania zapytań FQL (to taki podobny do SQL język dla FB). Ale ograniczenia prywatności spowodowały, że to nie działa. Trzeba więc inaczej, co nieco zaburzy wyniki (trudno mi jednocześnie na szybko oszacować jak bardzo). Posty na stronach są publiczne, ludzie lajkują i komentują. Facebook udostępnia poprzez API dane o tych komentarzach i lajkach, w tym ID (oraz imię i nazwisko) użytkowników, którzy taką interakcję poczynili. Zatem weźmiemy posty każdej ze stron, dla każdego postu listę osób reagujących (policzymy tylko like i comment - bez share oraz innych reakcji) na post. Tym sposobem nie będziemy mieć fanów (jest ich zapewne więcej niż wchodzących w interakcję - jaka to różnica wyjdzie po drodze; a jednocześnie na tych stronach można komentować i lajkować nie będąc jednocześnie fanem strony), ale coś podobnego. Może nawet lepszego (użytkownik zaangażowany jest cenniejszy niż bierny obserwator).

Nowa Europa (według k-means)

Wed, 19 Apr 2017 13:53:09 +0000

Czy granice państw europejskich są wyznaczone poprawnie? Jak wyglądałyby gdyby użyć algorytmów?

Tak zrobimy - sprawdzimy jak algorytm k-średnich “rozdzieli” na poszczególne kraje miasta biorąc pod uwagę ich położenie geograficzne. I zobaczymy co się stanie jak w Europie będzie mniej państw (oczywiście hipotetycznie, oczywiście na podstawie algorytmu, a nie wojny o ziemię). Trochę o algorytmach pisałem już wcześniej, tutaj użyjemy najprostszego z algorytmów - k-średnich. Metoda będzie prosta - dla każdego miasta znajdziemy jego współrzędne, później na podstawie współrzędnych dokonamy klasyfikacji do nowych grup. Na początek tej samej ilości grup (państw) jaką mamy obecnie - sprawdzimy czy granice są “odpowiednie”. Później będziemy zmniejszać ilość “nowych państw”.

Tramwaje warszawskie

Wed, 12 Apr 2017 08:54:46 +0000

Dzisiaj zajmiemy się ruchem tramwajów w Warszawie. Jak zmienia się ruch w ciągu dnia? Jakie i ile tramwajów jeździ po warszawskich torach? Inspiracją do tego wpisu jest filmik obrazujący podobne dane z Nowego Jorku.

Ekstra, co nie? Zrobimy to samo. Bo możemy, bo chcemy, bo potrafimy.

Źródło i pobranie danych

Skorzystamy z otwartych danych, jakie dostępne są na stronie Otwarte dane po warszawsku. Na początek potrzebna będzie rejestracja na tej stronie i uzyskanie klucza API, który pozwoli na dostęp do różnych ciekawych danych jakie udostępnia Miasto Stołeczne Warszawa. Po uzyskaniu klucza API koniecznie będzie wpisanie jego wartości w miejsce NUMER_APIKEY w poniższym kodzie.

Redakcje informacyjne na Facebooku

Sat, 18 Mar 2017 09:31:57 +0000

Jak pracują redakcje serwisów informacyjnych na Facebooku? Kiedy publikują, jakiego rodzaju treści? Czy “cała prawda całą dobę” to prawda? Dobierzemy się do postów publikowanych przez redakcje informacyjne i zobaczymy jak wygląda obraz tych redakcji na Fejsie. Do tego celu użyjemy biblioteki Rfacebook, której nie ma w CRANie, ale jest na GitHubie - jest sposób, aby i takie coś zainstalować w pakiecie R i korzystać tak samo jak z bibliotek z CRANa. Potrzebujemy biblioteki devtools, przy pomocy której zainstalujemy Rfacebook. Najpierw instalujemy devtools:

Róbmy swoje, Panie Wojtku!

Thu, 16 Mar 2017 14:22:03 +0000

Wczoraj wieczorem zmarł Wojciech Młynarski. Zobaczmy czy był popularny - korzystając z Wikipedii. Za miarę popularności uznamy liczbę wyświetleń hasła poświęconemu Panu Wojciechowi w polskiej Wikipedii. Im bardziej osoba popularna, tym częściej poszukuje się o niej informacji. Założenie dość dobre, prawda? Chyba, że… tak - w przypadku ogólnego medialnego szumu wokół osoby (na przykład z powodu śmierci) ta miara zostaje zaburzona. Co też za chwilę zobaczycie. Potrzebne będzie kilka bibliotek - do obróbki danych dplyr oraz reshape2, do wykresów ggplot2; stringr przyda się do jednego przekształcenia ciągu znaków. Dane pobierzemy przez API w formacie JSON z serwisu Wikimedia.org przy pomocy httr i przekształcimy do formatu data.frame przez fromJSON() z biblioteki jsonlite.

Poszukiwanie nowej muzyki

Thu, 09 Mar 2017 10:00:43 +0000

Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Uwielbiam poznawać nową muzykę, poszukiwać nowych smaków i cieszyć się nowymi odkryciami. Co prawda od kilku lat coraz trudniej znaleźć coś interesującego i innego. Albo są to popłuczyny po Kornie, albo jakaś kolejna wersja wczesnego Coldplay (który z każdą nową płytą jest coraz dalej od mojego gustu). Do poszukiwań wykorzystamy to co już znamy i lubimy. Bo najbardziej podobają mi się piosenki, które już raz słyszałem. W określeniu tego co znamy i lubimy pomoże LastFM. Serwis o którym pisałem przy okazji analizy nastrojów muzycznych zbiera nasze scrobble (przesłuchane utwory), ale posiadając tak dużo danych potrafi “polecić” coś od siebie. Algorytm polecający LastFM w dużym stopniu polega na porównywaniu gustów poszczególnych użytkowników, szukaniu podobieństw i wskazywaniu wykonawców pasujących do już znanych. Albo do innych wykonawców, mniej więcej na zasadzie: skoro dużo osób słucha Nirvany i Pearl Jam to te kapele są do siebie podobne. Oczywiście to nie jedyne cechy podobieństwa - są też tagi, lata działalności itp. Nie będę wchodził w algorytm LastFM, a wykorzystam dane jakie można z LastFM uzyskać. A z pomocą pakietu RLastFM w łatwy sposób uzyskamy dostęp do API serwisu. Przygotowanie R do pracy to ewentualne zainstalowanie wspomnianego pakietu, uzyskanie klucza API z LastFM oraz załadowanie potrzebnych bibliotek (tutaj: dplyr, ggplot2, reshape2). Wszystko to opisałem w poście “Jesienna deprecha”. Konfiguracja skryptu to 4 zmienne:

Jesienna deprecha

Wed, 01 Mar 2017 16:35:06 +0000

Mam znowu doła Znów pragnę śmierci Wracają stare lęki I nie mogę w nocy spać Czy “jesienna deprecha” ma odbicie w słuchanej muzyce? Zacytowany na początku tekst to oczywiście piosenka “Jesienna deprecha” Kur z niesamowitej płyty P.O.L.O.V.I.R.U.S.. Zadanie na dzisiaj to weryfikacja czy pora roku albo pora dnia mają wpływ na nastrój słuchanej muzyki. Ktoś może powiedzieć, że oczywiście, że tak, że jasne, że “jesienią to ja tylko Radiohead i Portishead, a na wiosnę to ABBA, latem zaś Jamajka i Bob Marley”. Dowody? Historia przesłuchanych utworów, z datą i godziną? Ma? Ja mam. Serwis się nazywa Last.FM i pozwala przy pomocy różnych wtyczek (albo bezpośredniego połączenia konta np. w Spotify z LastFM) zbierać statystyki. Jak się ma dane od tysięcy (tfu! 43 milionów - przynajmniej tak donosił TechCrunch, chociaż przy nieco innej okazji) słuchaczy muzyki, to można robić z nimi cuda. Można je też sprzedawać wytwórniom płytowym albo stacjom radiowym, dzięki czemu wiedzą co jest “na topie” bezpośrednio od użytkowników. I dzięki temu produkują, to co produkują. Można też dowiedzieć się, kto słucha muzyki przed oficjalną premierą płyty i ścigać takie osoby. Polecam hasło Last.fm w angielskiej Wikipedii, o ile oczywiście nie znacie samego serwisu. Ale wracjamy do tematu. Potrzebna jest historia przesłuchanych utworów, którą weźmiemy z Last.fm. Użyjemy do tego pakietu, który został już wycofany z CRANa… Trzeba zainstalować ręcznie paczkę pobraną z archiwum CRANa. Potrzebny jest też klucz API dla LastFM - zdobyć można go na stronie API Last.fm, a jego wartość należy wpisać zmiennej lastkey. Później dane z Last.fm będziemy łączyć z danymi ze Spotify (zwracanymi jako JSON) - stąd odpowiednie biblioteki.

Oscary 2017 - kto wygrał? Bez czytania wiadomości!

Mon, 27 Feb 2017 15:44:51 +0000

Jak dowiedzieć się kto wygrał Oscara? Bez czytania wiadomości. W każdej z kategorii. Korzystając tylko z Twittera, ale bez czytania poszczególnych twittów! Da się? Oczywiście, że się da. Potrzebujemy tylko danych i odrobiny sprytu przy ich przetwarzaniu. Najpierw dane. Napisałem skrypt, który pobierał co 5 minut wszystkie nowe twitty z hashtagu #Oscars i zapisywał je w pliku “Oscars_hash.Rds” lokalnie na dysku. Sposobów na pobranie danych z Twittera jest wiele, ja wybrałem ten - najszybciej było mi napisać odpowiedni skrypcik (w R - mniej więcej robiący tyle: wyszukaj najnowsze twitty z określonym hasłem, dodaj je do już znalezionych) i po prostu zostawić komputer na noc. Te same dane można pobrać i wpakować do bazy danych. Można też przygotować skrypt, który pobierze wszystko na raz. Skrypt możecie przygotować sobie samodzielnie, zachęcam. Tak czy inaczej - w R polecam bibliotekę twitteR. Trzeba jednak liczyć się z ograniczeniami API Twittera - określona liczba zapytań w czasie, określona (maksymalna) liczba wyników zwracanych dla jednego zapytania. Z powodu tych ograniczeń dane przygotowane przeze mnie zawierają maksymalnie 3200 Twittów pobranych raz na 5 minut. Do naszej analizy to wystarczy. Poza tym - moją ideą przy prezentowaniu kolejnych postów jest pokazanie, że bez płacenia za jakiekolwiek dane można fajnie się pobawić i czegoś nauczyć. Dzisiaj korzystamy jak zazwyczaj z bibliotek ggplot2, dplyr, lubridate oraz tidytext do operacji na słowach. Fajna biblioteka, dużo przykładów, jeszcze się będziemy nią bawić. Pobieramy dane zapisane przez skrypty zapisujące to, co działo się na Twitterze i rozdzielamy czas opublikowania twittu na dzień, godzinę i minutę (po tym będziemy później szukać i grupować). Przy okazji wytniemy dane tylko dla 27 lutego (ceremonia była już 27 lutego naszego czasu), żeby nie ciągnąć za dużego ogona ze sobą.