PostgreSQL on Łukasz Prokulski, Dane i Analizy

ATS ocenia CV losowo, tmux ratuje deploy, VLM czyta wideo

Mon, 13 Jul 2026 15:00:00 +0000

W tym wydaniu dużo o tym, jak AI wchodzi głębiej w infrastrukturę - i co z tego faktycznie wynika w praktyce. Mamy zarówno materiały pokazujące granice modeli językowych (ocena CV, rozumienie sarkazmu), jak i te, które pokazują, jak je sensownie wkomponować w działające systemy (logi, inference stack, MCP nad Postgresem).

Architektura i skalowanie: od powiadomień push przy milionie odbiorców, przez inference stack złożony z vLLM, KServe i llm-d, po zaawansowane materializacje w DWH, Data Engineering i semantic layer: dbt + Looker w pełnym cyklu, pięć paradygmatów modelowania danych i nowości z frontu LookML, Computer vision: OpenCV 5 bez PyTorcha, detekcja sylwetek z 0,16 ms latencją i scene graphy budowane przez VLM.

Więcej niż podstawy: dbt w startupach, HTAP i inteligentne oszczędzanie tokenów

Mon, 15 Jun 2026 15:00:00 +0000

Połowa czerwca to tradycyjnie czas stabilizacji przed wakacyjnym sezonem ogórkowym, ale patrząc na tempo publikacji technicznych – nikt nie planuje zwalniać obrotów.
Zanim jednak uciekniesz na zasłużony urlop, trzymaj solidną dawkę inżynierskiej wiedzy, która idealnie sprawdzi się do czytania przy poniedziałkowej porannej kawie (w końcu nic tak nie relaksuje jak lektura o optymalizacji partycji w Cassandrze przez inżynierów z Netfliksa!).

W tym wydaniu newslettera skupiam się na dynamicznie rozwijających się systemach agentowych oraz wyzwaniach architektury danych w czasie rzeczywistym.

Ponad połowa kodu z AI? Raport 2026 i symulatory Kubernetes

Mon, 08 Jun 2026 15:00:00 +0000

W tym numerze przyglądamy się gwałtownej profesjonalizacji świata AI, gdzie agenty przestają być tylko ciekawostką, a właściwie są fundamentem codziennej pracy programistycznej.

Analizujemy najważniejszy raport roku (State of AI 2026), z którego wynika, że już ponad połowa kodu produkcyjnego pochodzi z systemów AI, pokazujemy protokół MCP jako kluczowy standard łączący modele z infrastrukturą oraz zalety natywnych agentów głosowych, i sprawdzamy, jak pliki SKILL.md pomagają skalować wsparcie AI w wielorepozytorialnych środowiskach Enterprise.

Dlaczego now() w Postgresie kłamie? Oraz ponad 20 innych tematów

Mon, 01 Jun 2026 15:00:00 +0000

W tym numerze na pierwszy plan wysuwają się agenty AI oraz standaryzacja ich komunikacji, która staje się kluczem do stabilnych wdrożeń produkcyjnych.

Analizujemy protokół MCP jako nowy standard łączności agentowej oraz wyzwania przy wdrażaniu systemów RAG na realną produkcję, pokazujemy ewolucję Apache Iceberg ku wersji V4, która ma ostatecznie zatrzeć granicę między światem batcha a streamingu, i sprawdzamy, jak nowoczesne jeziora danych stają się fundamentem pod zaawansowaną obserwowalność systemów agentowych.

Czy AI Slop zaleje sieć? Plus Spark, Kafka i SQL

Mon, 25 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz ich głębokiej integracji z codziennym workflow inżynierskim.

Analizujemy, jak agenty Playwright i protokół MCP automatyzują cykl życia błędu, od wykrycia po zgłoszenie w Jirze, pokazujemy, jak Claude Code i lokalne modele Qwen2.5 zmieniają zasady gry w analizie danych i budowaniu dashboardów, i sprawdzamy, ile “śmieciowego” AI (slop) faktycznie krąży w sieci i jak to wpływa na jakość informacji.

W obszarze inżynierii danych skupiamy się na wydajności, optymalizacji kosztów i mądrym wyborze silników bazodanowych.

AI agenci, nudny backend i polskie głosy o architekturze hexagonalnej

Mon, 18 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz powrotu do sprawdzonych, “nudnych” technologii.

Analizujemy, jak agenci AI i modele LLM (Claude, ChatGPT) ewoluują w stronę praktycznych narzędzi do budowania skillów i automatycznego naprawiania testów, pokazujemy, dlaczego architekci coraz częściej rezygnują ze złożonych baz grafowych na rzecz sprawdzonych ontologii SQL, i tłumaczymy, dlaczego w backendzie prostota i standaryzacja wygrywają z niepotrzebną innowacyjnością.

W świecie Data Engineeringu skupiamy się na hybrydowym podejściu do analityki i optymalizacji kosztów.

Semantic layer, czarne skrzynki i 30 lat Postgresa kontra cały Twój stack

Mon, 20 Apr 2026 15:00:00 +0000

Tym razem data engineering trzyma środek ciężkości całego wydania — i robi to z rozmachem.

DuckLake osiąga wersję 1.0 jako pełnoprawna platforma lakehouse oparta na Apache Iceberg, dbt publikuje świeży benchmark semantic layer kontra text-to-SQL, a Meta dzieli się case study o tym, jak użyła NLP do mapowania wiedzy w pipeline’ach danych.

Do kompletu:

architektura medallion z warstwą semantyczną, 20 reguł walidacji, które powinny być standardem w każdym pipeline, i konkretny materiał Airbnb o wysokowydajnym pipeline metryk na OpenTelemetry.

Więcej niż podstawy: AI, lakehouse, zaawansowany SQL

Mon, 02 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu eksplorujemy najnowsze trendy w świecie danych i AI – od inteligentnych agentów wspomagających pracę z kodem i platformami analitycznymi, przez zaawansowane techniki machine learning i tokenizacji, aż po praktyczne podejścia do architektury systemów i inżynierii danych.

Poznaj narzędzia, które realnie skracają czas developmentu, dowiedz się, jak wykorzystać embeddings w prognozowaniu szeregów czasowych, a także sprawdź, dlaczego PostgreSQL oferuje znacznie więcej niż podstawowe zapytania SQL. Nie zabraknie również praktycznych projektów z wykorzystaniem H3 do analiz geoprzestrzennych, przewodnika po architekturze lakehouse oraz wskazówek, jak unikać krytycznych błędów w API Pythona i pipeline’ach danych. Dla dla entuzjastów wizualizacji – profesjonalne wykresy w R oraz zasady projektowania efektywnych dashboardów.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

AI: "jednocześnie dużo mądrzejsze i dużo głupsze, niż się spodziewałem"

Mon, 05 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu szeroki przegląd tego, co dzieje się na styku AI, danych i infrastruktury. Zajrzymy pod maskę architektur agentowych, gdzie bazy danych przejmują rolę pamięci długoterminowej i koordynują działanie systemów wieloagentowych. Zobaczymy, jak w praktyce działają autonomiczne pipeline’y AI — od generatora pomysłów biznesowych po systemy RAG obsługujące tysiące zapytań na sekundę.

Nie zabraknie konkretów z obszaru data engineeringu: hybrydowe tabele BigQuery z sekundową świeżością danych, otwarte formaty tabelaryczne (Delta Lake, Iceberg) i nowe możliwości DuckDB — od notebooków w przeglądarce po przetwarzanie terabajtów lokalnie. PostgreSQL również dostaje swoje pięć minut: od wewnętrznych mechanizmów recovery po niedoceniane funkcje, które warto znać.

Ostatni raz w tym roku

Mon, 22 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i modelami AI. Z obszaru Data Engineering znajdziecie rozwiązania eliminujące nocne przetwarzanie batchowe przy pomocy DuckDB i dbt, przewodnik po strategiach obsługi danych wrażliwych oraz techniki checkpointingu w systemach event-driven. O DuckDB aż trzy materiały - bo to świetne narzędzie. Podobnie PostgreSQL to świetne narzędzie, “zamiatające” inne typy baz - tutaj na przykładzie baz wektorowych i indeksowania 100 milionów wektorów w 20 minut.

Jak ludzie korzystają z AI w pracy?

Mon, 15 Dec 2025 15:00:00 +0000

Ten tydzień - ostatni pełny przed świętami - to raczej czas porządków, niż wielkich premier. Choć niektórzy testują, jak naprawdę radzi sobie GTP-5.2 - najnowsze dziecko OpenAI.
Na dziś wystarczy tej dolinokratycznej magii. Przejdźmy do rzeczy, które mają większy sens: praktyka, konkret, zero ściemy (bo po to tu jesteś, nie?).

W tym numerze skupiamy się na tym, co daje realny efekt. Optymalizacja. Wydajność. Sprytne podejścia do codziennej roboty z danymi. Mamy PostgreSQL i DuckDB w akcji, Parquet na sterydach oraz garść sztuczek w Apache Spark i SQLAlchemy. Dorzucamy integrację DuckDB z Amazon S3 i pomysł na streamingowy ETL bez klasycznych hurtowni - lekko, elastycznie i bez ton konfiguracji.

Sporo "przydasiów" do Linuxa oraz LLMów

Mon, 01 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach zarządzania danymi i sztuczną inteligencją w środowiskach produkcyjnych. Przedstawiamy kompleksowe podejścia do integracji modeli językowych: orkiestrację wielu LLM za pomocą Spring AI oraz budowę niestandardowych pipeline’ów z LangGraph. Znajdziecie również porównanie platform MLOps (MLFlow, Metaflow, Kubeflow).

W obszarze Big Data i data engineeringu omawiamy kluczowe technologie i wzorce architektoniczne. Delta Lake jako warstwa transakcyjna dla Apache Spark, praktyczne wzorce współpracy zespołowej z DuckDB, dyskusja o przyszłości koncepcji data mesh oraz kompleksowe spojrzenie na ekosystem Big Data – od kolejek wiadomości po HDFS, czyli standardowy stack big data (nota bene - możesz mieć big data w domu - zapraszam do repo).

Agenci AI, data engineering i fine-tuning LLM

Mon, 17 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i sztuczną inteligencją (co nie jest niczym nowym dla stałych czytelników newslettera; a nowych - serdecznie witam!).
Znajdziesz tu kompleksowe tutoriale budowy agentów AI z LangChain, przewodniki po fine-tuningu modeli językowych metodą QLoRA oraz zaawansowane techniki pracy z PostgreSQL i jego rozszerzeniami.

Szczególną uwagę poświęcamy inżynierii danych: od strategii inkrementalnego ładowania i projektowania idempotentnych pipeline’ów, przez real-time CDC z Debezium i Kafką, aż po nowoczesne podejście lakehouse z DuckDB.
Nie zabrakło również głębokiej analizy matematyki stojącej za zero-shot learning, przeglądu metryk klasyfikacyjnych oraz praktycznych rozwiązań dla systemów rozproszonych, jak predykcyjne autoskalowanie Apache Flink.

System design, bazy danych i praktyczny Python

Mon, 10 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach projektowania i optymalizacji systemów danych.
Zaczynamy od architektury: poznasz sprawdzone metody nauki projektowania systemów oraz zajrzysz pod maskę infrastruktury OpenAI opartej na Kubernetes i Apache Kafka.
W sekcji baz danych znajdziesz spojrzenie na BigQuery z perspektywy programistów Pythona oraz dwanaście realnych przypadków migracji do DuckDB z konkretnymi oszczędnościami.

Miłośnicy Pythona znajdą też kilka wartościowych materiałów: od elegancji dekoratorów, przez biblioteki przewyższające Excela, po praktyczną migrację z PostgreSQL do MongoDB. Warto zerknąć na porównanie HTTPX z Requests (nie tylko w kontekście projektów LLM, ale po prostu na httpx jako nowocześniejszy pakiet) oraz omówienie narzędzia UV Toolchain do stabilizacji środowisk CI/CD.

Kafka jest szybka, ale użyję Postgres

Mon, 03 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się rozwiązaniom praktycznym z kilku kluczowych obszarów analizy i przetwarzania danych. Zaczynamy od fuzzy string matching i technik dopasowywania niedoskonałych tekstów, przechodzimy przez architekturę pipeline’ów ETL opartych na open source, aż po szczegóły integracji Kafka, Flink i Spark w systemach streamingowych.

W sekcji Python znajdziesz porównanie nowości w wersjach 3.13 i 3.14, kompleksowy przewodnik (a nawet dwa, aby niejako dopełnić wiedzę) po Pydantic oraz praktyczne wzorce projektowe dla FastAPI. Nie zabraknie też tematów związanych z optymalizacją PostgreSQL w aplikacjach czasu rzeczywistego, zarządzaniem kosztami w chmurze AWS oraz głęboko partycjonowanymi danymi w Apache Spark.

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Nowy dział low code

Mon, 06 Oct 2025 15:00:00 +0000

Kolejny tydzień, kolejna porcja wiedzy z szerokiego świata danych i AI. Jak zwasze przed Tobą materiały, które sprawdzą się zarówno w codziennej pracy, jak i przy zgłębianiu nowych technologii.

Jeśli zajmujesz się infrastrukturą i DevOps, czekają na Ciebie praktyczne wzorce Dockerfile dla Pythona, które zredukują czas buildów do sekund, oraz dziewięć sprawdzonych technik autoskalowania w Kubernetes, które przetrwają piki ruchu. A dla fanów baz danych – przegląd rozszerzeń PostgreSQL, które działają jak supermoc, oraz porównanie architektur Snowflake, Oracle i PostgreSQL.

Newsletter Dane i Analizy, 2025-07-07

Mon, 07 Jul 2025 15:00:00 +0000

Ten tydzień przyniósł szczególnie bogate żniwo materiałów technicznych – po zwyczajowej analizie dziesiątek źródeł i setek (jeśli nie tysięcy) artykułów, udało się wyłonić zwyczajowe “około dwadzieścia” najważniejszych publikacji z obszaru data science, ML i AI. Rozkład tematyczny doskonale odzwierciedla aktualne trendy w branży (i zainteresowania Redaktora Naczelnego): dominuje Python i Data Engineering. Ale (poza zainteresowaniami Naczelnego) potwierdza to centralną rolę tych obszarów w nowoczesnych zagadnieniach związanych z danymi.

Szczególnie interesujące są materiały dotyczące architektury systemów AI – od multi-agentowych rozwiązań Anthropic, przez unifikację ML na Ray w Pinterest, aż po praktyczne implementacje MLOps z pełnym monitoringiem. Widać wyraźnie, że branża przechodzi od eksperymentów do produkcyjnych, skalowalnych rozwiązań.

Newsletter Dane i Analizy, 2025-06-30

Mon, 30 Jun 2025 15:00:00 +0000

Dzisiaj w numerze od rewolucji w projektowaniu API po fundamentalne pytania o architekturę danych, od praktycznych implementacji AI po badania nad samopoczuciem programistów – każdy artykuł odkrywa nowe perspektywy na temat tego, jak sztuczna inteligencja przemienia nasze sposoby pracy.

Era Agentów AI wymaga nowego podejścia do projektowania
Jednym z kluczowych tematów tego numeru jest ewolucja API w kontekście rosnącej popularności agentów AI. Agenty AI zachowują się jak wątki - to boty zadaniowe uruchamiane w celu osiągnięcia określonego celu, co oznacza, że nasze dotychczasowe podejście do projektowania interfejsów programowych wymaga gruntownego przemyślenia. Czy nasze API są gotowe na świat, w którym konsumentami nie są już tylko ludzie, ale także inteligentne maszyny działające autonomicznie?

Newsletter Dane i Analizy, 2025-04-21

Mon, 21 Apr 2025 15:00:00 +0000

Pomimo trwających świąt (chociaż już za moment “święta, święta i po świętach”) dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Newsletter Dane i Analizy, 2025-03-31

Mon, 31 Mar 2025 15:00:00 +0000

Hit minionego tygodnia to MCP (Model Context Protocol). Jest to otwarty standard opracowany przez firmę Anthropic w listopadzie 2024 roku, który umożliwia ustandaryzowaną integrację modeli sztucznej inteligencji z zewnętrznymi źródłami danych i narzędziami. Jego główne cechy to:

Standaryzacja połączeń między AI a zewnętrznymi zasobami Dwukierunkowa komunikacja w czasie rzeczywistym Dynamiczne wykrywanie dostępnych narzędzi i kontekstu Optymalizacja dla dużych modeli językowych (LLM)

Architektura MCP składa się z kilku kluczowych komponentów:

Host - główna aplikacja AI zarządzająca klientami MCP Klienci MCP - pośrednicy łączący hosta z serwerami MCP Serwery MCP - lekkie programy udostępniające funkcjonalności poprzez MCP

Newsletter Dane i Analizy, 2025-03-24

Mon, 24 Mar 2025 15:00:00 +0000

W dzisiejszym numerze analizujemy ewolucję systemów rekomendacji i wyszukiwania w erze LLM, prezentujemy zaawansowane techniki inżynierii danych, w tym potoki danych oparte na PostgreSQL oraz porównanie formatów data lake. Poruszamy również kwestię minimalizację liczby spotkań, a także przedstawiamy nowe narzędzia usprawniające pracę z Pythonem i bazami wektorowymi.

#ai_ml

Improving Recommendation Systems & Search in the Age of LLMs
Kompleksowa analiza transformacji systemów rekomendacji i wyszukiwania w kontekście dużych modeli językowych. Artykuł omawia zmiany w przemysłowych rozwiązaniach w ostatnim roku, skupiając się na architekturach multimodalnych, generowaniu danych wspomaganym przez LLM oraz technikach uczenia transferowego i destylacji.

Newsletter Dane i Analizy, 2025-03-10

Mon, 10 Mar 2025 15:00:00 +0000

Pod koniec lutego “ukazał” się zbiór danych (pochodzących najprawdopodobniej z serwisu rynekpierwotny.pl) zawierający całkiem sporo ofert nowych mieszkań (i nie tylko). Zbiór o tyle interesujący, że ze współrzędnymi oferowanych lokalizacji. Na LinkedIn wrzuciłem na szybko przygotowaną mapkę wynikającą z tego zbioru, ale planuję coś większego: e-mailowy cykl (3-4 maile, pewnie co tydzień) pokazujący co z tymi danymi można zrobić. Na pewno napiszę o tym w newsletterze, na pewno napiszę o tym na LinkedIn - zatem zapraszam do obserwowania. Na fanpage’u Dane i Analizy też będzie o tym info, więc też warto obserwować.
Żeby było ciekawiej - dość podobny temat porusza jeden z dzisiejszych postów, jakie znajdziesz poniżej - ten o kebabach - to doskonały przykład praktycznego zastosowania analizy danych.

Newsletter Dane i Analizy, 2024-12-16

Mon, 16 Dec 2024 15:00:00 +0000

Czego szukali ludzie w Google w mijającym roku? Google dostarcza podsumowanie dla całego świata i większości krajów z osobna (tutaj Polska, tutaj global). Podsumowania te są o tyle interesujące, że stanowią pewnego rodzaju obraz naszego społeczeństwa i jego zainteresowań.

Wiecie, że w Afryce w większości państw ruch w internecie z komórki przeważa ruch z komputerów? W przykładowym Sudanie ponad 77% to komórki. Tego typu rzeczy można dowiedzieć się z corocznego raport Cloudflare Radar. Raport mówi nie tylko o dominacji Google, ale też zawiera statystyki dotyczące szyfrowania ruchu, popularności różnych technologii sieciowych czy kwestii bezpieczeństwa.

Newsletter Dane i Analizy, 2024-12-09

Mon, 09 Dec 2024 15:00:00 +0000

Nie wiem czy korzystacie z list zakupów w aplikacjach do tego przewidzianych? To wygodne - cała rodzina dodaje na jedną listę to, co trzeba kupić, a potem jedna osoba (np. ojciec ;) jedzie do sklepu i przywozi te siaty… U mnie taką aplikacją jest Listonic (i nie jest to reklama - apka ma trochę irytujących elementów). Aplikacja jest popularna, co pozwala jej twórcom na zgromadzenie dużej liczby “list zakupów” i przygotowanie na tej podstawie ciekawych raportów.

Newsletter Dane i Analizy, 2024-11-18

Mon, 18 Nov 2024 15:00:00 +0000

Newslettery… czy wiecie, że tylko nieco ponad 1/3 newsletterów ma swój drugi numer? Co 10-ty newsletter (precyzyjniej: 11%) ukazuje się dłużej niż 10 numerów. A jednocześnie 23-krotnie wzrosła liczba newsletterów od 2019 roku na platformie Substack. Tak mówi źródło tych danych.

Nasz newsletter ma jakieś 3 lata (przynajmniej w redakcyjnym archiwum w serwisie Raindrop.io gdzie zebrane są wszystkie teksty jest tag #newsletter_2021-11-15), co by znaczyło jakieś 150 wydań. W archiwum, bo były czasy przed budowaniem archiwum (kilkanaście tygodni na pewno), ale tak starych ludzi już nie ma… :-)
Archiwum mówi też o ponad 3400 tysiącu tekstów 😮

Newsletter Dane i Analizy, 2024-10-28

Mon, 28 Oct 2024 15:00:00 +0000

Jeden z tekstów, które znajdziecie poniżej mówi o tym, jak pobrać z YouTube wideo, wyciągnąć z niego dźwięk, a potem ten dźwięk przekształcić w zapis tekstowy (taki do czytania). Potem i tak nikt tego nie czyta…

Niektórzy może czytają. A jeśli wolą jednak oglądać albo słuchać - dzisiaj przed Wami zapisy wideo z dwóch konferencji. Jedna to “Oh My Hack” odbywająca się w Polsce i skupiająca się na zagadnieniach związanych z bezpieczeństwem. Nagrania pochodzą z edycji, która miała miejsce w 2023 roku. Druga konferencja to coś nowszego - amsterdamska edycja PyData, z tego roku.

Newsletter Dane i Analizy, 2024-10-21

Mon, 21 Oct 2024 15:00:00 +0000

OpenAI ze swoim modelem w wersji o1 wróciło na szczyt listy przebojów w kategorii LLM. Garść firm zajmujących się GenAI zaczyna generować poważne przychody. Co jeszcze dzieje się na rynku AI w 2024 roku? Jaki jest “Stan AI w 2024”? O tym dowiecie się z raportu, do którego link poniżej, w sekcji AI/ML.

Sporo w tym wydaniu o bazach danych (co najmniej dwa razy pojawia się Postgres i Redis, ale są też inne rozwiązania: wektorowa Milvus, InfluxDB do szeregów czasowych, grafowa Neo4j, dobrze znany stałym czytelnikom DuckDBoraz Tile38 do zadań geo).

Newsletter Dane i Analizy, 2024-10-07

Mon, 07 Oct 2024 15:00:00 +0000

Dzisiaj w newsletterze mały eksperyment. Być może każdego tygodnia Ty, jako odbiorca tego maila, cierpisz na nadmiar materiału, klęskę urodzaju. Jest tyle (zwykle około 20-25) tekstów, każdy chciałoby się przeczytać (wierzę w to… nawinie?), ale w sumie otwierasz te kilkanaście zakładek i nie czytasz niczego. Bo za dużo, bo po angielsku (hint: wtyczka Google Translate do Chrome daje radę, serio - chociażby po to, żeby przeskanować tekst na szybko, czytać lepiej w oryginale - chociażby nazwy zmiennych nie są wówczas tłumaczone). Zatem jak w dobrej restauracji: krótkie menu oznacza większą selekcję.

Newsletter Dane i Analizy, 2024-09-09

Mon, 09 Sep 2024 15:00:00 +0000

W tym tygodniu prowadzę szkolenie (a w zeszłym prowadziłem przykładowo konkurs na imprezie firmowej - więc “szkolenia, prelekcje, podcasty, śluby, chrzciny i pogrzeby” są w ofercie Dane i Analizy :), więc nieco mniej czasu na przygotowanie newslettera - wybaczcie zatem, że bez standardowego wstępu. Liczę jednak na to, że dobór materiałów na zadowalającym poziomie.

#ai_ml

Evaluating Handwritten digital Recognition Models
MNIST to jeden z najpopularniejszych zbiorów danych. Porównanie modeli rozpoznających ręcznie pisane cyfry (i tu zbiorem nie jest MNIST).

Newsletter Dane i Analizy, 2024-08-19

Mon, 19 Aug 2024 15:00:00 +0000

Dzisiaj sporo materiałów z ulubionej chyba działki redaktora naczelnego, czyli coś o data engineeringu (najlepiej opakowanym w Pythona). Mamy więc bardzo fajny tekst o tym jak śledzić autobusy szkolne - w wielu polskich miastach pojazdy komunikacji miejskiej wyposażona są w nadajniki GPS, co pozwala na śledzenie ich w czasie rzeczywistym (warszawskie dane są dostępne na przykład tutaj (link do dokumentacji w PDF) czy też ogólnie na stronie WWW).

Nieco więcej niż zwykle dzisiaj o języku R - o tym jak z jego pomocą szybko przygotować atrakcyjne dashboardy z kodu oraz o tym, że mamy odpowiednik tidyverse dla prac z modelami machine learning.

Newsletter Dane i Analizy, 2024-07-08

Mon, 08 Jul 2024 15:00:00 +0000

Zbieranie i magazynowanie danych - to typowe projekty, którymi zajmują się inżynierowie danych. Ale obszar data engineeringu jest na tyle obszerny, że co tydzień właściwie coś tutaj możecie znaleźć. Dzisiaj dwa takie projekty-tutoriale: zbieranie informacji z YouTube oraz ogólnie z jakiegoś strumienia danych. W obu przypadkach używane są różne technologie.

A jak już mamy te dane, to kto powinien się zająć ich obróbką na “ostatniej mili” - baza czy kod? O tym też dzisiaj przeczytacie.

Newsletter Dane i Analizy, 2024-05-27

Mon, 27 May 2024 15:00:00 +0000

Dzisiaj krótko, bo tydzień krótszy i “nie ma czasu załadować taczek”. Może tak lepiej?

#analiza_danych_projekty

Customer Segmentation
Analiza RFM (Recency, Frequency and Monetary) wykorzystana do segmentacji klientów. Bardziej opis niż zajęcia praktyczne, a praktyka podana w excelu

#architektura

How Twitter processes 4 billion events in real-time daily
Od architektury Lambda do Kappa

3 Reasons Why You Might Want to Use Monolith Instead of Microservice
Czyżby odwrót od podejścia mikroserwisowego? A może tylko kilka szczególnych przypadków?

Newsletter Dane i Analizy, 2024-03-25

Mon, 25 Mar 2024 15:00:00 +0000

#ai_ml

TacticAI: an AI assistant for football tactics
Czy AI zmieni sposób gry w piłkę nożną? Zobacz czym owocuje współpraca FC Liverpool z DeepMind należącym do Google

Live Object Detection and Image Segmentation with YOLOv8
Jak działa YOLOv8? I jak szybko, z gotowych klocków, użyć tego algorytmu?

#analiza_danych_koncepcje

Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks
Autor opisuje/recenzuje publikację mówiącą o modelach rekomendacyjnych zbudowanych przez Spotify, mających na celu proponowaniu użytkownikom podcastów i audiobooków

Newsletter Dane i Analizy, 2024-02-19

Mon, 19 Feb 2024 15:00:00 +0000

Ubiegły tydzień to nowość w postaci Sora od OpenAI - generowanie wideo z promptów tekstowych. OpenAI sporo pisze o technikaliach na swoich stronach. Najbliższy tydzień-dwa ubiegnie pod znakiem Sory, a jak otworzą dostęp szerzej… to się dopiero zacznie!

Oczywiście Google nie pozostaje w tyle i prezentuje swojego bliźniaka: Gemini, z którego można też korzystać via API (gdyby było inaczej nie miałoby to sensu w dzisiejszych realiach) oraz starają się nie tracić kroku na polu text-to-video ze swoim Lumiere.

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2024-01-22

Mon, 22 Jan 2024 15:00:00 +0000

YOLO. Nie tylko “you only live once” ale - w kontekście ML/AI i computer vision - przede wszystkim modele do rozpoznawania obiektów na zdjęciach.
Doczekaliśmy się już kilku wersji algorytmu YOLO, każda kolejna jest szybsza, sprawniejsza, rozpoznająca więcej i lepiej. Na to właśnie idzie klikanie w światła drogowe albo autobusy w obrazkowych captcha ;-)
Więcej o kolejnych wersjach YOLO i ich architekturach dowiesz się z tekstu, w którym dodatkowo znajdziesz linki do tego jak trenować i używać tych modeli.

Newsletter Dane i Analizy, 2024-01-15

Mon, 15 Jan 2024 11:00:00 +0000

Idzie (właściwie już jest) karnawał, może drinka? Jakie drinki są aktualnie popularne? Ładna infografika nam to pokaże :). A jeśli chodzi o obrazki, a może raczej - pokazywanie danych - to na samym końcu tego wydania coś o dobieraniu wykresu do danych, które chcemy zaprezentować. Taki to kończący szkołę i rozpoczynający ferie numer mamy.

Bo sporo też stosunkowo “juniorskich” tekstów dla adeptów programowania w Pythonie. Ale dla seniorów - spora książka o analizie danych geograficznych. Czytajcie uważnie, szukajcie dokładnie.

Newsletter Dane i Analizy, 2023-12-18

Mon, 18 Dec 2023 15:00:00 +0000

Witam w najprawdopodobniej ostatnim numerze newslettera w tym roku. W przyszłym tygodniu mamy Boże Narodzenie, w kolejnym Nowy Rok - to raczej nie są momenty na przygotowywanie paczki artykułów o ML czy programowaniu ogólnie, raczej czas który lepiej poświęcić rodzinie, najbliższym albo najzwyczajniej odpoczynkowi od komputera.

Korzystając więc z okazji że “czytamy się” ostatni raz w tym roku chciałbym Wam życzyć tego co najlepsze, a przede wszystkim spokoju i odpoczynku. A już od stycznia - nowych projektów, nowej wiedzy, zdobywania kolejnych umiejętności.

Newsletter Dane i Analizy, 2023-12-11

Mon, 11 Dec 2023 15:00:00 +0000

Miniony tydzień to uruchomienie nowej wersji asysstenta AI od Google, czyli Gemini (w miejsce Barda). Sam model mówi o sobie, że “jestem zarówno Bardem, jak i Gemini. Bard to nazwa użytkownika, którą wykorzystuję do interakcji z użytkownikami, podczas gdy Gemini to nazwa platformy AI, na której jestem oparty”.
Przedstawienie projektu (przez twórców) mówi o lepszych wynikach od ChataGPT v4 w prawie każdym mierniku., ale niby ma to dostęp do najnowszej wiedzy, ale jednak taki sobie. Z literaturą nieco starszą radzi sobie… sami zobaczcie. Słowacki i “Wesele”? to mogłoby być ciekawe, ale wolę wersję Wyspiańskiego (a filmową od Wajdy stawiam tuż za wajdowską “Ziemią obiecaną”). Czyli też zmyśla.

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2023-07-10

Mon, 10 Jul 2023 15:00:00 +0000

Myślisz, że analitycy danych już nie będą potrzebni? Dlaczego? Bo pojawił się Code Interpreter, a jeśli nie wiesz o co chodzi to przeczytaj koniecznie o nim (i o tym jak go używać!) tutaj (“What AI can do with a toolbox… Getting started with Code Interpreter”) oraz tutaj (“It is starting to get strange”). Code Interpreter jest dostępny w planie “ChatGPT Plus”.

I ten temat, te dwa teksty to chyba najciekawszy materiał w tym tygodniu. Gdyby było mało - poniżej kilka kolejnych.

Newsletter Dane i Analizy, 2022-10-31

Mon, 31 Oct 2022 15:00:00 +0000

Poprzednie wydanie newslettera skupiało się na szeregach czasowych (zobacz w archiwum). Dla odmiany dzisiaj coś o analizie koszykowej - czyli co z czym się kupuje i co z tego wynika? Przykłady w kliku językach programowania znajdziecie niżej, w dedykowanej sekcji.

Nieco standardowo, albo może raczej - tradycyjnie - sporą część publikowanych dzisiaj tekstów mówi o technologiach streamingowych i big data. Zatem jest o rodzinie i znajomych Apache: Kafka, Spark, Iceberg, gdzieś przewinął się chyba też Flink. Czy to są interesujące dla Was tematy? A może rysowanie mapek jest ciekawsze? ;-)

Newsletter Dane i Analizy, 2022-10-03

Mon, 03 Oct 2022 15:00:00 +0000

W tym tygodniu nieco mniejsza liczba tekstów, ale chyba bardziej rozbudowanych niż zwykle.

Szczególnie polecam tekst pierwszy 2022 Data Science Research Round-Up, ale też przykłady i porównanie różnych algorytmów do topic modelingu czy też całą praktycznie sekcję poświęconą Pythonowi.

Być może ktoś z Was przegapił na fanpage’u Dane i analizy: klikalny generator zapytań SQL - świetna sprawa do nauki ale też zapewne może przyspieszyć pracę.

#analiza_danych_koncepcje

2022 Data Science Research Round-Up
Przegląd najciekaszych zagadnień związanych z machine learning. deep learnig, NLP z ostatnich miesięcy. Tylko wstęp, każde opisane jest dalej w podlinkowanych materiałach

Newsletter Dane i Analizy, 2022-09-26

Mon, 26 Sep 2022 15:00:00 +0000

Wracamy do rysowania wykresów, pobierania danych ze stron internetowych oraz robienia dashboardów (i raportów w Wordzie). To dzisiejsze główne punkty zainteresowań. Ale dla fanów rozwiązań big data też coś się znajdzie.

#analiza_danych_projekty

Automate your music collection
Znudziły Ci się playlisty Spofity? Ciągle słuchasz “ulubionych”? Być może Ci to odpowiada. Ale jeśli lubisz odkrywać nową muzykę to możesz czuć się jak w bańce. Albo wykorzystać historię odtwarzanych utworów oraz API serwisu Last.fm żeby poznać coś nowego

Newsletter Dane i Analizy, 2022-09-12

Mon, 12 Sep 2022 15:00:00 +0000

Z dzisiejszej paczki tekstów wybranych z całego tygodnia chyba najbardziej podoba mi się ten o gerrymandering - czyli takim dobraniu kształtu okręgów wyborczych aby wygrało konkretne ugrupowanie. To ważny problem, cieszę się że są mechanizmy (pokazane w artykule) do dowodzenia że takie czy inne granice okręgów są sprzyjające jednej czy innej stronie. Ale najbardziej podoba mi się sposób prezentacji treści. The Washington Post (New York Times też) inwestuje w przygotowanie treści i to daje efekty. Kto w Polsce w tak atrakcyjny (i dedykowany tematowi) podaje treść?.

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2022-08-01

Mon, 01 Aug 2022 15:00:00 +0000

Dzisiaj nieco więcej materiałów z krainy “ops” w świecie “devops”. Warto znać obie ziemie, żeby nie mieć problemu chociażby z uruchomieniem kilku aplikacji (dockerowymi) pod różnymi ścieżkami na jednej domenie. Dlatego warto zajrzeć do tekstów o Nginx.

Ale sprawy związane z analizowaniem danych czy też ich przetwarzaniem w celu przewidywania przyszłości tradycyjnie też są na poniższej liście interesujących artykułów z minionego tygodnia.

#AI_ML

Czym jest i jak zbadać dryft modelu (model drift)?
Dryft modelu odnosi się do spadku wydajności modelu z powodu zmian danych i relacji między zmiennymi wejściowymi i wyjściowymi

Newsletter Dane i Analizy, 2022-07-25

Mon, 25 Jul 2022 15:00:00 +0000

Wakacje wakacjami, ale te kilka godzin poświęciłem specjalnie dla Was aby przygotować dzisiejsze wydanie newslettera.

Pamiętacie Wojny Rdzeniowe? Dla tych, którzy nie bardzo - ciekawy tekst (po polsku, co rzadkie tutaj ;) opowiadający historię tych… hmmm… konkursów? zawodów?

A gdyby tak przygotować wewnętrzne rozgrywki tego typu? Co o tym sądzicie? Piszcie!

Zamiast jednak programować można klikać. Jeśli ktoś jest zwolennnikiem no-code to pewnie zainteresuje się przeglądem platform tego typu przeznaczonych do zadań machine learningu.

Newsletter Dane i Analizy, 2022-06-27

Mon, 27 Jun 2022 15:00:00 +0000

Gorąco… żar leje się z nieba, taka spiekota w mieście to piekło (niczym w Hydrozagadce).

Zatem gorące materiały: wyniki ankiety StackOverflow, którą osobiście traktuję jako wyznacznik tego jakie technologie są obecnie używane na rynku, czego warto się uczyć i co trzeba potrafić aby swobodnie zmieniać pracę. Pakiet materiałów od Krzyśka Sopyły do nauki ML oraz rozwiązanie konkretnych zagadnień takich jak pipeline dla danych ze Stravy.

Weźmiecie udział w pieszym rajdzie PPTK na odznakę nizinną? Nawet jeśli nie, pamiętajcie że dobrze jest łączyć przyjemne z pożytecznym!

Newsletter Dane i Analizy, 2022-06-13

Mon, 13 Jun 2022 15:00:00 +0000

Jak być data scientistą w Pythonie?

import pandas as pd

i gotowe!

Żart oczywiście (taki familiadowy, ale kto boomerowi zabroni?), a o samym Pandasie polecam wystąpienie Jana Kantego Milczka z PyData w Bydgoszczy.

#AI_ML

Uber’s Real-Time Document Check
Jak Uber zrobił weryfikację na podstawie dokumentów typu dowód osobisty?

Intro to MLOps Using Amazon SageMaker
Co to MLOps i jak SageMaker pomaga? A chyba pomaga, skoro to najpopularniejsze tego typu narzędzie (tak przynajmniej wynika z case studies pokazywanych na konferencjach)

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2022-05-02

Mon, 02 May 2022 15:00:00 +0000

Dzisiaj wielkie święto. I nie chodzi o święto flagi, a o nowy post na blogu. Minął prawie rok od poprzedniego, więc dzień ten zasługuje na miano święta ;-)

Rozproszona architektura, mikroserwisy i baza nosql - taka armata na zwykły sklep internetowy? Tak! Z wyjaśnieniem dlaczego i przykładami w Pythonie! Właśnie to znajdziecie w moim wpisie Sklep rozproszony. To zrobiony w kilka dni proof of concept działania nowoczesnej architektury w dość prostym problemie. Zapraszam do lektury.

Newsletter Dane i Analizy, 2022-02-14

Mon, 14 Feb 2022 15:00:00 +0000

Dzisiaj coś trudniejszego niż MNIST oraz ściągawka z algorytmów grupowania elementów (clustering). Do tego ciekawy projekt wizualizacji danych z meczów piłki nożnej.

A jeśli myślisz o projektowaniu systemów a nie tylko o samej analizie danych to wykład Sławka Sobótki o Domain Driven Design powinien Cię uradować.

#AI_ML

Using Google Cloud Machine Learning APIs
Jak korzystać z interfejsów machine learning API od Google w Pythonie? Część pierwsza cyklu

Using FastAI to classify Japanese kanji characters
Rozpoznawanie pisanych ręcznie cyfr - czyli zbiór MNIST - to może być zbyt prosty problem dla adeptów sztuki nauki o danych

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

Wycieczki do Grecji

Fri, 30 Nov 2018 16:47:06 +0000

Ile kosztuje wycieczka do Grecji? Czy last minute jest opłacalne i kiedy cena zaczyna spadać? Jak znaleźć najbardziej atrakcyjne miejsce na wypoczynek (w Grecji)? Jakiś czas temu analizowałem raporty publikowane przez Polski Związek Organizatorów Turystyki. Z analizy wyszło, że najchętniej jeździmy na wypoczynek do Grecji (tak było w drugiej połowie 2017 roku). Postanowiłem więc sprawdzić ile kosztuje taki wyjazd.

Zebranie danych

Aby cokolwiek analizować trzeba mieć dane. Jeśli nie mamy dostępu do baz oraz nie możemy (albo nie chcemy) ich kupić to można pokusić się o ich zebranie z sieci. Założeniem tego bloga jest to, aby kolejne analizy przygotowywać bez opłat (nie licząc czasu i kosztów typu serwery), zatem dane weźmiemy sobie sami.

Mapy hipsometryczne

Thu, 28 Jun 2018 09:08:59 +0000

Jak wykorzystać dane o numerycznym modelu terenu (NMT)? Skąd je wziąć i jak przygotować do wygodniej pracy? Dzisiaj wpis mocno techniczny, bez szczególnych analiz. Gratka dla osób szukających sposobów na rozdzielenie danych punktowych na gminy, powiaty i województwa oraz wskazówki jak pokazywać takie dane na mapie (i agregować je zgodnie z podziałem terytorialnym). Oprzemy się na danych o wysokości terenu, ale to tylko przykład. Potrzebne nam będą następujące biblioteki:

library(tidyverse) # do wszystkiego :)

library(rvest) # do srappingu strony

library(rgdal) # do obsługi plików SHP
library(rgeos)
library(raster)

library(ggmap) # do wczytania mapy z Google Maps

library(sf) # do wczytywania plików SHP i łatwego rysowania

library(RPostgreSQL) # do zapisu i odczytu danych z bazy, w tym przypadku baza PostgreSQL

Kolejne fragmenty kodu to kilka skryptów złączonych w jedno. Stąd mogą trafić się powtórzenia w kodzie albo te same dane pod różnymi nazwami zmiennych. Nie przejmujcie się tym - czytając kod i rozumiejąc go znajdziecie sposób na wybranie tego, co najbardziej Was interesuje. Zaczniemy od zgromadzenia danych o wysokości terenu. Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej (CODGiK) udostępnia takie dane w postaci plików tekstowych (jeden plik to jedno województwo). Struktura plików jest bardzo prosta - w każdym wierszu mamy informację dla jednego punktu: współrzędne punktu i jego wysokość nad poziomem morza. Pliki na serwerze CODGiK są spakowane - pobierzmy je i rozpakujmy. Aby nie bawić się w ręczne pobieranie każdego pliku zeskanujmy automatycznie stronę i wyciągnijmy linki do plików. Nie raz już scrappowaliśmy strony, więc pójdzie łatwo:

Stawiamy własny serwer

Thu, 14 Jun 2018 11:29:30 +0000

Budujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW, PHP oraz bazami danych MySQL i PostgreSQL.

Opis środowiska
Zakupy
Konfigurujemy VPSa
R, RStudio i Shiny
Python i Jupyter
Subdomeny - konfiguracja
Dodatki
Koniec

Tym razem więcej administrowana serwerami, a mniej programowania i analizowania danych. Zbudujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW (aby móc prezentować wynik swoich prac).

Opis środowiska

W niniejszym wpisie przygotujemy serwer zbudowany na linuxie w dystrybucji Ubuntu z działającym na nim (i dostępnym przez przeglądarkę z dowolnego miejsca z internetem) RStudio. Serwer pozwoli nam też na budowanie i publikowanie aplikacji napisanych w Shiny. Przy okazji zainstalujemy Pythona razem z Jupyter Notebook (oraz JupyterLab) do wygodnej pracy. Całości dopełni baza danych PostgreSQL. Aby móc publikować swoje dzieła w formie bloga zainstalujemy PHP oraz bazy MySQL - być może zechcesz zainstalować WordPressa, a on tego wymaga. Do czego taka maszyna może się przydać? W zależności od wydajności:

A lato było cieplejsze...

Tue, 27 Mar 2018 10:22:04 +0000

Czy w Boże Narodzenie zawsze brakowało śniegu? Czy klimat się ociepla? Jak ciepło przepływa przez Polskę? Dzisiaj zajmiemy się pogodą. Sporo ciekawych zagadnień przed nami:

Skąd wziąć dane o pogodzie w Polsce?
Pory roku na przestrzeni lat - czy wiosna przychodzi szybciej? A może lat trwa krócej?
- zobaczymy procentowy podział dni w roku na poszczególne pory roku (ile było dni wiosennych, a ile zimowych)
- czy wiosna przychodzi coraz szybciej - jak kształtowała się temperatura w marcu na przestrzeni lat?
Czy klimat się ociepla?
- jak wyglądały różnice w temperaturze na przestrzeni lat
- czy poszczególne miesiące są coraz cieplejsze lub zimniejsze?
- podobnie dla kolejnych dni - jak wyglądała liczba dni cieplejszych i zimniejszych niż średnia?
Czy jest różnica miedzy temperaturami w kraju?
- przygotujemy animowane mapki temperatury dla 2017 roku
A kiedyś to było…
- Boże Narodzenie ze śniegiem
- w Lany Poniedziałek było cieplej

Pobranie danych

Zanim przejdziemy do analizy potrzebujemy danych o pogodzie. Zgodnie z ustawą o dostępie do danych publicznych IMGW udostępnia dane historycznie na stronie https://dane.imgw.pl/. Dane aktualne są dostępne poprzez API, ale dane historyczne spakowane już niestety nie. Dostępne są w postaci spakowanych plików CSV, podzielone na kilkanaście katalogów. Do wszystkiego da się jednak dobrać. Aby skorzystać z tych zasobów należy każdy plik (archiwum) pobrać, rozpakować i wyciągnąć z niego dane. Aby nie operować na dużej liczbie plików przepiszemy je do bazy danych (w tym przypadku będzie to plikowa baza SQLite, chociaż może być dowolna - mySQL, PostgreSQL). Skrypt przepisujący dane znajdziecie na moim githubie (jak i pozostałe poniżej zaprezentowane kody).