SQL on Łukasz Prokulski, Dane i Analizy

Agenty kodują same przez 16 dni, a Ty projektujesz architekturę na lata

Mon, 10 Aug 2026 15:00:00 +0000

W tym tygodniu trudno przeoczyć jeden wątek: autonomiczne agenty kodujące przestają być eksperymentem. Alibaba opublikowało wyniki 16-dniowego autonomicznego sprintu modelu Qwen, a równolegle pojawiło się kilka solidnych materiałów o tym, jak praktycznie skonfigurować środowisko do pracy z Claude Code czy Codex CLI. Jeśli jeszcze nie myślisz o agentic coding jako o codziennym narzędziu, ten numer powinien zmienić Twoje podejście.
No i AI uciekła i zaczęła rozrabiać. Ale o tym pisały mainstreamowe media tu, tu oraz tu.

Dlaczego migracja do Databricks jest trudna i co z tym zrobić?

Mon, 03 Aug 2026 15:00:00 +0000

W tym wydaniu powraca temat architektury danych i platformy lakehouse - Apache Iceberg, Databricks, Microsoft Fabric - ale tym razem z wyraźnie różnymi kątami. Jeden artykuł tłumaczy, czym Databricks w ogóle jest i jak działa. Drugi mówi wprost, dlaczego migracja na tę platformę często idzie nie tak. Trzeci pokazuje, jak zorganizować porządny proces wdrożeniowy - ale w Microsoft Fabric. Razem tworzą niezły przegląd tego, co czeka Cię przy pracy z nowoczesnymi platformami danych:

Medallion pęka w szwach, agenci tracą kontekst... co z tym zrobić?

Mon, 27 Jul 2026 15:00:00 +0000

Ten numer ma wyraźny środek ciężkości: agenci AI i to, co z nimi robić, kiedy wychodzisz poza pierwsze eksperymenty. Teksty o LangGraph - od “jak zbudować pierwszego agenta” po “co psuje się po kilku miesiącach” - tworzą razem coś w rodzaju mini-ścieżki, którą można przejść od razu albo wracać do poszczególnych etapów w miarę potrzeb. Uzupełnia je tekst o tym, jak zmienia się rola programisty, kiedy AI przejmuje pisanie kodu - i dlaczego to jest trudniejsze niż się wydaje.

Agenty piszą CV, Atlassian zmienia Jirę, a Polars i DuckDB łączą siły

Mon, 20 Jul 2026 15:00:00 +0000

Cześć! Za nami finał piłkarskich mistrzostw świata, gdzie Argentyna mierzyła się z Hiszpanią. Niezależnie od wyniku i wczorajszych emocji, poniedziałkowy poranek w IT przynosi powrót do naszej technologicznej rzeczywistości. Oby Twój tydzień zaczął się bez pożarów na produkcji!

W tym tygodniu styk AI oraz codziennych procesów deweloperskich.

Coraz więcej narzędzi, na czele z odświeżoną Jirą od Atlassiana, stawia na głęboką integrację z agentami AI, Pojawiają się innowacyjne frameworki, które potrafią napisać CV, analizować ogłoszenia o pracę i przejść przez rekrutacyjne sito, Obok rosnącej roli modeli LLM, dużo mówi się o sztuce sprawnego kierowania zapytaniami do odpowiednich silników językowych.

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

Dashboard i agent muszą się zgadzać. Plus Kueue, Iceberg i kryzys jakości kodu przy 40 stopniach w cienu

Mon, 29 Jun 2026 15:00:00 +0000

Witaj w pierwsym wakacyjnym wydaniu newslettera Dane i Analizy — przygotowanym w niedzielę wieczór, gdy Polska powoli stygła (ta, jasne…) po tym, co meteorolodzy nazwali najgorętszym dniem w historii pomiarów. Nawet 40 stopni w cieniu. Skoro już jesteś przed ekranem zamiast przy wiatraczku, to dobrze trafiłeś — zebrałem dla Ciebie materiały, które warto przeczytać przy klimatyzacji lub choćby przy otwartym oknie.

W tym numerze sporo miejsca zajmują agenty AI — i to z różnych kątów. Dowiesz się, jak wyposażyć LLM w mózg data inżyniera, dlaczego Twój agent i dashboard mogą sobie wzajemnie zaprzeczać (i jak temu zaradzić architektonicznie), czym jest Agent Experience jako nowy wymiar projektowania API, a do tego jak AI wkracza do katalogów danych. Temat agentów w danych to nie hype — to realny kierunek, który warto rozumieć głębiej niż na poziomie demo.

Osiem wzorców potoków danych, Snowflake od środka i przedwakacyjny DevOps

Mon, 22 Jun 2026 15:00:00 +0000

Rozpoczynamy ostatni tydzień roku szkolnego, co dla wielu oznacza początek letnich urlopów i chwilowe zwolnienie tempa w projektach. To idealny moment na uporządkowanie technicznego długu oraz wdrożenie usprawnień, które pozwolą Twoim systemom bezawaryjnie przetrwać czas wakacyjnej flauty. Warto skupić się na:

automatyzacji powtarzalnych zadań operacyjnych, przeglądzie konfiguracji bezpieczeństwa i zarządzania kluczami, refaktoryzacji krytycznych fragmentów kodu przed masowymi urlopami w zespole.

W obszarze inżynierii danych i architektury przyglądamy się sprawdzonym wzorcom projektowym oraz zaawansowanym metodom skalowania przepływów. Zrozumienie relacji między różnymi modelami przetwarzania pozwala na budowanie systemów odpornych na nagłe skoki ruchu. W tym tygodniu dowiesz się więcej o:

Dlaczego now() w Postgresie kłamie? Oraz ponad 20 innych tematów

Mon, 01 Jun 2026 15:00:00 +0000

W tym numerze na pierwszy plan wysuwają się agenty AI oraz standaryzacja ich komunikacji, która staje się kluczem do stabilnych wdrożeń produkcyjnych.

Analizujemy protokół MCP jako nowy standard łączności agentowej oraz wyzwania przy wdrażaniu systemów RAG na realną produkcję, pokazujemy ewolucję Apache Iceberg ku wersji V4, która ma ostatecznie zatrzeć granicę między światem batcha a streamingu, i sprawdzamy, jak nowoczesne jeziora danych stają się fundamentem pod zaawansowaną obserwowalność systemów agentowych.

Czy AI Slop zaleje sieć? Plus Spark, Kafka i SQL

Mon, 25 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz ich głębokiej integracji z codziennym workflow inżynierskim.

Analizujemy, jak agenty Playwright i protokół MCP automatyzują cykl życia błędu, od wykrycia po zgłoszenie w Jirze, pokazujemy, jak Claude Code i lokalne modele Qwen2.5 zmieniają zasady gry w analizie danych i budowaniu dashboardów, i sprawdzamy, ile “śmieciowego” AI (slop) faktycznie krąży w sieci i jak to wpływa na jakość informacji.

W obszarze inżynierii danych skupiamy się na wydajności, optymalizacji kosztów i mądrym wyborze silników bazodanowych.

AI agenci, nudny backend i polskie głosy o architekturze hexagonalnej

Mon, 18 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz powrotu do sprawdzonych, “nudnych” technologii.

Analizujemy, jak agenci AI i modele LLM (Claude, ChatGPT) ewoluują w stronę praktycznych narzędzi do budowania skillów i automatycznego naprawiania testów, pokazujemy, dlaczego architekci coraz częściej rezygnują ze złożonych baz grafowych na rzecz sprawdzonych ontologii SQL, i tłumaczymy, dlaczego w backendzie prostota i standaryzacja wygrywają z niepotrzebną innowacyjnością.

W świecie Data Engineeringu skupiamy się na hybrydowym podejściu do analityki i optymalizacji kosztów.

Od potoków danych w YAML po automatyzację SharePoint API

Mon, 04 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na przełomowych zmianach w sposobie, w jaki systemy AI wchodzą w interakcję z naszym otoczeniem technologicznym.

Analizujemy Model Context Protocol (MCP) – otwarty standard, który kończy erę pisania dedykowanych integracji, sprawdzamy, jak agenty AI płynnie komunikują się z bazami danych w modelu „plug-and-play”, i pokazujemy praktyczne wdrożenia budujące skalowalne ekosystemy sztucznej inteligencji.

W obszarze Data Engineeringu i analityki dbt pozostaje centralnym punktem, ale jego rola ewoluuje w stronę pełnej automatyzacji.

Czy AI naprawi Twoje błędy na produkcji? Plus 25 materiałów o Data & AI

Mon, 27 Apr 2026 15:00:00 +0000

Dzisiejsze wydanie zdominowała dojrzałość systemów AI i ich przejście od prostego generowania kodu do pełnej orkiestracji procesów.

Mamy fascynujące studium przypadku AI, która samodzielnie diagnozuje i naprawia błędy na produkcji, sprawdzamy, jak autonomiczne agenty przejmują kontrolę nad cyklem życia eksperymentów ML, a także analizujemy model sub-agentów wspierających rolę Senior Staff Engineera w zarządzaniu złożonymi projektami.

W obszarze Data Engineeringu i analityki widać wyraźny trend w stronę profesjonalizacji i utwardzania pipeline’ów (na przykład korzystając z Data Build Tool).

Semantic layer, czarne skrzynki i 30 lat Postgresa kontra cały Twój stack

Mon, 20 Apr 2026 15:00:00 +0000

Tym razem data engineering trzyma środek ciężkości całego wydania — i robi to z rozmachem.

DuckLake osiąga wersję 1.0 jako pełnoprawna platforma lakehouse oparta na Apache Iceberg, dbt publikuje świeży benchmark semantic layer kontra text-to-SQL, a Meta dzieli się case study o tym, jak użyła NLP do mapowania wiedzy w pipeline’ach danych.

Do kompletu:

architektura medallion z warstwą semantyczną, 20 reguł walidacji, które powinny być standardem w każdym pipeline, i konkretny materiał Airbnb o wysokowydajnym pipeline metryk na OpenTelemetry.

Więcej niż podstawy: AI, lakehouse, zaawansowany SQL

Mon, 02 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu eksplorujemy najnowsze trendy w świecie danych i AI – od inteligentnych agentów wspomagających pracę z kodem i platformami analitycznymi, przez zaawansowane techniki machine learning i tokenizacji, aż po praktyczne podejścia do architektury systemów i inżynierii danych.

Poznaj narzędzia, które realnie skracają czas developmentu, dowiedz się, jak wykorzystać embeddings w prognozowaniu szeregów czasowych, a także sprawdź, dlaczego PostgreSQL oferuje znacznie więcej niż podstawowe zapytania SQL. Nie zabraknie również praktycznych projektów z wykorzystaniem H3 do analiz geoprzestrzennych, przewodnika po architekturze lakehouse oraz wskazówek, jak unikać krytycznych błędów w API Pythona i pipeline’ach danych. Dla dla entuzjastów wizualizacji – profesjonalne wykresy w R oraz zasady projektowania efektywnych dashboardów.

Zero ETL i hackathon z Bielikiem

Mon, 09 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu: architektura Zero ETL jako nowy standard w inżynierii danych (albo kolejny buzz word - różnie to bywa z nowościami), praktyczne zastosowania AI w zespołach data science, oraz ewolucja DuckDB w kierunku pełnoprawnego lakehouse.
Znalazłem też przegląd antywzorców w architekturach mikroserwisowych, strategie cache’owania w REST API i przewodnik po zarządzaniu ewolucją schematów w pipeline’ach strumieniowych (to potrafi być ból!).
Znajdziesz dzisiaj również frameworki analityczne dla e-commerce, techniki feature engineering w SQL dla szeregów czasowych oraz narzędzia do observability systemów ML w produkcji.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Warstwa semantyczna danych - od sensu biznesowego do kodu

Fri, 19 Dec 2025 13:13:10 +0000

W wielu firmach te same dane prowadzą do różnych liczb i interpretacji, bo każdy zespół inaczej rozumie kluczowe pojęcia biznesowe. Brak wspólnej warstwy semantycznej powoduje chaos, utratę zaufania do raportów i paraliż decyzyjny. Ten artykuł pokazuje, jak zapanować nad sensem danych – od źródła problemu po praktyczne rozwiązania.

Problem: kiedy liczby przestają mieć znaczenie

Jeśli pracujesz z danymi dłużej niż tydzień, znasz ten ból doskonale. Ten sam raport, trzy zespoły i… trzy różne wartości “sprzedaży”. Dane źródłowe te same, Zapytania SQL poprawne, dashboardy w Power BI działają jak należy, joiny się zgadzają - a mimo to ktoś kłamie. Albo raczej: każdy ma swoją prawdę. Manager regionu pokazuje 2,3 mln przychodu. CFO mówi o 1,8 mln. Analityk twierdzi, że obie liczby są prawidłowe. Zarząd pyta, kto jest niekompetentny. I co zaraportować na giełdę? Problem nie leży w danych. Baza jest jedna, źródła te same, pipeline działa. Problem leży w tym, że:

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Nowy dział low code

Mon, 06 Oct 2025 15:00:00 +0000

Kolejny tydzień, kolejna porcja wiedzy z szerokiego świata danych i AI. Jak zwasze przed Tobą materiały, które sprawdzą się zarówno w codziennej pracy, jak i przy zgłębianiu nowych technologii.

Jeśli zajmujesz się infrastrukturą i DevOps, czekają na Ciebie praktyczne wzorce Dockerfile dla Pythona, które zredukują czas buildów do sekund, oraz dziewięć sprawdzonych technik autoskalowania w Kubernetes, które przetrwają piki ruchu. A dla fanów baz danych – przegląd rozszerzeń PostgreSQL, które działają jak supermoc, oraz porównanie architektur Snowflake, Oracle i PostgreSQL.

Newsletter Dane i Analizy, 2025-06-23

Mon, 23 Jun 2025 15:00:00 +0000

Witaj w kolejnym numerze, który jak zwykle został przygotowany z myślą o tym, żebyś nie musiał(a) przebijać się samodzielnie przez 500 artykułów tygodniowo w poszukiwaniu prawdziwych perełek. Tym razem szczególnie różnorodny zestaw - od trenowania modeli językowych, przez serwery MCP i praktyczne implementacje w Pythonie (w szczególności przepływów danych i wykresów), aż po narzędzia, które mogą realnie zmienić użycie konsoli.

Ciekawostką tego numeru jest analiza protestu wyborczego z polskich wyborów 2025 - rzadko kiedy mamy okazję zobaczyć, jak statystyka spotyka się z rzeczywistością polityczną w tak bezpośredni sposób.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-04-21

Mon, 21 Apr 2025 15:00:00 +0000

Pomimo trwających świąt (chociaż już za moment “święta, święta i po świętach”) dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Newsletter Dane i Analizy, 2025-04-14

Mon, 14 Apr 2025 15:00:00 +0000

Ciepłe powitanie dla wszystkich nowych czytelników, którzy dołączyli razem z cyklem o analizie danych z rynku pierwotnego nieruchomości! Cieszę się, że tu jesteście. A jeśli ktoś nie zna tego cyklu - zapraszam na stronę, gdzie można się zapisać. Za zupełną darmoszkę.

W tym tygodniu przygotowałem zestaw materiałów, które odzwierciedlają dynamiczny rozwój świata AI, analizy danych i programowania. Szczególnie interesujące wydają się nowinki z pogranicza multimodalnych modeli AI, gdzie można własnoręcznie zbudować odpowiednik GPT-4o, oraz projekt analizujący trendy w segmentach sponsorskich na YouTube.

Newsletter Dane i Analizy, 2025-04-07

Mon, 07 Apr 2025 15:00:00 +0000

Dzisiaj “mapy rozwoju” - czyli listy zagadnień, które warto poznać, zgłębić, nauczyć się, aby rozwinąć się w danej dziedzinie. Dziedziny te oczywiście bliskie są tematom przewodnim tego newslettera - przetwarzaniu danych. Zatem jest “ścieżka rozwojowa” dla inżynierów danych oraz dla zajmujących się machine learningiem (i jego “operacjonalizacyjną” stroną - MLOps).

Ciekawe dla Ciebie mogą być również dwa świeże raporty (za 2024 rok) związane z bezpieczeństwem - jeden z CERT, więc bezpieczeństwo raczej ogólne. Drugi z Komisji Nadzoru Finansowego dotyczący instytucji finansowych.

Newsletter Dane i Analizy, 2025-03-31

Mon, 31 Mar 2025 15:00:00 +0000

Hit minionego tygodnia to MCP (Model Context Protocol). Jest to otwarty standard opracowany przez firmę Anthropic w listopadzie 2024 roku, który umożliwia ustandaryzowaną integrację modeli sztucznej inteligencji z zewnętrznymi źródłami danych i narzędziami. Jego główne cechy to:

Standaryzacja połączeń między AI a zewnętrznymi zasobami Dwukierunkowa komunikacja w czasie rzeczywistym Dynamiczne wykrywanie dostępnych narzędzi i kontekstu Optymalizacja dla dużych modeli językowych (LLM)

Architektura MCP składa się z kilku kluczowych komponentów:

Host - główna aplikacja AI zarządzająca klientami MCP Klienci MCP - pośrednicy łączący hosta z serwerami MCP Serwery MCP - lekkie programy udostępniające funkcjonalności poprzez MCP

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-03-10

Mon, 10 Mar 2025 15:00:00 +0000

Pod koniec lutego “ukazał” się zbiór danych (pochodzących najprawdopodobniej z serwisu rynekpierwotny.pl) zawierający całkiem sporo ofert nowych mieszkań (i nie tylko). Zbiór o tyle interesujący, że ze współrzędnymi oferowanych lokalizacji. Na LinkedIn wrzuciłem na szybko przygotowaną mapkę wynikającą z tego zbioru, ale planuję coś większego: e-mailowy cykl (3-4 maile, pewnie co tydzień) pokazujący co z tymi danymi można zrobić. Na pewno napiszę o tym w newsletterze, na pewno napiszę o tym na LinkedIn - zatem zapraszam do obserwowania. Na fanpage’u Dane i Analizy też będzie o tym info, więc też warto obserwować.
Żeby było ciekawiej - dość podobny temat porusza jeden z dzisiejszych postów, jakie znajdziesz poniżej - ten o kebabach - to doskonały przykład praktycznego zastosowania analizy danych.

Newsletter Dane i Analizy, 2025-03-03

Mon, 03 Mar 2025 15:00:00 +0000

Kto, w podziale na grupy zawodowe, używa najwięcej AI? Ciekawa wizualizacja na ten temat, oparta na zapytaniach do Claude. Spoiler: 37.2% zapytań dotyczy komputerów i matematyki (w tym rozwoju oprogramowania), co raczej nie dziwi.

Zastanawiałeś się kiedyś nad przejściem z SQL na NoSQL? Artykuł “I Dropped SQL for NoSQL” opisuje, jak taka zmiana wpłynęła na wydajność aplikacji, obsługując pięciokrotnie większy ruch i dziesięciokrotnie szybsze zapytania. Jeśli jednak wolisz pozostać przy SQL, “3 Foundational Principles for Writing Efficient SQL” przypomina o podstawowych zasadach, które pomogą Ci pisać wydajne i czytelne zapytania.

Newsletter Dane i Analizy, 2025-01-20

Mon, 20 Jan 2025 15:00:00 +0000

Ten tydzień to głównie narzędzia i automatyzacja - od tworzenia wątków na Twitterze po sprzątanie plików. Jeśli szukasz sposobów na ulepszenie swojego warsztatu, to dobrze trafiłeś. Szczególnie ciekawe są dwa artykuły o pracy z API - jeden o Claude.ai (który coraz śmielej radzi sobie z analizą tekstu), drugi o tym jak zaprojektować klucze API, żeby nie wyglądały jak kot przebiegł po klawiaturze ;-)

Dla pythonistów garść praktycznych rozwiązań: radzenie sobie z zagnieżdżonymi strukturami danych przez Pydantic, wyciąganie tabel z PDFów (kto nigdy nie walczył z parsowaniem PDFa, niech pierwszy rzuci kamieniem).

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-11-25

Mon, 25 Nov 2024 15:00:00 +0000

Nieco o LLMach dzisiaj - o przygotowywaniu danych (z PDFów) oraz o poszukiwaniu modelu, który można uruchomić lokalnie. Ponieważ LLMy od dwóch lat są znaczącym tematem - mają swoją sekcję i właśnie tam możecie zajrzeć.

A jeśli wolisz sobie skonfigurować VSCode do pracy z Pythonem to Arjan pomoże.

#ai_ml

How to Implement Named Entity Recognition with Hugging Face Transformers
Rozpoznawanie nazwanych jednostek (NER) to podstawowe zadanie przetwarzania języka naturalnego (NLP), obejmujące identyfikację i klasyfikację nazwanych jednostek w tekście do wstępnie zdefiniowanych kategorii. Kategoriami tymi mogą być nazwiska osób, organizacje, lokalizacje, daty i inne. Zobaczmy, jak można przeprowadzić NER, wykorzystując Transformers od Hugging Face

Newsletter Dane i Analizy, 2024-10-28

Mon, 28 Oct 2024 15:00:00 +0000

Jeden z tekstów, które znajdziecie poniżej mówi o tym, jak pobrać z YouTube wideo, wyciągnąć z niego dźwięk, a potem ten dźwięk przekształcić w zapis tekstowy (taki do czytania). Potem i tak nikt tego nie czyta…

Niektórzy może czytają. A jeśli wolą jednak oglądać albo słuchać - dzisiaj przed Wami zapisy wideo z dwóch konferencji. Jedna to “Oh My Hack” odbywająca się w Polsce i skupiająca się na zagadnieniach związanych z bezpieczeństwem. Nagrania pochodzą z edycji, która miała miejsce w 2023 roku. Druga konferencja to coś nowszego - amsterdamska edycja PyData, z tego roku.

Newsletter Dane i Analizy, 2024-09-02

Mon, 02 Sep 2024 15:00:00 +0000

Od kilku tygodni (może bardziej kilkunastu dni?) na LinkedIn widać pochwały dla Bielika - polskiego czat-bota opracowanego na bazie modelu Mistral-7B. Tutaj możecie poczytać swego rodzaju test tego modelu. Polecamy własne eksperymenty (ciekawym jest prompt “Przygotuj dialog pomiędzy Janem i Marią, dwojgiem polskich emerytów spotykających się pomiędzy apteką a sklepem spożywczym” - ChatGPT, Cloude, Gemini - próbujcie, kto da bardziej “polską” odpowiedź). Co ważne - Bielik w wersji 2.2 jest dostępny na licencji Apache 2.0, która pozwala na swobodne używanie, modyfikowanie i redystrybucję oprogramowania, w tym w celach komercyjnych. Jedynym wymaganiem jest zachowanie oryginalnej licencji i noty prawnej przy każdej redystrybucji.

Newsletter Dane i Analizy, 2024-07-15

Mon, 15 Jul 2024 15:00:00 +0000

W minionym tygodniu miałem przyjemność prowadzić szkolenie z podstaw Pythona. I korzystając z okazji, przy okazji omawiania zagadnień typu czytanie z pliku, listy, słowniki, listy słowników, iteracje po listach słowników i czyszczenie danych wraz z ekipą szkoloną przygotowaliśmy podsumowanie meczu Anglia - Holandia… na podstawie historycznych spotkań, znalezionych gdzieś w sieci. Nieco pociąłem nagranie, i wpadło na YouTube. Niecałe pół godziny, live coding na żywca, w upalny dzień, z dusznej salki.

Newsletter Dane i Analizy, 2024-06-24

Mon, 24 Jun 2024 15:00:00 +0000

W piłkę polska reprezentacja już (za moment) na Euro nie pogra, ale o przewidywaniu wyników trwającego turnieju piłkarskiego coś dzisiaj znajdziecie. Nawet nie w kontekście polskiej reprezentacji, a bardziej w kontekście “jak to się robi?”. Bo taki cel ma ten newsletter - pokazywać jak to się robi. Więc jeśli znasz kogoś, kto jeszcze nie wie to ślij mu tego maila. A jeśli ktoś przysłał Tobie tego maila - to zapisz się prawilnie na odpowiedniej stronie.

Newsletter Dane i Analizy, 2024-06-03

Mon, 03 Jun 2024 15:00:00 +0000

Po dłuższym weekendzie mocny w AI numer newslettera przed Tobą. Numer, który pokrywa takie obszary AI jak obraz, tekst oraz dźwięk.
W ramach obrazu mamy tutorial PyTorcha, ale dodatkowo być może zainteresuje Cię informacja, że modele rozpoznawania obiektów na obrazach YOLO dotarły już do wersji 10 - tutaj review pejpera z opisem YOLOv10, w treści też linki do wytrenowanych modeli i kodu wykorzystujących te modele.

Oprócz AI kilka wskazówek, które mogą przydać się przy wyborach SQL czy NoSQL albo FastAPI czy Flask. Do tego aż dwa teksty o modelowaniu struktury danych w bazie, w tym bardzo konkretny (i obszerny) tutorial o kalendarzach.

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2024-01-22

Mon, 22 Jan 2024 15:00:00 +0000

YOLO. Nie tylko “you only live once” ale - w kontekście ML/AI i computer vision - przede wszystkim modele do rozpoznawania obiektów na zdjęciach.
Doczekaliśmy się już kilku wersji algorytmu YOLO, każda kolejna jest szybsza, sprawniejsza, rozpoznająca więcej i lepiej. Na to właśnie idzie klikanie w światła drogowe albo autobusy w obrazkowych captcha ;-)
Więcej o kolejnych wersjach YOLO i ich architekturach dowiesz się z tekstu, w którym dodatkowo znajdziesz linki do tego jak trenować i używać tych modeli.

Newsletter Dane i Analizy, 2023-12-04

Mon, 04 Dec 2023 15:00:00 +0000

W poprzednim tygodniu przeczytać mogliście króciutkie podsumowanie Data Science Summit, a tam stwierdzenie, że dużo się mówi o Streamlit jako sposobie na PoC-owanie prezentacji danych. Świat obecnie idzie również w stronę streamingu i obsługi tak przesyłanych danych - głównie Flinkiem. I na Flinku skupia się dzisiejszy numer naszego newslettera.

Ciekawy jest też niespełna półgodzinne nagranie prezentujące możliwości DuckDB w kontekście danych przestrzennych pozyskanych z Open Street Maps. Chwilę bawiłem się DuckDB ale w połączeniu ze sporymi zbiorami geo (zapisanymi w ShapeFile’ach) i śmiga to wspaniale. Jedyny minus - to baza plikowa, więc średnio do użycia w przypadku dostępu przez wiele aplikacji na raz. Ale jako element w procesie data engineeringu może się bardzo przydać.

Newsletter Dane i Analizy, 2023-10-30

Mon, 30 Oct 2023 15:00:00 +0000

Dzisiaj trochę o mapkach, trochę o diagramach (takie diagram as a code tylko dlaczego BitBucket nie potrafi wyświetlić Mermaid (ticket w Atlassianie jest “solved”! Ale zobaczcie jak ;-), a GitHub robi to z palcem… to znaczy bez problemu?), a do tego sporo materiału video. Chyba też więcej niż zwykle treści po polsku (polecamy tekst Tomka Zielińskiego o transportowaniu danych - może się przydać na spotkania rekrutacyjne, ja lubię zadawać analogiczne pytania).

Newsletter Dane i Analizy, 2023-09-25

Mon, 25 Sep 2023 15:00:00 +0000

W tym tygodniu stawiam na potoki przetwarzające dane i pokazujące je finalnie w jakimś dashboardzie. To najczęstsza robota w korporacjach, szczególnie w zespołach “raportowych”. Dlatego gorąco polecam dzisiejszy dział “Analiza danych - projekty”.

Przy przetwarzaniu danych częstym krokiem jest analiza tego co przychodzi. Można użyć narzędzi BI, można ręcznie rzeźbić kod, a można skorzystać z Data Wranglera - dodatku do VSCode, w którym poszczególne kroki pochodzą z takiego niby wizarda, a w efekcie dostajemy gotowy kod. No trzeba to zobaczyć (10 minut filmu z dość specyficznym akcentem, ale nie takim jak myślicie), a potem można zainstalować.

Newsletter Dane i Analizy, 2023-05-29

Mon, 29 May 2023 15:00:00 +0000

Dość przekrojowo dzisiaj.

Najciekasze według mnie tekstu to ten o sensownym nadawaniu gwiazdek produktom (ile razy filtrowaliście produkty w sklepie internetowym przed kupnem po najlepszej ocenie i okazywało się, że z “piątką” jest tylko jeden?), ten o SoftMax (nie przeraź się równaniami na początku, chociaż może podstawy matematyczne są akutat dla Ciebie cenne?).

Bardzo dajny jest też dział Python - od rzeczy prostych typu wiele wykresów na jednym obrazku do modelu (no…) informującego o tym że akcje należy kupić albo sprzedać.

Newsletter Dane i Analizy, 2023-03-27

Mon, 27 Mar 2023 15:00:00 +0000

Być może przeczytaliście wszystko co było do przeczytania z poprzedniego wydania newslettera, a może coś jeszcze Wam zostało? Dlatego dzisiaj nieco mniej (właściwie - tyle co zwykle) nowości, ale nie oznacza to wcale że jakoś gorzej.

Sporo materiałów dotyczy Sparka i różnych z nim kombinacji - do nauki i szukania kierunków poszerzania wiedzy znakomite punkty wyjścia. Można też nauczyć się czegoś joinach w SQL.

Z nieco bardziej zaawansowanych tekstów polecam ten o Apache Hudi w Uberze oraz o tym jak właściwie działa ChatGPT. A skoro już przy nim jesteśmy - wiele w minionym czasie pojawia się tekstów o tym jak to ChatGPT zabierze pracę różnym ludziom, w tym programistom. Czy zabierze? Przekonamy się. Ale już teraz przeczytajcie jak może być pomocny przy tworzeniu kodu (na przykładzie aplikacji w Streamlit).

Newsletter Dane i Analizy, 2023-02-06

Mon, 06 Feb 2023 15:00:00 +0000

Dzisiaj nieco zagadnień teoretycznych. Dobór odpowiedniego rozkładu do istniejących danych, metody tropienia ile tak na prawdę mamy “klastrów” (grup) w danych.

Sporo też o GPT-3, a raczej jego wykorzystaniu w różny sposób (od pisania książek do pisania… rozszerzeń do Chrome). Niespodziewanie dzisiaj rozrósł się dział dedykowany Apache Kafka.

Na koniec coś o wizualizacji, na przykład szpilki pokazujące gdzie mieszkają ludzie.

#AI_ML

Building a Multiclass Classification Model in PyTorch
PyTorch zdobywa rynek AI spychając w cień TensorFlow. Jeśli więc zamierzasz się przesiadać - ten tutorial o prostej klasyfikacji może się przydać

Newsletter Dane i Analizy, 2022-12-19

Mon, 19 Dec 2022 15:00:00 +0000

Po Mundialu, można się rozejść. W tym tygodniu lekkie wytchnienie, potem święta, święta i po świętach.

W związku z tym życzę Państwu wszystkiego najlepszego, rodzinnych, spokojnych świąt. Odstawcie modele ML, dostawcie Flinki, Sparki i Kafki, zajmijcie się uszkami w barszczu i prezentami spod choinki. No, może być Pinot… Pinot Noir.

#AI_ML

10 Commonly Used Loss Functions Explained with Python Code
Loss Function czy też bardziej swojsko “funkcja straty” to taka funkcja, która jest minimalizowana przez algorytm ML. A jakie mogą to być funkcje?

Newsletter Dane i Analizy, 2022-10-31

Mon, 31 Oct 2022 15:00:00 +0000

Poprzednie wydanie newslettera skupiało się na szeregach czasowych (zobacz w archiwum). Dla odmiany dzisiaj coś o analizie koszykowej - czyli co z czym się kupuje i co z tego wynika? Przykłady w kliku językach programowania znajdziecie niżej, w dedykowanej sekcji.

Nieco standardowo, albo może raczej - tradycyjnie - sporą część publikowanych dzisiaj tekstów mówi o technologiach streamingowych i big data. Zatem jest o rodzinie i znajomych Apache: Kafka, Spark, Iceberg, gdzieś przewinął się chyba też Flink. Czy to są interesujące dla Was tematy? A może rysowanie mapek jest ciekawsze? ;-)

Newsletter Dane i Analizy, 2022-10-03

Mon, 03 Oct 2022 15:00:00 +0000

W tym tygodniu nieco mniejsza liczba tekstów, ale chyba bardziej rozbudowanych niż zwykle.

Szczególnie polecam tekst pierwszy 2022 Data Science Research Round-Up, ale też przykłady i porównanie różnych algorytmów do topic modelingu czy też całą praktycznie sekcję poświęconą Pythonowi.

Być może ktoś z Was przegapił na fanpage’u Dane i analizy: klikalny generator zapytań SQL - świetna sprawa do nauki ale też zapewne może przyspieszyć pracę.

#analiza_danych_koncepcje

2022 Data Science Research Round-Up
Przegląd najciekaszych zagadnień związanych z machine learning. deep learnig, NLP z ostatnich miesięcy. Tylko wstęp, każde opisane jest dalej w podlinkowanych materiałach

Newsletter Dane i Analizy, 2022-08-01

Mon, 01 Aug 2022 15:00:00 +0000

Dzisiaj nieco więcej materiałów z krainy “ops” w świecie “devops”. Warto znać obie ziemie, żeby nie mieć problemu chociażby z uruchomieniem kilku aplikacji (dockerowymi) pod różnymi ścieżkami na jednej domenie. Dlatego warto zajrzeć do tekstów o Nginx.

Ale sprawy związane z analizowaniem danych czy też ich przetwarzaniem w celu przewidywania przyszłości tradycyjnie też są na poniższej liście interesujących artykułów z minionego tygodnia.

#AI_ML

Czym jest i jak zbadać dryft modelu (model drift)?
Dryft modelu odnosi się do spadku wydajności modelu z powodu zmian danych i relacji między zmiennymi wejściowymi i wyjściowymi

Newsletter Dane i Analizy, 2022-07-25

Mon, 25 Jul 2022 15:00:00 +0000

Wakacje wakacjami, ale te kilka godzin poświęciłem specjalnie dla Was aby przygotować dzisiejsze wydanie newslettera.

Pamiętacie Wojny Rdzeniowe? Dla tych, którzy nie bardzo - ciekawy tekst (po polsku, co rzadkie tutaj ;) opowiadający historię tych… hmmm… konkursów? zawodów?

A gdyby tak przygotować wewnętrzne rozgrywki tego typu? Co o tym sądzicie? Piszcie!

Zamiast jednak programować można klikać. Jeśli ktoś jest zwolennnikiem no-code to pewnie zainteresuje się przeglądem platform tego typu przeznaczonych do zadań machine learningu.

Newsletter Dane i Analizy, 2022-07-18

Mon, 18 Jul 2022 15:00:00 +0000

W tym tygodniu sporo materiałów związanych z przygotowywaniem modelu danych w bazie - to istotne zagadnienie, warto się chociaż trochę w temacie orientować jeśli projektujemy coś co ma dane przechować (i potem je przekazać dalej albo przekształcić).

Tak też wyszło, że zebrało się kilka zagadnień związanych z przetwarzaniem tekstu w Pythonie oraz przetwarzaniem (np. poprzez OCR) całych dokumentów.

#AI_ML

ML prediction on streaming data using Kafka Streams
Najsmaczniejsze kąski w przetwarzaniu danych w czasie rzeczywistym są właśnie takie - jest strumień danych, na nim działają jakieś modele machine learningowe i o czymś decydują. Tutaj dowiesz się jak to zbudować w kilku krokach

Newsletter Dane i Analizy, 2022-07-04

Mon, 04 Jul 2022 15:00:00 +0000

Znacie historię plików cookie? Dzisiaj możecie ją poznać z jednego z tekstów w newsletterrze.

Jeśli interesuje Was coś z zakresu wdrażania oprogramowania, monitoringu i ogólnie pojętej automatyzacji tego typu działań - sekcja DevOps może być dobrym początkiem.

Polecam też gorąco tekst o efekcie wabika oraz R-owy pakiet gtExtras użyty w jednym ze sposobów prezentacji rankingu zawodników.

#analiza_danych_koncepcje

Unsupervised Learning: K-Means Clustering
K-means to jeden z algorytmów nienadzorowanego uczenia maszynowego o którego pytają na rozmowach kwalifikacyjnych. Jak działa?

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2022-05-30

Mon, 30 May 2022 15:00:00 +0000

Znacie metodę “getting things done”? Jest taka książka Davida Allena opowiadająca dokładnie co i jak. Ale kto by czytał całą książkę, jeśli jest wersja skrócona? Polecam. Jeśli wolicie książkę to w Helionie jest promocja na e-booka.

Polecam dzisiaj trochę oglądania - praktyczne wykorzystaniu narzędzi ML w banku w prezentacji XGBoost w praktyce oraz DDD w systemach rozproszonych. Cała reszta materiałów równie znakomita :)

#analiza_danych_koncepcje

5 Ways to Use Histograms
Sposoby na użycie histogramów… z perspektywy machine learningu

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2021-08-30

Mon, 30 Aug 2021 09:00:00 +0000

Monte Carlo Cost Estimates: Engineers Throwing Dice
Estimating the cost of a complex project is not a trivial task. Traditional cost estimates are full of assumptions about the future state of the market and the final deliverable. Monte Carlo cost estimates are a tool to better understand the risks in your project and enable better cost control. Monte Carlo simulations are a technique to control your “known unknowns”. Albert Einstein famously said (…)

Newsletter Dane i Analizy, 2021-08-23

Mon, 23 Aug 2021 09:00:00 +0000

Scala is like Python 4
Although it’s fundamentally closer to Java, Scala has clearly taken a lot of influence from Python in terms of style and functionality. As someone who has written Python code for ~7 years now, playing around with Scala feels surprisingly familiar, but it’s more akin to using a statically typed and compiled version of Python 3. Obviously, they’re very different languages, b ut if you’re an (…)

Newsletter Dane i Analizy, 2021-08-02

Mon, 02 Aug 2021 09:00:00 +0000

How To Use “yield” in Python?
Python Generator — from basic to advanced usage Continue reading on Towards Data Science »

10 Best Practices to Write Readable and Maintainable SQL Code
How to write SQL queries that your team can easily read and maintain? It’s easy to mess with SQL without proper guidelines. Since everybody in your team might have their own habits of writing SQL, you can quickly end up with a confusing code that nobody understands. You probably realized the importance of following a set of good practices. May this article give you the guidance you’re (…)

Newsletter Dane i Analizy, 2021-06-07

Mon, 07 Jun 2021 09:00:00 +0000

3 Examples That Show The Unlimited Flexibility of PySpark
A combination of Python and SQL but easier than both Spark is an analytics engine used for large-scale data processing. It lets you spread both data and computations over clusters to achieve a substantial performance increase. It is easier than ever to collect, transfer, and store data. Hence, we (…)

Row-wise operations in R: compute row means in tidyverse
This tutorial shows how to perform row-wise operations in R using tidyverse. We will use three key functions, rowwise(), c_across() and rowMeans() to perform to perform row-wise operations on a dataframe. rowwise() and c_across() functions are from dplyr. rowwise() function is available in dplyr (…)

Newsletter Dane i Analizy, 2021-05-10

Mon, 10 May 2021 09:00:00 +0000

How to Perform Basic ML Serving With Python, Docker, and Kubernetes
This tutorial provides a basic, step-by-step example of real-time serving a machine learning (ML) model as a REST API with Python, Docker, and Kubernetes. We’ll build a basic REST API with Python, test it locally with Docker, and deploy our API with Kubernetes. By the way, if you want to go faster, (…)

Dockerizing Shiny Applications
Docker provides isolation to applications. Images are immutable. Running multiple instances of the same image can serve many users at the same time. All these general advantages of containerized applications apply to Shiny apps too. The post Dockerizing Shiny Applications first appeared on (…)

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

Promocja na książki

Sat, 11 Jul 2020 10:03:15 +0000

Jeszcze tylko do poniedziałku 13.07 promka wakacyjna w Helionie, łapcie póki są porządne rabaty!

Deep learning z Kerasem w Pythonie, a konkretnie pozycja Deep Learning. Praca z językiem Python i biblioteką Keras i wersja dla R: Deep Learning. Praca z językiem R i biblioteką Keras
Ponoć najlepsza książka do nauki Pythona Automatyzacja nudnych zadań z Pythonem. Nauka programowania
Oraz dla równowagi - najlepsza książka do nauki R: Język R. Kompletny zestaw narzędzi dla analityków danych
Analiza danych to też SQL, zatem Praktyczny kurs SQL
Najlepszym środowiskiem do pracy jest mimo wszystko Linux - podstawy złapiesz dzięki Linux. Komendy i polecenia
Ale nie wszystko musisz mieć zainstalowane na jakimś serwerze - są rozwiązania kontenerowe, więc Docker. Praktyczne zastosowania może okazać się dobrym pomysłem.
Chyba, że wolisz pozostać w świecie Excela, wówczas przyda Ci się Biblia Excela. Sposobem na przejście do bardziej zaawansowanych technik jest Power Query, w korporacjach przyda się więc Power Query w Excelu i Power BI. Zbieranie i przekształcanie danych.

Więcej książek w ramach promocji znajdziecie na stronie.

(py)Spark, Hadoop i HDFS - podstawy

Thu, 09 Apr 2020 19:06:13 +0000

Dzisiaj zajmiemy się wykorzystaniem Sparka i Hadoopa do przetwarzania większej ilości danych. Oraz do budowania prostego modelu (regresji liniowej). Może jeszcze nie jest to big data, ale mechanizmy są identyczne jak w przypadku większej liczby danych. Wystarczy tylko tych danych więcej zgromadzić, zbudować większe środowisko (dużo serwerów) i… też będzie działało.

A w dodatku poznamy pakiet faker który pozwoli nam na wygenerowanie sztucznych danych.

Spark i Hadoop

Apache Spark to rozwijana na zasadach open source platforma klastrowego przetwarzania danych, która ma interfejsy API dla takich języków programowania jak Scala, Python, Java i R.

Spark, czyli opóźnienia pociągów

Fri, 21 Dec 2018 14:52:21 +0000

Czy polskie pociągi są punktualne? To pytanie, na które poszukamy odpowiedzi, ale jest ono tylko przyczynkiem do dzisiejszego wpisu.

Chciałbym pokazać dzisiaj sposób znalezienia odpowiedzi, nawet nie samą odpowiedź. Skąd wziąć dane? Jak sobie z nimi poradzić? Czym je uzupełnić?

Pozyskanie danych

W pierwszym odruchu pomyślałem o stronach PKP i webscrappingu. Ale na Twitterze mojego bota @rstatspl obserwuje inny bot - @OpPociagow, który prezentuje ciekawe dane. Skoro prezentuje to je ma. Skoro ma, to gdzieś są. Chwila rozmowy z twórcą i uzyskujemy adres InfoPasażer Archiver - archiwum opóźnień pociągów.

Partie polityczne i sport

Thu, 25 May 2017 12:32:43 +0000

Czy preferencje polityczne mają jakiś związek z preferencjami sportowymi? Innymi słowy: czy jeśli lubię PSL to wolę piłkę nożną czy jednak bieganie? Stereotypowo mogłoby to wyglądać tak: Nowoczesna to biegi, PiS - piłka nożna i podnoszenie ciężarów (przed tv, ciężary 500ml w puszce), Kukiz - wędkarstwo, PSL - wypas owiec. Koniec żartu, można się śmiać. A jak jest? Zrobimy eksperyment z dużą ilością danych. Facebook ma to od ręki, dlatego wykorzystamy publiczne informacje z tego właśnie źródła. Poza tym - te 2 miliardy użytkowników zostawia bardzo dużo informacji o sobie. Według badania Gemius/PBI za kwiecień 2017 w Polsce z Facebooka korzysta 22.6 mln internautów (81.4% wszystkich, co ciekawe - zanotowano spadek o ponad 200 tys. m/m). Jak to zrobić? Po pierwsze trzeba wytypować listę fanpage’y na podstawie których będziemy wyciągać wnioski. Skorzystałem z dwóch źródeł: własnej głowy (i sondaży poparcia) aby wytypować partie i z własnych rąk aby wyszukać ich fanpages na Facebooku. Druga strona równania to lista fanpage’y sportowych (dla mnie trudniejsze) - tutaj skorzystałem z raportów Sotrender. Teraz metodologia. Można na kilka sposobów. Na przykład biorąc listę fanów poszczególnych stron i szukając części wspólnych tych zbiorów. Tak będziemy działać. Problemem jest tylko jak uzyskać listę fanów? Kiedyś Facebook udostępniał poprzez API możliwość wywoływania zapytań FQL (to taki podobny do SQL język dla FB). Ale ograniczenia prywatności spowodowały, że to nie działa. Trzeba więc inaczej, co nieco zaburzy wyniki (trudno mi jednocześnie na szybko oszacować jak bardzo). Posty na stronach są publiczne, ludzie lajkują i komentują. Facebook udostępnia poprzez API dane o tych komentarzach i lajkach, w tym ID (oraz imię i nazwisko) użytkowników, którzy taką interakcję poczynili. Zatem weźmiemy posty każdej ze stron, dla każdego postu listę osób reagujących (policzymy tylko like i comment - bez share oraz innych reakcji) na post. Tym sposobem nie będziemy mieć fanów (jest ich zapewne więcej niż wchodzących w interakcję - jaka to różnica wyjdzie po drodze; a jednocześnie na tych stronach można komentować i lajkować nie będąc jednocześnie fanem strony), ale coś podobnego. Może nawet lepszego (użytkownik zaangażowany jest cenniejszy niż bierny obserwator).

Rowery Veturilo - część pierwsza

Mon, 08 May 2017 15:54:27 +0000

Czy popularność rowerów Veturilo w Warszawie od czegoś zależy? Dzisiaj, po majowej przerwie (spędzonej między innymi na rowerze) zajmiemy się nieco większymi zbiorami danych. Na początek kilka słów o przygotowaniu danych.

Rowery Veturilo

Od początku marca (od bodaj 11) zbierałem dane wystawione przez NextBike (operatora rowerów m.in. Veturilo) dla kilkudziesięciu miast. Ograniczyłem się tylko do Warszawy, dane były pobierane co 5 minut. Jak wyglądają te dane możecie sprawdzić sami - to dostępny online plik XML. W pliku znaleźć można wszystkie potrzebne nam informacje:

Koncert Tori Amos

Sun, 24 Jun 2007 17:47:49 +0000

Tori Amos zagrała w tym tygodniu świetny koncert w warszawskiej Sali Kongresowej. Byłem, cieszyłem ucho i oko, a do tego zrobiłem kilka zdjęć. Jak znajdę chwilę czasu i odrobinę natchnienia to napiszę coś o muzyce - wiele ciekawego ostatnio (m.in. koncertowa płyta Archive, nowa płyta The White Stripes). Dla ciekawskich i precyzyjnych - lista utworów:

Body & Soul
My Posse Can Do
God
Dragon
Secret Spell
You Can Bring Your Dog
Professional Widow (remix, Tori zmienia strój)
Big Wheel
Crucify
Caught A Lite Sneeze
Cornflake Girl
Bells for Her
Glory of the 80s
Winter (solo)
Baker Baker (solo)
Putting the Damage On
Black Dove (January)
Code Red
Precious Things (pierwszy bis)
Bouncing Off Clouds (pierwszy bis)
Pancake (drugi bis)
Hey Jupiter (drugi bis)

O ambicji i nowej stronie

Thu, 12 Jan 2006 08:39:53 +0000

Od kilku tygodni chodzi mi po głowie pomysł stworzenia zupełnie od początku nowej strony. Oczywiście swojej strony, bo jakiej by innej? Była by to już bodaj piąta wersja układu graficznego (wiszącego w sieci, bo projektów, które publicznie nie były prezentowane było co najmniej dwa razy więcej). Jednocześnie ze zmianą graficzną mam zamiar wprowadzić całkowicie nowy sposób zarządzania treścią (czyli krótko mówiąc: napisać własnego CMSa). Oto kilka założeń koncepcyjnych:

całość oparta na SQLowej bazie danych;
podział tak jak do tej pory na kilka działów (ostatecznie najprawdopodobniej pozostaną cztery: opowiadania, publicystyka, fotografia oraz blog plus mniej lub bardziej stałe dodatki typu CV);
możliwość komentowania każdego z tekstów;
możliwość wydruku każdego z tekstów (i fotografii), być może też zapisania go (tylko teksty) w formie PDFa (nie znalazłem jeszcze odpowiedniego skryptu), może też przesłanie tekstu (i – być może – fotografii) na wskazany mail (coś w rodzaju “poleć znajomemu”);
część elementów (np. mapa strony) generowana byłaby 100% dynamicznie;
przyjazność dla wyszukiwarek (słowa kluczowe i podobne rzeczy w meta-tagach), być może w połączeniu z przyjaznymi ścieżkami (przy użyciu mod_rewrite serwera WWW);
100% zgodności z XHTML wspartym CSS, co oznaczałoby całkowite oddzielenie treści od warstwy prezentacyjnej, a tym samym pozwoliłoby na przygotowanie różnych “skórek” strony.

Ostatni punkt jest na tyle istotny, że taki system byłby stosunkowo przenośny na inne strony o podobnym charakterze. Na razie prace są na etapie drugiego projektu graficznego i przygotowywania struktury bazy danych. I tutaj wkraczamy w element pierwszy tytułu tego wpisu – ambicję. Ja wiem, że takich systemów jest pewnie kilka i wystarczy tylko odpowiedni zainstalować i dodać to czy owo. No i ok, niech sobie będą – w niczym mi nie przeszkadzają. Chcę jednak taki system napisać tak naprawdę dla siebie, na swoje własne potrzeby. Chcę się zmierzyć z dawno porzuconą materią PHP, z lekko liźniętą materią SQL. Chcę też zastosować kilka rozwiązań, o których nie myślałem wcześniej, a wydają mi się standardem we współczesnym WWW (owo “poleć znajomemu”). Zapewne przygotowania potrwają jeszcze… kilka miesięcy. Zapewne nie odbije się to znacząco na oglądalności mojej strony. Na pewno za to przyniesie mi frajdę i satysfakcję, kiedy wszystko pójdzie tak, jak to sobie zaplanowałem. A co dalej?, co później? Później (tak po około 2-3 tygodniach) stwierdzę, że jestem niezadowolony, że to czy owo można poprawić czy też napisać inaczej. A co więcej (i tego w tym momencie się obawiam – tworzę projekt „pod siebie”) – że można było to napisać lepiej i bardziej skalowalnie, bardziej przenośnie; z możliwością edycji wszystkiego przez taki czy inny CMS. No cóż… może wtedy zabiorę się za rozbudowę? Na tym polega właśnie rozwój.