Cotygodniowa dawka linków, czyli archiwum newslettera Dane i Analizy
W minionym tygodniu miałem przyjemność prowadzić szkolenie z podstaw Pythona. I korzystając z okazji, przy okazji omawiania zagadnień typu czytanie z pliku, listy, słowniki, listy słowników, iteracje po listach słowników i czyszczenie danych wraz z ekipą szkoloną przygotowaliśmy podsumowanie meczu Anglia – Holandia… na podstawie historycznych spotkań, znalezionych gdzieś w sieci. Nieco pociąłem nagranie, i wpadło na YouTube. Niecałe pół godziny, live coding na żywca, w upalny dzień, z dusznej salki.
Z kolei 10 i 11 października tego roku Comarch organizuje wydarzenie online pod nazwą „Data & Analytics Comarch Meetup„. Dane i Analizy to patron medialny tego wydarzenia.
W związku z tym i szybkie (trzy minuty) przypomnienie na YouTube jak było w zeszłym roku (bo może nie każdy kojarzy tą imprezę, a warto!). Konferencja zgromadziła ekspertów z różnych dziedzin, którzy dzielili się swoim doświadczeniem w zakresie wykorzystania narzędzi takich jak SQL, Python, Power BI oraz MS Excel. Uczestnicy mieli okazję dowiedzieć się, jak efektywnie przetwarzać i analizować dane, aby usprawnić codzienną pracę z dużą ilością informacji. Podobne tematy są w agendzie na ten rok.
Które z nich są dla Ciebie najbardziej interesujące? Na fanpage’u Dane i Analizy znajdziesz stosowny post i w komentarzu pod nim napisz, który obszar interesuje Cię najbardziej. Wśród odpowiedzi wybiorę dwie osoby, które dostaną darmowe wejściówki na konferencję.
Bo wydarzenie jest płatne, ale do 18 sierpnia jest opcja „early bird” z niższymi cenami, a dodatkowo uczestnicy DACM otrzymują dostęp do szkolenia z analizy danych.
#ai_ml
Gen AI: too much spend, too little benefit? [PDF]
Obietnica GenAI sprawia, że giganci technologiczni i nie tylko wydają miliardy dolarów na nakłady inwestycyjne, w tym znaczące inwestycje w centra danych, układy scalone, inną infrastrukturę AI i sieć energetyczną. Jednak te wydatki jak dotąd niewiele pokazują. Czy te duże wydatki kiedykolwiek się zwrócą?
#analiza_danych_koncepcje
Implementing Kriging for Spatial Data Estimation in Python
Kriging to metoda na znalezienie wartości w określonym punkcie na podstawie wartości z punktów sąsiednich. Tekst opisuje teorię oraz daje gotowe rozwiązanie.
#analiza_danych_projekty
Neural Network (MLP) for Time Series Forecasting
Artykuł ma na celu dostarczenie kompleksowego przewodnika na temat wykorzystania wielowarstwowych perceptronów (MLP) do prognozowania szeregów czasowych, przy użyciu zestawu danych „godzinowego zużycia energii” z Kaggle. Rozbudowany tutorial, warto!
#architektura
How Notion build and grew our data lake to keep up with rapid growth
Jak Notion – system do trzymania notatek – zmienił podejście do przechowywania danych wraz ze wzrostem popularności platformy.
Medallion Architecture
Architektura trzymania danych w zależności od tego do czego są używane. O warstwach złotych, srebrnych i brązowych.
#bazy_danych
BigQuery Table Partitioning
Partycjonowanie tabel (na przykładzie BigQuery) – co to jest? Dlaczego i kiedy warto z niego korzystać? Jak wybrać najlepszą kolumnę do partycjonowania?
Optimizing Redis
Redis może być zachłanny na pamięć. Ale są sposoby, żeby jego zapędy nieco ograniczyć.
#data_engineering
Real-Time Pipeline Microservices Project with Kafka, Redis, Postgres, and Kubernetes.
Rozproszony na wiele komponentów typowy projekt przerzucania danych – Kafka, PostgreSQL, dodatkowo jeszcze Redis. Wszystko opakowane w Pythona. Dużo popularnych i nowoczesnych technologii, warto przejrzeć kod i zobaczyć jak Python z nimi współdziała.
#excel
Databel’s Customer Churn Using Excel
Przewidywanie odejść klientów („churn”) to projekt ML należący chyba do „top 5” tematów (tuż obok klasyfikacji irysów albo przewidywania ofiar Titanica) . Ale żeby w Excelu? No wiadomo, bo Excel do wszystkiego się nada (co ma mniej niż milion wierszy; a w szczególności się nada jeśli to coś jest datą).
#management
How I plan my week as a Senior Engineer in Big Tech
Jak autor artykułu, pracujący w dużej firmie technologicznej, planuje swój tydzień, aby osiągnąć swoje cele i uniknąć rozpraszaczy. Opisuje on swoje doświadczenia z różnymi systemami planowania, w tym z Todoist, i prezentuje też system oparty na szablonie Excela (bo Excel dobry na wszystko co ma albo być może ma związek z datą, szczególnie w korporacjach ;-)
#python
Template Rendering in FastAPI Application
Zwykle przy Flasku dość szybko dochodzi się do templatek stron renderowanych z HTMLi wzbogaconych w składnię Jinja. A pryz FastAPI pozostaje się przy zwracaniu JSONów. Jednak FastAPI też może renderować templatki, i o tym jest ten tekst.
Drawing Shapes on Images with Python and Pillow
Biblioteka Pillow pozwala na rysowanie podstawowych kształtów. Przykłady i właściwie wszystko co potrzebne na start – właśnie tutaj.
Pretty styled dataframe
Czy tabelka pokazywana w Streamlit może wyglądać ładnie? Może. Zobacz jak może i jak to sprawić.
A first look at Mesop
Google przygotował nowy framework dla Pythona, który jest bezpośrednią konkurencją dla Streamlita.
Server-Sent Event (SSE) in FastAPI Applications
Widzieliście kiedyś stronę „relacji na żywo”, której nie trzeba odświeżać kiedy przychodzą nowe zdarzenia (na przykład upływają kolejne minuty meczu i dzieją się kolejne akcje na boisku)? Taka strona wykorzystuje mechanizm SSE. A jak wysyłać do niej wiadomości z FastAPI?
Get Your Python Configurations Right Every Time with Pydantic Settings
Pydantic Settings – sposób na szybkie wczytanie konfiguracji.
How to Create Fully Automated Reports with Notion API
Notion to jeden z popularniejszych ostatnio serwisów do robienia notatek. Ma swoje API. A jeśli ma API to można „maszynowo” z nim rozmawiać i na przykład tworzyć raporty jako notatki/strony.
#wizualizacja_danych
Krajobrazy maturalne
Maturzyści znajdują się w przełomowym momencie swojego życia. Wyniki matur wpłyną na ich dalsze losy, edukację i sieci znajomości. A tutaj macie analizę wyników matur, podane w atrakcyjny sposób.
Zestawienie linków przygotowuje automat, wybacz więc wszelkie dziwactwa ;-)