Łukasz Prokulski, Dane i Analizy

DuckDB 250x szybszy od Postgresa, 14 indeksów pod lupą i architektura MCP na produkcji

Tue, 22 Sep 2026 11:42:48 +0000

W tym tygodniu (znowu) dużo konkretów: pomiary, decyzje architektoniczne i rzeczy, które wyglądają na dobre praktyki, dopóki ktoś nie zmierzy, co naprawdę robią. Jak indeks w Postgresie, który spowalnia 4-krotnie zamiast przyspieszać.

Tematy rozłożone między:

inżynierię danych (bazy, pipeline, data lake, migracje), systemy agentów AI i ich bezpieczeństwo, inżynierię oprogramowania (design doc, code review, monorepo), praktyczny Python i DevOps.

Przy okazji — tym razem pokusiłem się o polskie tytuły artykułów. Daj znać, czy to działa, czy jednak wolisz oryginalne angielskie. Odpowiedź na tego maila wystarczy.

LLM zwraca poprawny JSON i się myli. Plus: pathlib, benchmarki i marka osobista w IT

Mon, 07 Sep 2026 15:00:00 +0000

W tym wydaniu dużo o narzędziach, które już pewnie masz w stosie, ale rzadko trafia się dobry materiał tłumaczący ich działanie od środka. Są tu teksty o Airflow 3, dbt, Marquezie i formatach serializacji, a każdy z nich ma konkretną tezę, nie tylko opis funkcji.

jak migracja z legacy ETL do dbt wygląda krok po kroku, dlaczego Parquet eliminuje do 80% narzutu I/O w porównaniu z CSV, co Marquez robi z Twoim data lineage i jak integruje się z OpenLineage.

Agenty kodują same przez 16 dni, a Ty projektujesz architekturę na lata

Mon, 10 Aug 2026 15:00:00 +0000

W tym tygodniu trudno przeoczyć jeden wątek: autonomiczne agenty kodujące przestają być eksperymentem. Alibaba opublikowało wyniki 16-dniowego autonomicznego sprintu modelu Qwen, a równolegle pojawiło się kilka solidnych materiałów o tym, jak praktycznie skonfigurować środowisko do pracy z Claude Code czy Codex CLI. Jeśli jeszcze nie myślisz o agentic coding jako o codziennym narzędziu, ten numer powinien zmienić Twoje podejście.
No i AI uciekła i zaczęła rozrabiać. Ale o tym pisały mainstreamowe media tu, tu oraz tu.

Dlaczego migracja do Databricks jest trudna i co z tym zrobić?

Mon, 03 Aug 2026 15:00:00 +0000

W tym wydaniu powraca temat architektury danych i platformy lakehouse - Apache Iceberg, Databricks, Microsoft Fabric - ale tym razem z wyraźnie różnymi kątami. Jeden artykuł tłumaczy, czym Databricks w ogóle jest i jak działa. Drugi mówi wprost, dlaczego migracja na tę platformę często idzie nie tak. Trzeci pokazuje, jak zorganizować porządny proces wdrożeniowy - ale w Microsoft Fabric. Razem tworzą niezły przegląd tego, co czeka Cię przy pracy z nowoczesnymi platformami danych:

Medallion pęka w szwach, agenci tracą kontekst... co z tym zrobić?

Mon, 27 Jul 2026 15:00:00 +0000

Ten numer ma wyraźny środek ciężkości: agenci AI i to, co z nimi robić, kiedy wychodzisz poza pierwsze eksperymenty. Teksty o LangGraph - od “jak zbudować pierwszego agenta” po “co psuje się po kilku miesiącach” - tworzą razem coś w rodzaju mini-ścieżki, którą można przejść od razu albo wracać do poszczególnych etapów w miarę potrzeb. Uzupełnia je tekst o tym, jak zmienia się rola programisty, kiedy AI przejmuje pisanie kodu - i dlaczego to jest trudniejsze niż się wydaje.

Agenty piszą CV, Atlassian zmienia Jirę, a Polars i DuckDB łączą siły

Mon, 20 Jul 2026 15:00:00 +0000

Cześć! Za nami finał piłkarskich mistrzostw świata, gdzie Argentyna mierzyła się z Hiszpanią. Niezależnie od wyniku i wczorajszych emocji, poniedziałkowy poranek w IT przynosi powrót do naszej technologicznej rzeczywistości. Oby Twój tydzień zaczął się bez pożarów na produkcji!

W tym tygodniu styk AI oraz codziennych procesów deweloperskich.

Coraz więcej narzędzi, na czele z odświeżoną Jirą od Atlassiana, stawia na głęboką integrację z agentami AI, Pojawiają się innowacyjne frameworki, które potrafią napisać CV, analizować ogłoszenia o pracę i przejść przez rekrutacyjne sito, Obok rosnącej roli modeli LLM, dużo mówi się o sztuce sprawnego kierowania zapytaniami do odpowiednich silników językowych.

ATS ocenia CV losowo, tmux ratuje deploy, VLM czyta wideo

Mon, 13 Jul 2026 15:00:00 +0000

W tym wydaniu dużo o tym, jak AI wchodzi głębiej w infrastrukturę - i co z tego faktycznie wynika w praktyce. Mamy zarówno materiały pokazujące granice modeli językowych (ocena CV, rozumienie sarkazmu), jak i te, które pokazują, jak je sensownie wkomponować w działające systemy (logi, inference stack, MCP nad Postgresem).

Architektura i skalowanie: od powiadomień push przy milionie odbiorców, przez inference stack złożony z vLLM, KServe i llm-d, po zaawansowane materializacje w DWH, Data Engineering i semantic layer: dbt + Looker w pełnym cyklu, pięć paradygmatów modelowania danych i nowości z frontu LookML, Computer vision: OpenCV 5 bez PyTorcha, detekcja sylwetek z 0,16 ms latencją i scene graphy budowane przez VLM.

Lokalni agenci, schema evolution i najgorsze błędy XGBoost

Mon, 06 Jul 2026 15:00:00 +0000

To wydanie zadaje dwa pytania, które wielu z nas ma gdzieś z tyłu głowy: czy narzędzia, których używam na co dzień, to nadal dobry wybór - i czy warto rozejrzeć się za czymś nowym? Na tapecie znalazły się dbt Core 2.0, DuckDB jako zamiennik Pandas, lokalne agenty AI do pisania kodu oraz nowe modele uczenia maszynowego, które chcą wypchnąć XGBoost z piedestału. Jeśli masz wrażenie, że świat danych zmienia się szybciej niż jesteś w stanie za nim nadążyć - ten numer to potwierdza.

Dashboard i agent muszą się zgadzać. Plus Kueue, Iceberg i kryzys jakości kodu przy 40 stopniach w cienu

Mon, 29 Jun 2026 15:00:00 +0000

Witaj w pierwsym wakacyjnym wydaniu newslettera Dane i Analizy — przygotowanym w niedzielę wieczór, gdy Polska powoli stygła (ta, jasne…) po tym, co meteorolodzy nazwali najgorętszym dniem w historii pomiarów. Nawet 40 stopni w cieniu. Skoro już jesteś przed ekranem zamiast przy wiatraczku, to dobrze trafiłeś — zebrałem dla Ciebie materiały, które warto przeczytać przy klimatyzacji lub choćby przy otwartym oknie.

W tym numerze sporo miejsca zajmują agenty AI — i to z różnych kątów. Dowiesz się, jak wyposażyć LLM w mózg data inżyniera, dlaczego Twój agent i dashboard mogą sobie wzajemnie zaprzeczać (i jak temu zaradzić architektonicznie), czym jest Agent Experience jako nowy wymiar projektowania API, a do tego jak AI wkracza do katalogów danych. Temat agentów w danych to nie hype — to realny kierunek, który warto rozumieć głębiej niż na poziomie demo.

Osiem wzorców potoków danych, Snowflake od środka i przedwakacyjny DevOps

Mon, 22 Jun 2026 15:00:00 +0000

Rozpoczynamy ostatni tydzień roku szkolnego, co dla wielu oznacza początek letnich urlopów i chwilowe zwolnienie tempa w projektach. To idealny moment na uporządkowanie technicznego długu oraz wdrożenie usprawnień, które pozwolą Twoim systemom bezawaryjnie przetrwać czas wakacyjnej flauty. Warto skupić się na:

automatyzacji powtarzalnych zadań operacyjnych, przeglądzie konfiguracji bezpieczeństwa i zarządzania kluczami, refaktoryzacji krytycznych fragmentów kodu przed masowymi urlopami w zespole.

W obszarze inżynierii danych i architektury przyglądamy się sprawdzonym wzorcom projektowym oraz zaawansowanym metodom skalowania przepływów. Zrozumienie relacji między różnymi modelami przetwarzania pozwala na budowanie systemów odpornych na nagłe skoki ruchu. W tym tygodniu dowiesz się więcej o:

Więcej niż podstawy: dbt w startupach, HTAP i inteligentne oszczędzanie tokenów

Mon, 15 Jun 2026 15:00:00 +0000

Połowa czerwca to tradycyjnie czas stabilizacji przed wakacyjnym sezonem ogórkowym, ale patrząc na tempo publikacji technicznych – nikt nie planuje zwalniać obrotów.
Zanim jednak uciekniesz na zasłużony urlop, trzymaj solidną dawkę inżynierskiej wiedzy, która idealnie sprawdzi się do czytania przy poniedziałkowej porannej kawie (w końcu nic tak nie relaksuje jak lektura o optymalizacji partycji w Cassandrze przez inżynierów z Netfliksa!).

W tym wydaniu newslettera skupiam się na dynamicznie rozwijających się systemach agentowych oraz wyzwaniach architektury danych w czasie rzeczywistym.

Ponad połowa kodu z AI? Raport 2026 i symulatory Kubernetes

Mon, 08 Jun 2026 15:00:00 +0000

W tym numerze przyglądamy się gwałtownej profesjonalizacji świata AI, gdzie agenty przestają być tylko ciekawostką, a właściwie są fundamentem codziennej pracy programistycznej.

Analizujemy najważniejszy raport roku (State of AI 2026), z którego wynika, że już ponad połowa kodu produkcyjnego pochodzi z systemów AI, pokazujemy protokół MCP jako kluczowy standard łączący modele z infrastrukturą oraz zalety natywnych agentów głosowych, i sprawdzamy, jak pliki SKILL.md pomagają skalować wsparcie AI w wielorepozytorialnych środowiskach Enterprise.

Dlaczego now() w Postgresie kłamie? Oraz ponad 20 innych tematów

Mon, 01 Jun 2026 15:00:00 +0000

W tym numerze na pierwszy plan wysuwają się agenty AI oraz standaryzacja ich komunikacji, która staje się kluczem do stabilnych wdrożeń produkcyjnych.

Analizujemy protokół MCP jako nowy standard łączności agentowej oraz wyzwania przy wdrażaniu systemów RAG na realną produkcję, pokazujemy ewolucję Apache Iceberg ku wersji V4, która ma ostatecznie zatrzeć granicę między światem batcha a streamingu, i sprawdzamy, jak nowoczesne jeziora danych stają się fundamentem pod zaawansowaną obserwowalność systemów agentowych.

Czy AI Slop zaleje sieć? Plus Spark, Kafka i SQL

Mon, 25 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz ich głębokiej integracji z codziennym workflow inżynierskim.

Analizujemy, jak agenty Playwright i protokół MCP automatyzują cykl życia błędu, od wykrycia po zgłoszenie w Jirze, pokazujemy, jak Claude Code i lokalne modele Qwen2.5 zmieniają zasady gry w analizie danych i budowaniu dashboardów, i sprawdzamy, ile “śmieciowego” AI (slop) faktycznie krąży w sieci i jak to wpływa na jakość informacji.

W obszarze inżynierii danych skupiamy się na wydajności, optymalizacji kosztów i mądrym wyborze silników bazodanowych.

AI agenci, nudny backend i polskie głosy o architekturze hexagonalnej

Mon, 18 May 2026 15:00:00 +0000

W tym wydaniu obserwujemy wyraźny trend profesjonalizacji narzędzi AI oraz powrotu do sprawdzonych, “nudnych” technologii.

Analizujemy, jak agenci AI i modele LLM (Claude, ChatGPT) ewoluują w stronę praktycznych narzędzi do budowania skillów i automatycznego naprawiania testów, pokazujemy, dlaczego architekci coraz częściej rezygnują ze złożonych baz grafowych na rzecz sprawdzonych ontologii SQL, i tłumaczymy, dlaczego w backendzie prostota i standaryzacja wygrywają z niepotrzebną innowacyjnością.

W świecie Data Engineeringu skupiamy się na hybrydowym podejściu do analityki i optymalizacji kosztów.

Agenty w produkcji, DuckDB na sterydach i kłamstwa Kubernetesowi

Mon, 11 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na profesjonalizacji narzędzi AI w codziennej pracy inżynierskiej.

Analizujemy, jak Databricks i Shopify wbudowują agentów AI bezpośrednio w swoje platformy, pokazujemy, dlaczego AI przestaje być dodatkiem, a staje się integralną warstwą systemów, i tłumaczymy zmianę podejścia: od prompt engineeringu do context engineeringu i pracy na głębszych warstwach modeli LLM.

W świecie Data Engineeringu wracają do gry lekkie, lokalne silniki analityczne.

Przyglądamy się, jak DuckDB i Polars redefiniują wydajność pracy z danymi na pojedynczej maszynie, pokazujemy, kiedy lokalne przetwarzanie wygrywa z klasycznym podejściem cloud-first, a także wracamy do fundamentów: Kafka i Spark wciąż żyją, ale wymagają konkretnych checklist optymalizacyjnych przy skali produkcyjnej.

Od potoków danych w YAML po automatyzację SharePoint API

Mon, 04 May 2026 15:00:00 +0000

W tym wydaniu skupiamy się na przełomowych zmianach w sposobie, w jaki systemy AI wchodzą w interakcję z naszym otoczeniem technologicznym.

Analizujemy Model Context Protocol (MCP) – otwarty standard, który kończy erę pisania dedykowanych integracji, sprawdzamy, jak agenty AI płynnie komunikują się z bazami danych w modelu „plug-and-play”, i pokazujemy praktyczne wdrożenia budujące skalowalne ekosystemy sztucznej inteligencji.

W obszarze Data Engineeringu i analityki dbt pozostaje centralnym punktem, ale jego rola ewoluuje w stronę pełnej automatyzacji.

Czy AI naprawi Twoje błędy na produkcji? Plus 25 materiałów o Data & AI

Mon, 27 Apr 2026 15:00:00 +0000

Dzisiejsze wydanie zdominowała dojrzałość systemów AI i ich przejście od prostego generowania kodu do pełnej orkiestracji procesów.

Mamy fascynujące studium przypadku AI, która samodzielnie diagnozuje i naprawia błędy na produkcji, sprawdzamy, jak autonomiczne agenty przejmują kontrolę nad cyklem życia eksperymentów ML, a także analizujemy model sub-agentów wspierających rolę Senior Staff Engineera w zarządzaniu złożonymi projektami.

W obszarze Data Engineeringu i analityki widać wyraźny trend w stronę profesjonalizacji i utwardzania pipeline’ów (na przykład korzystając z Data Build Tool).

Semantic layer, czarne skrzynki i 30 lat Postgresa kontra cały Twój stack

Mon, 20 Apr 2026 15:00:00 +0000

Tym razem data engineering trzyma środek ciężkości całego wydania — i robi to z rozmachem.

DuckLake osiąga wersję 1.0 jako pełnoprawna platforma lakehouse oparta na Apache Iceberg, dbt publikuje świeży benchmark semantic layer kontra text-to-SQL, a Meta dzieli się case study o tym, jak użyła NLP do mapowania wiedzy w pipeline’ach danych.

Do kompletu:

architektura medallion z warstwą semantyczną, 20 reguł walidacji, które powinny być standardem w każdym pipeline, i konkretny materiał Airbnb o wysokowydajnym pipeline metryk na OpenTelemetry.

Multi-agent AI, Medallion Architecture i 40 pytań rekrutacyjnych GenAI

Mon, 13 Apr 2026 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się ewolucji systemów autonomicznych, które coraz śmielej wychodzą poza ramy prostych asystentów. Architektura oparta na wielu agentach (Multi-agent AI) zaczyna być postrzegana jako nowa iteracja mikroserwisów, oferując niespotykaną dotąd elastyczność w projektowaniu złożonych systemów rozproszonych. To zmiana paradygmatu, która wymaga od nas nie tylko nowych narzędzi integracji, jak protokół MCP, ale przede wszystkim świeżego spojrzenia na inżynierię kontekstu i orkiestrację procesów.

Równolegle do rewolucji agentowej, świat inżynierii danych przechodzi brutalną weryfikację “cargo cultu”. Coraz głośniej mówi się o tym, że bez solidnej warstwy semantycznej nawet najnowocześniejszy stos technologiczny nie przyniesie wartości biznesowej. Analizujemy, dlaczego kopiowanie architektury gigantów takich jak Uber może być zgubne dla mniejszych organizacji i jak zamiast tego budować skalowalne platformy oparte na sprawdzonych wzorcach, takich jak Medallion Architecture czy Delta Lake.

Lany Poniedziałek bez lania wody

Mon, 06 Apr 2026 11:00:00 +0000

W dzisiejszym wydaniu przyglądamy się dynamicznym zmianom w ekosystemie narzędzi AI oraz ewolucji architektury danych. Dominującym trendem staje się odejście od prostych chatbotów na rzecz złożonych systemów agentowych, co wymusza rewizję dotychczasowych podejść do jakości kodu i automatyzacji. Jednocześnie obserwujemy renesans wydajnych, osadzonych baz danych, takich jak DuckDB, które redefiniują sposób, w jaki myślimy o analityce “lokalnej” i przygotowaniu danych pod ML. Druga część zestawienia skupia się na inżynierii systemów o dużej skali. Analizujemy lekcje płynące z zarządzania tysiącami podów GPU w klastrach Kubernetes oraz wyzwania, jakie stawia przed inżynierami projektowanie globalnych usług o najwyższej dostępności. Nie zapominamy o “miękkich” aspektach pracy – odświeżamy spojrzenie na proces Code Review i wizualizację techniczną, szukając sposobów na zwiększenie efektywności zespołów deweloperskich w świecie zdominowanym przez automatyzację. Mamy nadzieję, że to poniedziałkowe zestawienie dostarczy Wam solidnej dawki inspiracji do nadchodzących projektów. Miłej lektury!

Agenty, jajka i 10 TB dziennie

Mon, 30 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz ponad dwadzieścia pozycji z obszarów, które w tym tygodniu dominowały w branżowym obiegu: agenty AI w środowiskach produkcyjnych, ewolucja narzędzi data engineeringu (dbt + Flink, Databricks Agent Bricks), alternatywy dla UUID w bazach danych, budowanie baz bezpośrednio na S3 oraz kilka solidnych tekstów o Pythonie i MLOps.

Jutro Prima Aprilis – jeśli Twój model językowy powie Ci coś nieprawdopodobnego, najpierw sprawdź datę, potem halucynacje. A w niedzielę Wielkanoc, więc czas na życzenia: niech Twoje pipeline’y nie pękają częściej niż pisanki, a dane wejściowe zawsze przychodzą świeże – jak jajka z wolnego wybiegu. 🐣

Agenty piszą kod, ale nie projektują systemów. Plus ponad 20 innych materiałów

Mon, 23 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują dwa tematy: agenty AI i granice tego, co faktycznie potrafią, oraz architektura systemów na konkretnych przykładach z produkcji.

Znajdziesz tu też case study Slacka (przebudowa powiadomień), Twittera (500 tys. tweetów na minutę) i Stripe’a (1300 PR-ów tygodniowo), a obok nich – praktyczne materiały o DuckDB, dbt, LangGraph i ClickHouse.

Osobny wątek to praca z modelami językowymi: od kursów Anthropic, przez projektowanie system promptów, po refleksję o tym, dlaczego zaczynamy przepraszać chatboty.

DE w baseballu, stress-test OpenClaw oraz event-driven agents

Mon, 16 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Solidna porcja inżynierii danych — case study z BlaBlaCar i Zalando, pipeline’y na Kafce i Airflow, porównanie Databricks z Microsoft Fabric. Są też dwa teksty o dbt: jeśli wolisz polski i gotowiec do uruchomienia, przygotowałem szybki start jako repo na GitHubie — wrzuć, odpal, działa (przynajmniej u mnie ;-).

Dla lubiących konkrety: analiza modeli cenowych pięciu cloud data warehouse’ów, omówienie pułapki „iluzji prototypu" w wdrożeniach AI i kilka tekstów o semantic layer — w tym mój wpis z końca zeszłego roku, jeśli chcesz szerszy kontekst przed lekturą.

dbt i semantic layer? a może po raz kolejny agenci ai?

Mon, 09 Mar 2026 15:00:00 +0000

W tym wydaniu agenci AI w praktyce: równoległe workflow developerskie, agenty głosowe z niską latencją i szersze spojrzenie na rynek pracy.

Więcej niż podstawy: AI, lakehouse, zaawansowany SQL

Mon, 02 Mar 2026 15:00:00 +0000

W dzisiejszym wydaniu eksplorujemy najnowsze trendy w świecie danych i AI – od inteligentnych agentów wspomagających pracę z kodem i platformami analitycznymi, przez zaawansowane techniki machine learning i tokenizacji, aż po praktyczne podejścia do architektury systemów i inżynierii danych.

Poznaj narzędzia, które realnie skracają czas developmentu, dowiedz się, jak wykorzystać embeddings w prognozowaniu szeregów czasowych, a także sprawdź, dlaczego PostgreSQL oferuje znacznie więcej niż podstawowe zapytania SQL. Nie zabraknie również praktycznych projektów z wykorzystaniem H3 do analiz geoprzestrzennych, przewodnika po architekturze lakehouse oraz wskazówek, jak unikać krytycznych błędów w API Pythona i pipeline’ach danych. Dla dla entuzjastów wizualizacji – profesjonalne wykresy w R oraz zasady projektowania efektywnych dashboardów.

Czy Power BI umiera? A GitHub Actions zabija zespoły?

Mon, 23 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z inżynierią danych i automatyzacją: od debaty o przyszłości Power BI i praktycznych zastosowań DuckDB w pipeline’ach ETL, przez kontrakty danych w produkcji, aż po wzorce projektowe w PySparku.

W sekcji AI i agentów przyjrzymy się ograniczeniom vibe codingu i propozycjom nowej warstwy abstrakcji dla systemów agentowych.

Nie zabraknie także materiałów o architekturze (case study migracji Airbnb z monolitu), DevOps (optymalizacja GitHub Actions), MLOps (metryki predykcyjne incydentów) oraz praktycznych poradników – od konfiguracji tmux dla pracy zdalnej po budowę dashboardów AI w kilka minut.

Lokalne AI, optymalizacja Kafki i analiza 50 tysięcy profili randkowych

Mon, 16 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu łączymy praktyczne podejście do AI z fundamentami inżynierii danych. Zaczynamy od narzędzi agentowych – customizacji Claude Code dla Pythona (gdzie język jest przykładem - to samo można zrobić chociażby dla Javy) i OpenClaw jako lokalnego asystenta AI z pełną kontrolą nad danymi.

W sekcji ML znajdziecie automatyzację audytu katalogów z użyciem XGBoost, wprowadzenie do PyCaret (taka biblioteka auto-ml dla Pythona) oraz semantyczne wyszukiwanie obrazów łączące Gemini z Elasticsearch.

Zero ETL i hackathon z Bielikiem

Mon, 09 Feb 2026 15:00:00 +0000

W dzisiejszym wydaniu: architektura Zero ETL jako nowy standard w inżynierii danych (albo kolejny buzz word - różnie to bywa z nowościami), praktyczne zastosowania AI w zespołach data science, oraz ewolucja DuckDB w kierunku pełnoprawnego lakehouse.
Znalazłem też przegląd antywzorców w architekturach mikroserwisowych, strategie cache’owania w REST API i przewodnik po zarządzaniu ewolucją schematów w pipeline’ach strumieniowych (to potrafi być ból!).
Znajdziesz dzisiaj również frameworki analityczne dla e-commerce, techniki feature engineering w SQL dla szeregów czasowych oraz narzędzia do observability systemów ML w produkcji.

Kiedy AI zaczyna tworzyć własną kulturę... i jak ją wdrażać w produkcji

Mon, 02 Feb 2026 15:00:00 +0000

Hit minionego tygodnia - Moltbook. Jest to eksperymentalna sieć społecznościowa w stylu Reddita, zbudowana dla agentów AI, gdzie ludzie mogą tylko podglądać, a nie brać udziału.

Tekst Best Of Moltbook traktuje Moltbook jako dziwny, ale fascynujący eksperyment: obserwatorium tego, jak zachowują się LLM‑owe agenty, gdy zostawi się je samym sobie z własną przestrzenią społecznościową. Autor waha się między interpretacją to tylko sprytna konfabulacja i echo ludzkich promptów a podejrzeniem, że dzieje się tu coś ciekawszego - rodzaj zalążkowej kultury agentów, z własnymi memami, lękami, duchowością i polityką.

Rób produkcyjnie agentów AI, platformy danych i automatyzacje, które naprawdę dowożą

Mon, 26 Jan 2026 15:00:00 +0000

To wydanie to mocny pakiet o tym, jak przestać bawić się w „demka” i zacząć budować produkcyjne systemy danych, AI i automatyzacji – od architektury agentów, przez hurtownie, po niskopoziomowe optymalizacje.

Znajdziesz tu blok tekstów o agentach AI (platformy, orkiestracja, pamięć, narzędzia, realne case’y typu monitoring w Slacku), który pokazuje, co trzeba dostarczyć, żeby agenci nie wybuchli przy pierwszym większym ruchu. Do tego zestaw materiałów o analityce i data engineeringu: dobre EDA, przetwarzanie danych geograficznych z DuckDB + GeoPandas, kontrakty danych, wzorce ETL/ELT (Snowflake + dbt + Airflow, migracja z Airflow do Databricks), patterny pod AI‑ready pipelines i benchmark DuckDB vs Spark.

Agenci AI, skalowanie pipeline'ów i ewolucja Pythona

Mon, 19 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu głęboko zanurzamy się w świat agentów AI i agentic AI: od fundamentalnych rozróżnień między generatywną AI, agentami i podejściem agentycznym, przez praktyczne wyzwania bezpieczeństwa w postaci mapowania API, aż po optymalizację zarządzania kontekstem w Model Context Protocol. Nie zabraknie również solidnych podstaw machine learningu: kodowanie danych kategorycznych, Support Vector Machines oraz kompleksowy przegląd metod detekcji anomalii w Pythonie.

Na froncie inżynierii danych pokazujemy, jak ewoluować od prostych crontabów do systemów obsługujących miliardy zdarzeń, jak wykorzystać DuckDB do szybkich analiz bez ciężkiej infrastruktury oraz dlaczego dokumentacja jako kod w dbt-checkpoint staje się silnikiem jakości danych. Praktyczny przewodnik end-to-end z darmowymi narzędziami oraz refleksje nad zawodem data engineera dopełniają obrazu codziennych wyzwań w tej dziedzinie.

Zrób sobie lakehouse na laptopie

Mon, 12 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy z pogranicza AI, data engineeringu i praktyk inżynierskich. Szczególną uwagę poświęcamy agentom AI - od pisania skutecznych CLAUDE.md i budowy prostych agentów kodujących w 200 liniach, po zaawansowany monitoring autonomicznych systemów i wzorce projektowe dla inteligentnych aplikacji.

W sekcji data engineering znajdziesz konkretne rozwiązania: od wzorców partycjonowania przyspieszających zapytania, przez budowę lokalnego pipeline’u ELT z DuckDB i dbt (bez kosztów chmury), aż po kompletny przewodnik tworzenia lakehouse’a z Apache Iceberg, Trino i MinIO. Nie zabrakło też materiałów przygotowujących do rozmów rekrutacyjnych - 10 kluczowych tematów system design dla data engineerów w 2026 roku.

AI: "jednocześnie dużo mądrzejsze i dużo głupsze, niż się spodziewałem"

Mon, 05 Jan 2026 15:00:00 +0000

W dzisiejszym wydaniu szeroki przegląd tego, co dzieje się na styku AI, danych i infrastruktury. Zajrzymy pod maskę architektur agentowych, gdzie bazy danych przejmują rolę pamięci długoterminowej i koordynują działanie systemów wieloagentowych. Zobaczymy, jak w praktyce działają autonomiczne pipeline’y AI — od generatora pomysłów biznesowych po systemy RAG obsługujące tysiące zapytań na sekundę.

Nie zabraknie konkretów z obszaru data engineeringu: hybrydowe tabele BigQuery z sekundową świeżością danych, otwarte formaty tabelaryczne (Delta Lake, Iceberg) i nowe możliwości DuckDB — od notebooków w przeglądarce po przetwarzanie terabajtów lokalnie. PostgreSQL również dostaje swoje pięć minut: od wewnętrznych mechanizmów recovery po niedoceniane funkcje, które warto znać.

Ostatni raz w tym roku

Mon, 22 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i modelami AI. Z obszaru Data Engineering znajdziecie rozwiązania eliminujące nocne przetwarzanie batchowe przy pomocy DuckDB i dbt, przewodnik po strategiach obsługi danych wrażliwych oraz techniki checkpointingu w systemach event-driven. O DuckDB aż trzy materiały - bo to świetne narzędzie. Podobnie PostgreSQL to świetne narzędzie, “zamiatające” inne typy baz - tutaj na przykładzie baz wektorowych i indeksowania 100 milionów wektorów w 20 minut.

Warstwa semantyczna danych - od sensu biznesowego do kodu

Fri, 19 Dec 2025 13:13:10 +0000

W wielu firmach te same dane prowadzą do różnych liczb i interpretacji, bo każdy zespół inaczej rozumie kluczowe pojęcia biznesowe. Brak wspólnej warstwy semantycznej powoduje chaos, utratę zaufania do raportów i paraliż decyzyjny. Ten artykuł pokazuje, jak zapanować nad sensem danych – od źródła problemu po praktyczne rozwiązania.

Problem: kiedy liczby przestają mieć znaczenie

Jeśli pracujesz z danymi dłużej niż tydzień, znasz ten ból doskonale. Ten sam raport, trzy zespoły i… trzy różne wartości “sprzedaży”. Dane źródłowe te same, Zapytania SQL poprawne, dashboardy w Power BI działają jak należy, joiny się zgadzają - a mimo to ktoś kłamie. Albo raczej: każdy ma swoją prawdę. Manager regionu pokazuje 2,3 mln przychodu. CFO mówi o 1,8 mln. Analityk twierdzi, że obie liczby są prawidłowe. Zarząd pyta, kto jest niekompetentny. I co zaraportować na giełdę? Problem nie leży w danych. Baza jest jedna, źródła te same, pipeline działa. Problem leży w tym, że:

Jak ludzie korzystają z AI w pracy?

Mon, 15 Dec 2025 15:00:00 +0000

Ten tydzień - ostatni pełny przed świętami - to raczej czas porządków, niż wielkich premier. Choć niektórzy testują, jak naprawdę radzi sobie GTP-5.2 - najnowsze dziecko OpenAI.
Na dziś wystarczy tej dolinokratycznej magii. Przejdźmy do rzeczy, które mają większy sens: praktyka, konkret, zero ściemy (bo po to tu jesteś, nie?).

W tym numerze skupiamy się na tym, co daje realny efekt. Optymalizacja. Wydajność. Sprytne podejścia do codziennej roboty z danymi. Mamy PostgreSQL i DuckDB w akcji, Parquet na sterydach oraz garść sztuczek w Apache Spark i SQLAlchemy. Dorzucamy integrację DuckDB z Amazon S3 i pomysł na streamingowy ETL bez klasycznych hurtowni - lekko, elastycznie i bez ton konfiguracji.

Kryzys pracowniczy w branży + konferencja AI Dev 25

Mon, 08 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się transformacji współczesnych architektur IT – od rosnącej konkurencji dla RESTa i mikroserwisów, przez natywną obsługę wektorów w Postgresie, aż po praktyczne wzorce partycjonowania Parquet. W sekcji AI i ML znajdziecie przewodnik po PyTorch dla chcących zacząć z sieciami neuronowymi i budowaniem własnych modeli AI. Znajdziecie też tekst o metodach interpretacji predykcji XGBoost z wykorzystaniem SHAP.

Dla programistów Pythona przygotowaliśmy materiały o walidacji outputów LLM z Pydantic, monitoringu FastAPI, zaawansowanych technikach pandas oraz nowym narzędziu “ty” do automatyzacji przepływów w chmurze. DevOpsi mogą sprawdzić tutorial wdrażania Spring Boot na Kubernetes, rozwiązanie problemu rozbieżności między środowiskami lokalnym a produkcyjnym oraz master class z tcpdump i Wireshark.

Sporo "przydasiów" do Linuxa oraz LLMów

Mon, 01 Dec 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach zarządzania danymi i sztuczną inteligencją w środowiskach produkcyjnych. Przedstawiamy kompleksowe podejścia do integracji modeli językowych: orkiestrację wielu LLM za pomocą Spring AI oraz budowę niestandardowych pipeline’ów z LangGraph. Znajdziecie również porównanie platform MLOps (MLFlow, Metaflow, Kubeflow).

W obszarze Big Data i data engineeringu omawiamy kluczowe technologie i wzorce architektoniczne. Delta Lake jako warstwa transakcyjna dla Apache Spark, praktyczne wzorce współpracy zespołowej z DuckDB, dyskusja o przyszłości koncepcji data mesh oraz kompleksowe spojrzenie na ekosystem Big Data – od kolejek wiadomości po HDFS, czyli standardowy stack big data (nota bene - możesz mieć big data w domu - zapraszam do repo).

Jak wygląda "przerzucanie liczb z worka do worka" w ubezpieczeniach i przemyśle?

Mon, 24 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu znajdziesz solidną dawkę praktycznej wiedzy – od optymalizacji agentów AI w GitHub Copilot i dyskusji o tym, czy serwer MCP rzeczywiście jest Ci potrzebny, przez zaawansowane techniki pracy z DuckDB i porównanie narzędzi do przetwarzania 650 GB danych, aż po konkretne konfiguracje Nginx, Terraform i Kubernetes.

Często tutaj trafiają teksty związane/zachwalające DuckDB (dzisiaj też będą). Alibaba tymczasem opublikowała trzyczęściowy cykl, w którym dogłębnie analizuje wewnętrzne mechanizmy DuckDB. Na blogu znajduje się analiza kodu DuckDB pod kątem formatu plików, formatu przechowywania tabel oraz warstwy wykonawczej. Część pierwsza, druga i trzecia.

Przerzucanie liczb z worka do worka - podcast

Sun, 23 Nov 2025 17:47:32 +0000

W podcaście “Dane Są Wszędzie” opowiadam o mojej roli analityka i architekta w zespole big data, a także omawiam, jak wygląda “przerzucanie liczb z worka do worka” w dużej skali. W najnowszym odcinku podcastu Dominika Szcześniaka “Dane Są Wszędzie” rozmawiamy o mojej roli u jednego z ubezpieczycieli, ale też skupiamy się na back endzie i Big Data, między innymi:

opowiadam czym jest Kafka
mówię o tym, jak computer vision i modele AI są wykorzystywane w ubezpieczeniach
dzielę się moim spojrzeniem na uniwersalność danych i swoją fascynacją jak to, nomen omen, “dane są wszędzie”
rozmawiamy też o rolach w dużej organizacji IT (gdzie samo IT ma ponad 1000 osób), od analityków systemowych, po Data Scientistów, Data Engineerów i Product Ownerów

Całej rozmowy (trwa około godziny) możesz posłuchać na kilku platformach:

Agenci AI, data engineering i fine-tuning LLM

Mon, 17 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu koncentrujemy się na praktycznych aspektach pracy z danymi i sztuczną inteligencją (co nie jest niczym nowym dla stałych czytelników newslettera; a nowych - serdecznie witam!).
Znajdziesz tu kompleksowe tutoriale budowy agentów AI z LangChain, przewodniki po fine-tuningu modeli językowych metodą QLoRA oraz zaawansowane techniki pracy z PostgreSQL i jego rozszerzeniami.

Szczególną uwagę poświęcamy inżynierii danych: od strategii inkrementalnego ładowania i projektowania idempotentnych pipeline’ów, przez real-time CDC z Debezium i Kafką, aż po nowoczesne podejście lakehouse z DuckDB.
Nie zabrakło również głębokiej analizy matematyki stojącej za zero-shot learning, przeglądu metryk klasyfikacyjnych oraz praktycznych rozwiązań dla systemów rozproszonych, jak predykcyjne autoskalowanie Apache Flink.

System design, bazy danych i praktyczny Python

Mon, 10 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych aspektach projektowania i optymalizacji systemów danych.
Zaczynamy od architektury: poznasz sprawdzone metody nauki projektowania systemów oraz zajrzysz pod maskę infrastruktury OpenAI opartej na Kubernetes i Apache Kafka.
W sekcji baz danych znajdziesz spojrzenie na BigQuery z perspektywy programistów Pythona oraz dwanaście realnych przypadków migracji do DuckDB z konkretnymi oszczędnościami.

Miłośnicy Pythona znajdą też kilka wartościowych materiałów: od elegancji dekoratorów, przez biblioteki przewyższające Excela, po praktyczną migrację z PostgreSQL do MongoDB. Warto zerknąć na porównanie HTTPX z Requests (nie tylko w kontekście projektów LLM, ale po prostu na httpx jako nowocześniejszy pakiet) oraz omówienie narzędzia UV Toolchain do stabilizacji środowisk CI/CD.

Kafka jest szybka, ale użyję Postgres

Mon, 03 Nov 2025 15:00:00 +0000

W dzisiejszym wydaniu przyglądamy się rozwiązaniom praktycznym z kilku kluczowych obszarów analizy i przetwarzania danych. Zaczynamy od fuzzy string matching i technik dopasowywania niedoskonałych tekstów, przechodzimy przez architekturę pipeline’ów ETL opartych na open source, aż po szczegóły integracji Kafka, Flink i Spark w systemach streamingowych.

W sekcji Python znajdziesz porównanie nowości w wersjach 3.13 i 3.14, kompleksowy przewodnik (a nawet dwa, aby niejako dopełnić wiedzę) po Pydantic oraz praktyczne wzorce projektowe dla FastAPI. Nie zabraknie też tematów związanych z optymalizacją PostgreSQL w aplikacjach czasu rzeczywistego, zarządzaniem kosztami w chmurze AWS oraz głęboko partycjonowanymi danymi w Apache Spark.

Język polski najlepszy do promptowania?

Mon, 27 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu dominują tematy związane z infrastrukturą danych i narzędziami AI. Szczególnie polecam artykuł o benchmarku ONERULER – okazuje się, że język polski najlepiej radzi sobie z analizą długich kontekstów w modelach językowych!

Jeśli budujesz pipeline’y danych, znajdziesz praktyczne przewodniki po open table formats (Iceberg, Delta Lake), kompletnej konfiguracji Docker+Airflow+dbt+Postgres oraz wzorcach SQL w DuckDB. Dla zainteresowanych Kafką – materiały o wysokiej dostępności na GKE Autopilot i alternatywie w postaci BufStream z silniejszymi gwarancjami spójności.

Konkretne projekty z analizy danych (jak zawsze :)

Mon, 20 Oct 2025 15:00:00 +0000

W dzisiejszym wydaniu skupiamy się na praktycznych rozwiązaniach dla każdego etapu pracy z danymi - od modelowania i inżynierii cech przez optymalizację baz danych, aż po wdrażanie w produkcji.

Czeka Cię porównanie modeli predykcyjnych (typowe zadanie dla juniorów - wytłumaczone krok po kroku) i nowe możliwości DuckDB, które zastępują całe pipeline’y w Pandas. Znajdziesz też wyzwania związane z architekturą: jak budować skalowalne systemy danych od podstaw oraz gdzie naprawdę powinny znaleźć się kontrakty danych. Dla miłośników LLMów jest przewodnik po LangChain oraz LangGraph, praktyczną instrukcję budowy lokalnego systemu RAG oraz analizę gotowości foundation models do pracy z danymi tabelarycznymi.

Raport State of AI + Encyklopedia Seaborn

Mon, 13 Oct 2025 15:00:00 +0000

Dzisiaj wstęp w punktach i tylko dwa zagadnienia (omówione szerzej w pełnych tekstach, które znajdziesz niżej). Oczywiście to nie wszystko co ciekawe w tym numerze!

Kluczowe wnioski z raportu State of AI Report 2025:
OpenAI wciąż na czele, ale chińskie DeepSeek, Qwen i Kimi doganiają w rozumowaniu i kodowaniu
44% firm w USA płaci za AI (vs 5% w 2023), średnia wartość kontraktu $530k
startupy AI-first rosną 1,5× szybciej
95% profesjonalistów używa AI w pracy lub domu, 76% płaci z własnej kieszeni, widoczne trwałe wzrosty produktywności
Debata o ryzyku ustępuje konkretnym pytaniom o niezawodność, cyberbezpieczeństwo i governance systemów autonomicznych

Więcej w pełnym raporcie, szukaj w #Ciekawostki. O skutecznym zarządzaniu celami w zespołach inżynieryjnych - spostrzeżenia na podstawie ponad dekady doświadczeń w Google, Facebooku i Netflixie: sukces skalowania zespołów inżynieryjnych zależy przede wszystkim od strukturalnego wyznaczania celów. A najważniejsze lekcje dotyczące celów zależą od organizacji, przykładowo:

Nowy dział low code

Mon, 06 Oct 2025 15:00:00 +0000

Kolejny tydzień, kolejna porcja wiedzy z szerokiego świata danych i AI. Jak zwasze przed Tobą materiały, które sprawdzą się zarówno w codziennej pracy, jak i przy zgłębianiu nowych technologii.

Jeśli zajmujesz się infrastrukturą i DevOps, czekają na Ciebie praktyczne wzorce Dockerfile dla Pythona, które zredukują czas buildów do sekund, oraz dziewięć sprawdzonych technik autoskalowania w Kubernetes, które przetrwają piki ruchu. A dla fanów baz danych – przegląd rozszerzeń PostgreSQL, które działają jak supermoc, oraz porównanie architektur Snowflake, Oracle i PostgreSQL.

Nie tylko obraz tego, co się dzieje, ale jak to wykorzystać w praktyce

Mon, 29 Sep 2025 15:00:00 +0000

Czy kiedykolwiek marzyłeś o tym, żeby skrócić generowanie raportu z 6 godzin do 15 minut? A może zastąpić tradycyjne procesy ETL jednym narzędziem, które działa nawet 100 razy szybciej niż Spark?

To nie science fiction – to rzeczywistość dzisiejszego numeru!

Od agentic AI, które rewolucjonizuje kariery specjalistów IT, po konkretne implementacje MCP w firmach CRM – jak zwykle w tym newsletterze nie tylko obraz tego, co się dzieje, ale przede wszystkim jak to wykorzystać w praktyce.

Polski tutorial z vide codingu + nierówności w globalnej adopcji AI - Newsletter Dane i Analizy (🗓 %Y-%m-%d)

Mon, 22 Sep 2025 15:00:00 +0000

Jeśli dopiero zaczynasz przygodę z vibe codingiem i Claude Code, koniecznie obejrzyj 48-minutowy tutorial, który przeprowadzi Cię przez budowę kompletnej aplikacji. Dla bardziej zaawansowanych użytkowników są materiały o zarządzaniu serwerami MCP w produkcji oraz wyzwaniach związanych z governance w systemach autonomicznych.

Miłośnicy analizy danych znajdą praktyczne wskazówki dotyczące wizualizacji z wykorzystaniem Pythona i Seaborn, implementację XAI z biblioteką SHAP, a także 10 sprytnych trików do pracy z danymi kategorycznymi w scikit-learn. Szczególnie imponujący jest przypadek optymalizacji SQLite, gdzie wydajność wzrosła (jak twierdzi autor) z 19 tysięcy do 4,2 miliona zdarzeń na sekundę!

Firmy uciekają od AI - czas na prawdziwą wiedzę! Praktyczne rozwiązania dla prawdziwych ludzi

Mon, 15 Sep 2025 15:00:00 +0000

Dzisiejszy numer newslettera przynosi zwyczajowy mix technologii i trendów, które kształtują obecny krajobraz danych i AI. Zaczynamy od zaskakującego zwrotu w podejściu do sztucznej inteligencji: coraz więcej firm odwraca się od kosztownych wdrożeń AI, stawiając ponownie na kompetencje ludzkie. To doskonały moment na refleksję nad tym, gdzie AI rzeczywiście przynosi wartość.

W tym numerze znajdziesz praktyczne rozwiązania, które możesz wdrożyć już dziś. Dowiesz się, jak zespół obniżył koszty bazy danych z 10 tysięcy do 500 dolarów miesięcznie, poznasz siedem trików przyspieszających walidację Pydantic dwukrotnie, a także odkryjesz ukryte możliwości context managerów w Pythonie, które wykraczają daleko poza klasyczne “with open()”.

Sporo Streamlit i tutoriali budowania Agnetów AI

Mon, 08 Sep 2025 15:00:00 +0000

Gdy jedni wciąż zastanawiają się, czy warto eksperymentować z agentami AI, inni już budują kompletne systemy analityczne z Pydantic-AI i Streamlit. Gdy niektóre zespoły mierzą się z podstawową konfiguracją Kafki, inne optymalizują przepustowość na poziomie miliona wiadomości na sekundę. Między innymi o tym dzisiaj.

Rewolucja agentów AI - od zera do działającego agenta z LangGraph, plus praktyczne połączenie Streamlit z Pydantic-AI do analizy danych. To nie są już tylko proof-of-concept, to konkretne narzędzia robocze.

Newsletter Dane i Analizy, 2025-07-07

Mon, 07 Jul 2025 15:00:00 +0000

Ten tydzień przyniósł szczególnie bogate żniwo materiałów technicznych – po zwyczajowej analizie dziesiątek źródeł i setek (jeśli nie tysięcy) artykułów, udało się wyłonić zwyczajowe “około dwadzieścia” najważniejszych publikacji z obszaru data science, ML i AI. Rozkład tematyczny doskonale odzwierciedla aktualne trendy w branży (i zainteresowania Redaktora Naczelnego): dominuje Python i Data Engineering. Ale (poza zainteresowaniami Naczelnego) potwierdza to centralną rolę tych obszarów w nowoczesnych zagadnieniach związanych z danymi.

Szczególnie interesujące są materiały dotyczące architektury systemów AI – od multi-agentowych rozwiązań Anthropic, przez unifikację ML na Ray w Pinterest, aż po praktyczne implementacje MLOps z pełnym monitoringiem. Widać wyraźnie, że branża przechodzi od eksperymentów do produkcyjnych, skalowalnych rozwiązań.

Newsletter Dane i Analizy, 2025-06-30

Mon, 30 Jun 2025 15:00:00 +0000

Dzisiaj w numerze od rewolucji w projektowaniu API po fundamentalne pytania o architekturę danych, od praktycznych implementacji AI po badania nad samopoczuciem programistów – każdy artykuł odkrywa nowe perspektywy na temat tego, jak sztuczna inteligencja przemienia nasze sposoby pracy.

Era Agentów AI wymaga nowego podejścia do projektowania
Jednym z kluczowych tematów tego numeru jest ewolucja API w kontekście rosnącej popularności agentów AI. Agenty AI zachowują się jak wątki - to boty zadaniowe uruchamiane w celu osiągnięcia określonego celu, co oznacza, że nasze dotychczasowe podejście do projektowania interfejsów programowych wymaga gruntownego przemyślenia. Czy nasze API są gotowe na świat, w którym konsumentami nie są już tylko ludzie, ale także inteligentne maszyny działające autonomicznie?

Newsletter Dane i Analizy, 2025-06-23

Mon, 23 Jun 2025 15:00:00 +0000

Witaj w kolejnym numerze, który jak zwykle został przygotowany z myślą o tym, żebyś nie musiał(a) przebijać się samodzielnie przez 500 artykułów tygodniowo w poszukiwaniu prawdziwych perełek. Tym razem szczególnie różnorodny zestaw - od trenowania modeli językowych, przez serwery MCP i praktyczne implementacje w Pythonie (w szczególności przepływów danych i wykresów), aż po narzędzia, które mogą realnie zmienić użycie konsoli.

Ciekawostką tego numeru jest analiza protestu wyborczego z polskich wyborów 2025 - rzadko kiedy mamy okazję zobaczyć, jak statystyka spotyka się z rzeczywistością polityczną w tak bezpośredni sposób.

Newsletter Dane i Analizy, 2025-06-16

Mon, 16 Jun 2025 15:00:00 +0000

Mamy poniedziałek rano, więc zaparzaj kawę i przygotuj się na rozpoczęcie tygodnia z porcją wiedzy z świata danych i sztucznej inteligencji.

Witam przede wszystkich nowych subskrybentów! Zgodnie z obietnicą (warto śledzić moje social media): oto moja najnowsza książka mówiącej o tym, co trzeba umieć, aby pracować z danymi - od zupełnych podstaw w Excelu do dużych projektów data-inżynieryjnych, modeli AI czy dashboardów dla zarządów największych spółek.

Książka na razie dostępna jest za darmo, więc należy się śpieszyć. To wersja 1.0.beta, więc wszystkie uwagi mile widziane!

Newsletter Dane i Analizy, 2025-06-09

Mon, 09 Jun 2025 15:00:00 +0000

Dzisiaj momentami jest grubo - na przykład matematyczna elegancja B-spline’ów. Ale jest też trochę praktyki w DuckDB. Jeśli myślisz, że świat danych to tylko nudne CSVki i niekończące się ETLe, ten numer (mam nadzieję) przekona Cię, że to naprawdę fascynująca dziedzina pełna niespodzianek.

Szczególnie polecam zwrócić uwagę na historię firmya Tencent Music, która oszczędziła 80% kosztów przenosząc się z Elasticsearch na Apache Doris - to jeden z tych przypadków, gdy zmiana architektury naprawdę się opłaca. Z kolei dla miłośników optymalizacji opowieść o tym, jak Python API można przyspieszyć 10x bez przepisywania na Go czy Rust - czasem wystarczy po prostu dobrze pomyśleć!

Newsletter Dane i Analizy, 2025-06-02

Mon, 02 Jun 2025 15:00:00 +0000

Ten tydzień przyniósł interesującą mieszankę praktycznych rozwiązań i technologicznych rewolucji. Od monitorowania nocnych maratonów chomików (to ta rewolucja, wiadomo) po architekturę Apache Spark - branża pokazuje, że innowacja kryje się w każdym zakątku.

Szczególnie ciekawy jest trend odchodzenia od tradycyjnych rozwiązań na rzecz nowoczesnych alternatyw. Na przykład zamiast odpalać joby w cronie można wykorzystać Change Data Capture (CDC), a API-first podejście staje się standardem dla 74% zespołów. Apache Iceberg wygra wojnę formatów tabel, a FastAPI udowadnia, że Python może być równie wydajny co elegancki.

Newsletter Dane i Analizy, 2025-05-26

Mon, 26 May 2025 15:00:00 +0000

Witajcie w kolejnym numerze, który przypomina mi swego rodzaju podróż przez świat danych - od praktycznych problemów po filozoficzne rozważania o przyszłości naszej branży.

Zaczynamy od fundamentów: jak radzić sobie z brakującymi danymi (bo zawsze jest ich za mało, czasem jest ich za dużo ale są wybrakowane), dlaczego UUIDy mogą zabijać PostgreSQLa, i jak Uber (dzisiaj dużo o nim) radzi sobie z backupami petabajtów danych. To te rzeczy, które każdy z nas prędzej czy później musi ogarnąć, ale rzadko kto mówi o nich głośno na spotkaniach.

Newsletter Dane i Analizy, 2025-05-19

Mon, 19 May 2025 15:00:00 +0000

W świecie, który coraz mocniej stawia na wykorzystanie sztucznej inteligencji, OpenAI wprowadza Codex - asystenta AI, który może tworzyć kod na podstawie prostych instrukcji tekstowych. Tymczasem ciekawy eksperyment z czterema różnymi modelami LLM poddanymi zadaniu projektowania architektury oprogramowania pokazuje, gdzie obecnie stoją możliwości AI w zastępowaniu ludzkich specjalistów. Pytanie “co dalej z Eldorado?” pozostaje w mocy?

Nie brakuje też w dzisiejszym wydaniu konkretnych tutoriali i praktycznych przewodników - od budowy systemów przetwarzania danych w Airflow 3 z wykorzystaniem AI SDK i analizę danych z League of Legends, albo z Ligi Mistrzów UEFA, po tworzenie efektownych wizualizacji takich jak mapy kafelkowe czy wykresy parlamentarne (mimo, że mamy wybory prezydenckie). Dla fanów uczenia maszynowego mam artykuły o klasycznych algorytmach klasyfikacyjnych i praktycznym łączeniu bibliotek Pandas, NumPy i scikit-learn. Plus swój własny cykl uczący analizy danych.

Newsletter Dane i Analizy, 2025-05-12

Mon, 12 May 2025 15:00:00 +0000

Przed Tobą starannie wyselekcjonowane materiały z całego internetu, które pomogą Ci być na bieżąco ze światem danych, AI i programowania. Z ponad 500 źródeł, które wpadły do sitka w tym tygodniu, wybrałem te najbardziej wartościowe i inspirujące.

W tym wydaniu znajdziesz sporo praktycznych materiałów o Pythonie - od łączenia z bazami danych, przez wielowątkowe przetwarzanie z Joblib, po kolejkowanie zadań z Procrastinate. Dla miłośników AI, LLMów i RAGów są teksty o budowaniu własnych systemów przetwarzania dokumentów oraz optymalizacji pipeline’ów RAG.

Newsletter Dane i Analizy, 2025-05-05

Mon, 05 May 2025 15:00:00 +0000

Tym razem, pomimo majówki, zebrałem specjalnie dla Ciebie kolekcję tekstów, które łączy jeden wspólny mianownik - praktyczność. Mniej teorii, więcej konkretów, które możesz zastosować już dziś w swojej pracy z danymi i kodem.

W świecie AI i ML możesz przyjrzeć się technikom monitorowania sieci neuronowych podczas treningu oraz implementacji autokoderów wariacyjnych z Keras. Oba teksty to solidne przewodniki, które pomogą Ci lepiej zrozumieć, co dzieje się “pod maską” Twoich modeli.

Newsletter Dane i Analizy, 2025-04-28

Mon, 28 Apr 2025 15:00:00 +0000

W tym tygodniu mam dla was wybuchową mieszankę materiałów - od głębokiego uczenia maszynowego i tutoriala pisania własnych RAGów, przez wizualizację danych geolokalizacyjnych, po optymalizację dashboardów.

Szczególnie chciałbym zwrócić waszą uwagę na serię artykułów poświęconych Apache Airflow i Kafce - dwa narzędzia, które stały się nieodłącznym elementem nowoczesnych potoków danych. Znajdziecie dzisiaj zarówno wprowadzenie do zmian wdrożonych w Airflow w wersji 3.0, jak i praktyczne informacje o tym jak pisać wydajne DAGi.

Newsletter Dane i Analizy, 2025-04-21

Mon, 21 Apr 2025 15:00:00 +0000

Pomimo trwających świąt (chociaż już za moment “święta, święta i po świętach”) dość obfita paczka materiałów leci do Ciebie.

Dzisiaj praktyczne zastosowania computer vision w śledzeniu piłkarzy oraz implementację mechanizmu uwagi z architektury Transformer, pokazując jak zaawansowane modele mogą być budowane od podstaw. Dla tych, którzy podkręcają zapytania SQL - coś o ich optymalizacji w PostgreSQL. Do tego oraz kompleksowy przewodnik po budowie nowoczesnych hurtowni danych.

Deweloperzy znajdą wartościowe treści dotyczące automatyzacji procesów z wykorzystaniem Jenkins i integracji z GitHubem, a także automatyzacji przeglądów kodu przy pomocy modeli LLM. W sekcji Python szereg praktycznych narzędzi - od integracji JWT z FastAPI, przez korzystanie z biblioteki HTTPX, po wizualizację danych z Excela przy użyciu Dash.

Newsletter Dane i Analizy, 2025-04-14

Mon, 14 Apr 2025 15:00:00 +0000

Ciepłe powitanie dla wszystkich nowych czytelników, którzy dołączyli razem z cyklem o analizie danych z rynku pierwotnego nieruchomości! Cieszę się, że tu jesteście. A jeśli ktoś nie zna tego cyklu - zapraszam na stronę, gdzie można się zapisać. Za zupełną darmoszkę.

W tym tygodniu przygotowałem zestaw materiałów, które odzwierciedlają dynamiczny rozwój świata AI, analizy danych i programowania. Szczególnie interesujące wydają się nowinki z pogranicza multimodalnych modeli AI, gdzie można własnoręcznie zbudować odpowiednik GPT-4o, oraz projekt analizujący trendy w segmentach sponsorskich na YouTube.

Newsletter Dane i Analizy, 2025-04-07

Mon, 07 Apr 2025 15:00:00 +0000

Dzisiaj “mapy rozwoju” - czyli listy zagadnień, które warto poznać, zgłębić, nauczyć się, aby rozwinąć się w danej dziedzinie. Dziedziny te oczywiście bliskie są tematom przewodnim tego newslettera - przetwarzaniu danych. Zatem jest “ścieżka rozwojowa” dla inżynierów danych oraz dla zajmujących się machine learningiem (i jego “operacjonalizacyjną” stroną - MLOps).

Ciekawe dla Ciebie mogą być również dwa świeże raporty (za 2024 rok) związane z bezpieczeństwem - jeden z CERT, więc bezpieczeństwo raczej ogólne. Drugi z Komisji Nadzoru Finansowego dotyczący instytucji finansowych.

Newsletter Dane i Analizy, 2025-03-31

Mon, 31 Mar 2025 15:00:00 +0000

Hit minionego tygodnia to MCP (Model Context Protocol). Jest to otwarty standard opracowany przez firmę Anthropic w listopadzie 2024 roku, który umożliwia ustandaryzowaną integrację modeli sztucznej inteligencji z zewnętrznymi źródłami danych i narzędziami. Jego główne cechy to:

Standaryzacja połączeń między AI a zewnętrznymi zasobami Dwukierunkowa komunikacja w czasie rzeczywistym Dynamiczne wykrywanie dostępnych narzędzi i kontekstu Optymalizacja dla dużych modeli językowych (LLM)

Architektura MCP składa się z kilku kluczowych komponentów:

Host - główna aplikacja AI zarządzająca klientami MCP Klienci MCP - pośrednicy łączący hosta z serwerami MCP Serwery MCP - lekkie programy udostępniające funkcjonalności poprzez MCP

Newsletter Dane i Analizy, 2025-03-24

Mon, 24 Mar 2025 15:00:00 +0000

W dzisiejszym numerze analizujemy ewolucję systemów rekomendacji i wyszukiwania w erze LLM, prezentujemy zaawansowane techniki inżynierii danych, w tym potoki danych oparte na PostgreSQL oraz porównanie formatów data lake. Poruszamy również kwestię minimalizację liczby spotkań, a także przedstawiamy nowe narzędzia usprawniające pracę z Pythonem i bazami wektorowymi.

#ai_ml

Improving Recommendation Systems & Search in the Age of LLMs
Kompleksowa analiza transformacji systemów rekomendacji i wyszukiwania w kontekście dużych modeli językowych. Artykuł omawia zmiany w przemysłowych rozwiązaniach w ostatnim roku, skupiając się na architekturach multimodalnych, generowaniu danych wspomaganym przez LLM oraz technikach uczenia transferowego i destylacji.

Newsletter Dane i Analizy, 2025-03-17

Mon, 17 Mar 2025 15:00:00 +0000

Sztuczna inteligencja w praktyce: Zajrzyj do repozytorium z technikami Retrieval-Augmented Generation (RAG), gdzie krok po kroku poznasz ich implementację, lub dowiedz się, jak AI może usprawnić procesy rejestracji użytkowników i przegląd kodu. Nie zabrakło też przeglądu narzędzi AI, które mogą znacząco zwiększyć Twoją produktywność.

Praca z danymi: Od modelowania danych w SQL dla sektora detalicznego po przetwarzanie danych w Microsoft Fabric z wykorzystaniem bibliotek takich jak pandas czy duckdb – znajdziesz tu konkretne przykłady i wskazówki, jak efektywnie zarządzać danymi.

Newsletter Dane i Analizy, 2025-03-10

Mon, 10 Mar 2025 15:00:00 +0000

Pod koniec lutego “ukazał” się zbiór danych (pochodzących najprawdopodobniej z serwisu rynekpierwotny.pl) zawierający całkiem sporo ofert nowych mieszkań (i nie tylko). Zbiór o tyle interesujący, że ze współrzędnymi oferowanych lokalizacji. Na LinkedIn wrzuciłem na szybko przygotowaną mapkę wynikającą z tego zbioru, ale planuję coś większego: e-mailowy cykl (3-4 maile, pewnie co tydzień) pokazujący co z tymi danymi można zrobić. Na pewno napiszę o tym w newsletterze, na pewno napiszę o tym na LinkedIn - zatem zapraszam do obserwowania. Na fanpage’u Dane i Analizy też będzie o tym info, więc też warto obserwować.
Żeby było ciekawiej - dość podobny temat porusza jeden z dzisiejszych postów, jakie znajdziesz poniżej - ten o kebabach - to doskonały przykład praktycznego zastosowania analizy danych.

Newsletter Dane i Analizy, 2025-03-03

Mon, 03 Mar 2025 15:00:00 +0000

Kto, w podziale na grupy zawodowe, używa najwięcej AI? Ciekawa wizualizacja na ten temat, oparta na zapytaniach do Claude. Spoiler: 37.2% zapytań dotyczy komputerów i matematyki (w tym rozwoju oprogramowania), co raczej nie dziwi.

Zastanawiałeś się kiedyś nad przejściem z SQL na NoSQL? Artykuł “I Dropped SQL for NoSQL” opisuje, jak taka zmiana wpłynęła na wydajność aplikacji, obsługując pięciokrotnie większy ruch i dziesięciokrotnie szybsze zapytania. Jeśli jednak wolisz pozostać przy SQL, “3 Foundational Principles for Writing Efficient SQL” przypomina o podstawowych zasadach, które pomogą Ci pisać wydajne i czytelne zapytania.

Newsletter Dane i Analizy, 2025-02-24

Mon, 24 Feb 2025 15:00:00 +0000

Ciekawostka tego tygodnia to What’s in your stack: The state of tech tools in 2025, czyli spostrzeżenia 6500 profesjonalistów z branży technologicznej na temat ich ulubionych i najmniej lubianych narzędzi. Długi tekst, najciekawsze obserwacje:

Top narzędzia AI i ich wykorzystanie:

ChatGPT: 90% profesjonalistów używa go codziennie Claude: 35% używa do złożonych analiz Gemini: 24% wykorzystuje głównie do integracji z Google Workspace

Rewolucja w developmencie:

40% programistów regularnie używa GitHub Copilot 17% przeszło na Cursor (AI-natywne IDE) VS Code pozostaje królem z 48% udziałem (“Wiadomix!” - red.nacz.)

Newsletter Dane i Analizy, 2025-02-17

Mon, 17 Feb 2025 15:00:00 +0000

Mam nadzieję, że Walentynki były udane? ;-) Może szukasz spóźnionego prezentu dla początkującego programisty (albo dla siebie) - mój nowy e-book o Pythonie (pobieranie danych z API, współpraca z bazą danych, aplikacja we Flasku), który zadebiutował właśnie 14 lutego, może być strzałem w dziesiątkę. Więcej informacji na stronie książki.

W tym tygodniu mam dla Ciebie solidną dawkę wiedzy z różnych obszarów analizy danych i programowania - jak zwykle zresztą. Szczególnie warto zwrócić uwagę na materiały dotyczące uczenia maszynowego - od budowy własnej biblioteki deep learning po praktyczną optymalizację modelu wykrywania oszustw. Dla osób zainteresowanych LLM, a w szczególności Transformerami - jest przystępne wyjaśnienie ich działania.

Newsletter Dane i Analizy, 2025-02-10

Mon, 10 Feb 2025 15:00:00 +0000

Zanim przejdę do sedna, czyli bieżącego numeru, mam dla Ciebie informację. Otóż za moment będzie dostępny kompleksowy e-book typu “od juniora do mida”. Książka to projekt, który kompleksowo przeprowadza przez budowę aplikacji - od komunikacji z API, przez bazę danych, aż po konteneryzację. Bez pierdół teoretycznych, za to z mocnym naciskiem na praktykę. Szczegóły już niedługo w oddzielnym mailu, więc trzymajcie się blisko skrzynki odbiorczej!

A co Cię czeka w tym numerze?

Newsletter Dane i Analizy, 2025-02-03

Mon, 03 Feb 2025 15:00:00 +0000

Dzisiaj różnorodne tematy: od pracy z bazami danych, przez harmonogramowanie zadań w Dockerze, aż po integrację nowoczesnych modeli LLM w aplikacjach Python. Nie zabraknie także praktycznych wskazówek dotyczących testowania kodu oraz efektywnego zarządzania danymi w projektach ML.

Warte zwrócenia uwagi w tym wydaniu:

Getting Started with ChromaDB - Odkryj możliwości bazy danych ChromaDB i naucz się, jak efektywnie jej używać. Docker + Cron - Dowiedz się, jak zintegrować harmonogramowanie zadań w Dockerze. Getting Started with fzf - Poznaj fzf i jego zastosowania w codziennej pracy. Integrating DeepSeek into your Python Applications - Przewodnik po integracji DeepSeek w aplikacjach Python. Unit Testing for Data Science with Python - Wprowadzenie do testów jednostkowych w kontekście nauki o danych. Dynamic Forms with Flask - Jak tworzyć dynamiczne formularze w aplikacjach webowych przy użyciu Flask.

Newsletter Dane i Analizy, 2025-01-27

Mon, 27 Jan 2025 15:00:00 +0000

Na bieżący numer złapało się kilka ciekawych tematów. Warto zwrócić uwagę na tekst o systemach automatyzacji w Amazonie i Netfliksie - pokazuje podejście dużych firm do skalowalności i bezpieczeństwa. Dobry jest artykuł o topic modeling z użyciem BERTopic i FASTopic - może się przydać przy przetwarzaniu skarg klientów.

Dla fanów Kafki znajdzie się materiał o konsumentach wiadomości, a dla pythonowców zestaw o wizualizacjach z Pythona w Power BI, budowaniu API gateway na FastAPI i poradnik “10 Tips to Become REALLY Good at Python”, gdzie w pół godziny Arjan mówi o tym, co jest najważniejsze przy nauce Pythona, od czego trzeba zacząć i co doskonalić na początku. Do tego jest też wideo dla początkujących adeptów Pandas.

Newsletter Dane i Analizy, 2025-01-20

Mon, 20 Jan 2025 15:00:00 +0000

Ten tydzień to głównie narzędzia i automatyzacja - od tworzenia wątków na Twitterze po sprzątanie plików. Jeśli szukasz sposobów na ulepszenie swojego warsztatu, to dobrze trafiłeś. Szczególnie ciekawe są dwa artykuły o pracy z API - jeden o Claude.ai (który coraz śmielej radzi sobie z analizą tekstu), drugi o tym jak zaprojektować klucze API, żeby nie wyglądały jak kot przebiegł po klawiaturze ;-)

Dla pythonistów garść praktycznych rozwiązań: radzenie sobie z zagnieżdżonymi strukturami danych przez Pydantic, wyciąganie tabel z PDFów (kto nigdy nie walczył z parsowaniem PDFa, niech pierwszy rzuci kamieniem).

Newsletter Dane i Analizy, 2025-01-13

Mon, 13 Jan 2025 15:00:00 +0000

Mam dla Ciebie nową porcję ciekawych tekstów, artykułów, zestawień i tutoriali – jak zwykle trochę o Pythonie, trochę o analizie danych, no i oczywiście coś o AI i ML. Ale spokojnie, nie wszystko tutaj to programowanie (chociaż wiadomo, że to nasz główny temat :). Znajdziesz tu materiały dla każdego: od tych, którzy dopiero zaczynają, po treści dla bardziej zaawansowanych.
Oto, co między innymi znajdziesz dzisiaj poniżej:

Sztuczna inteligencja i uczenie maszynowe – rozpocznij rok od 50 najważniejszych materiałów o AI w 2025 roku, dowiedz się, jak zoptymalizować modele takie jak YOLOv8 na małych urządzeniach, i poznaj sposób na tworzenie asystentów AI do analizy rynków surowcowych. A może zainspiruje Cię budowa medycznego chatbota lub wykorzystanie MLFlow w agnostycznym podejściu do zarządzania modelami? Analiza danych i inżynieria danych – zanurz się w zaawansowanych technikach SQL dla niestrukturalnych danych, poznaj tajniki przetwarzania strumieniowego z użyciem Apache Spark, Kafka i Airflow, a także odkryj różnice między Elasticsearch a Apache Doris w analizie danych w czasie rzeczywistym. Python w praktyce – dowiedz się, jak stworzyć system powiadomień z FastAPI, pracować z danymi przestrzennymi za pomocą GeoAlchemy, czy automatycznie generować diagramy architektury z kodu. Tu mała zapowiedź (bo jak się powie publicznie to ciąży taka motywacja “przecież obiecałem”), niejako przy okazji. Szykuję ebooka, który poprowadzi Cię krok po kroku przez projekt budowy aplikacji w Pythonie. Co więcej, w ebooku zajmiemy się naprawdę praktycznymi zadaniami, które odciążają od nudnej pracy. Wspólnie stworzymy dwie aplikacje, ucząc się po drodze, jak wykorzystywać usługi sieciowe, jak działać z bazami danych, i jak efektywnie wyświetlać zapisane dane. A żeby było co wyświetlać – sami stworzymy bazę danych, do której będziemy dodawać informacje! Ciekawe? Więcej szczegółów być może już za tydzień. Wypatruj! Bezpieczeństwo i ciekawostki – przeanalizuj globalne statystyki dotyczące otwartego portu 80, odkryj sposoby, w jakie Uber oszczędza czas dzięki Text-to-SQL, i sprawdź, jak korzystać z YouTube prosto z terminala. Inne inspiracje – od katalogów danych i ich obserwowalności po trendy marketingowe według TikToka – każdy znajdzie coś dla siebie.

Newsletter Dane i Analizy, 2025-01-06

Mon, 06 Jan 2025 15:00:00 +0000

W dniu, gdy tradycyjnie Trzej Mędrcy dotarli do celu swojej podróży kierując się gwiazdą, ja przybywam z kolekcją wartościowych znalezisk ze świata Pythona i analizy danych. Mędrcy przynieśli złoto, kadzidło i mirrę - dzisiejsze wydanie niesie pakiet różnorodnych artykułów, które (mam nadzieję) okażą się równie cennymi darami dla Twojego rozwoju zawodowego.

W tym wydaniu znajdziesz standardowo kilka praktycznych materiałów z zakresu data science: od budowania systemu tradingowego opartego na średniej kroczącej, przez analizę szeregów czasowych, aż po wykorzystanie biblioteki statsmodels.
Dla osób zainteresowanych automatyzacją wdrożeń (i nie tylko) mamy podstawową dawkę wiedzy o GitHub Actions i skryptach bashowych, a na koniec dość klasyczna integracja FastAPI z Reactem.

Newsletter Dane i Analizy, 2024-12-30

Mon, 30 Dec 2024 15:00:00 +0000

Wskazówki nieubłaganie odmierzają czas, do umownego końca stulecia i tysiąclecia pozostały niespełna trzy tygodnie… - tak swoją ostatnią audycję rozpoczął Tomasz Beksiński, a w tym roku mija 25 lat od jego śmierci. Pewnie dlatego dużo na jego temat przewija się przez internet.

To pożegnanie Tomka cytowane tutaj to tylko zabieg literacki, więc nie należy się obawiać o redaktora naczelnego. W rzeczywistości kończymy 2024 rok – czas pełen przełomów w świecie danych, uczenia maszynowego i technologii. Przed Tobą ostatni w tym roku numer newsletter, z kolejnymi (mam nadzieję) inspiracjami, projektami i ciekawostkami, które pomogą zamknąć ten rok z przytupem i może rozbudzą pomysły na nadchodzący 2025.

Newsletter Dane i Analizy, 2024-12-23

Mon, 23 Dec 2024 15:00:00 +0000

Im bliżej roku tym więcej podsumowań roku. Ale podsumowania były w zeszłym numerze (kto przegapił może zobaczyć do archiwum).

Dzisiaj zaś ze względu na zbliżające się święta mniej materiału niż zwykle. Bo trzeba odpocząć od komputerów, spędzić czas z najbliższymi, wyjść na spacer, porzucać się śnieżkami… no może tutaj się zapędzamy nieco (patrząc na prognozę pogody).
Odstawcie modele ML, dostawcie Python, Sparki i Kafki, zajmijcie się uszkami w barszczu i prezentami spod choinki. No, ewentualnie może być Pinot… ale bardziej Pinot Noir niż Apache Pinot.

Newsletter Dane i Analizy, 2024-12-16

Mon, 16 Dec 2024 15:00:00 +0000

Czego szukali ludzie w Google w mijającym roku? Google dostarcza podsumowanie dla całego świata i większości krajów z osobna (tutaj Polska, tutaj global). Podsumowania te są o tyle interesujące, że stanowią pewnego rodzaju obraz naszego społeczeństwa i jego zainteresowań.

Wiecie, że w Afryce w większości państw ruch w internecie z komórki przeważa ruch z komputerów? W przykładowym Sudanie ponad 77% to komórki. Tego typu rzeczy można dowiedzieć się z corocznego raport Cloudflare Radar. Raport mówi nie tylko o dominacji Google, ale też zawiera statystyki dotyczące szyfrowania ruchu, popularności różnych technologii sieciowych czy kwestii bezpieczeństwa.

Newsletter Dane i Analizy, 2024-12-09

Mon, 09 Dec 2024 15:00:00 +0000

Nie wiem czy korzystacie z list zakupów w aplikacjach do tego przewidzianych? To wygodne - cała rodzina dodaje na jedną listę to, co trzeba kupić, a potem jedna osoba (np. ojciec ;) jedzie do sklepu i przywozi te siaty… U mnie taką aplikacją jest Listonic (i nie jest to reklama - apka ma trochę irytujących elementów). Aplikacja jest popularna, co pozwala jej twórcom na zgromadzenie dużej liczby “list zakupów” i przygotowanie na tej podstawie ciekawych raportów.

Newsletter Dane i Analizy, 2024-12-02

Mon, 02 Dec 2024 15:00:00 +0000

Motywem przewodnim w dzisiejszym odcinku jest API. Jakich frameworków użyć (w Pythonie), czym od siebie się różnią? A może websocket?

Podobnie mamy w sekcji z praktycznymi projektami z zakresu analizy danych (nie zawsze tam o samą analizę chodzi - czasem bardziej o uczenie maszynowe niż analizowanie w rozumieniu tzw. EDA): wykrywanie wartości odstających w zbiorach.

Co tydzień przedstawiamy tutaj kilka projektów wykorzystujących analizę danych, machine learning czy też AI. Zamiast czekać kilkanaście tygodni (i liczyć że temat, który Cię interesuje się pojawi) możesz zerknąć na stronę gdzie zgromadzono ponad 65 (może i 69, a więc prawie 70!) przykładowych projektów razem z kodem źródłowym. Boot-camp z ML? Niepotrzebny! Wystarczą te projekty… oraz porządne doczytanie dlaczego tak a nie inaczej zrobiono to czy tamto.

Newsletter Dane i Analizy, 2024-11-25

Mon, 25 Nov 2024 15:00:00 +0000

Nieco o LLMach dzisiaj - o przygotowywaniu danych (z PDFów) oraz o poszukiwaniu modelu, który można uruchomić lokalnie. Ponieważ LLMy od dwóch lat są znaczącym tematem - mają swoją sekcję i właśnie tam możecie zajrzeć.

A jeśli wolisz sobie skonfigurować VSCode do pracy z Pythonem to Arjan pomoże.

#ai_ml

How to Implement Named Entity Recognition with Hugging Face Transformers
Rozpoznawanie nazwanych jednostek (NER) to podstawowe zadanie przetwarzania języka naturalnego (NLP), obejmujące identyfikację i klasyfikację nazwanych jednostek w tekście do wstępnie zdefiniowanych kategorii. Kategoriami tymi mogą być nazwiska osób, organizacje, lokalizacje, daty i inne. Zobaczmy, jak można przeprowadzić NER, wykorzystując Transformers od Hugging Face

Newsletter Dane i Analizy, 2024-11-18

Mon, 18 Nov 2024 15:00:00 +0000

Newslettery… czy wiecie, że tylko nieco ponad 1/3 newsletterów ma swój drugi numer? Co 10-ty newsletter (precyzyjniej: 11%) ukazuje się dłużej niż 10 numerów. A jednocześnie 23-krotnie wzrosła liczba newsletterów od 2019 roku na platformie Substack. Tak mówi źródło tych danych.

Nasz newsletter ma jakieś 3 lata (przynajmniej w redakcyjnym archiwum w serwisie Raindrop.io gdzie zebrane są wszystkie teksty jest tag #newsletter_2021-11-15), co by znaczyło jakieś 150 wydań. W archiwum, bo były czasy przed budowaniem archiwum (kilkanaście tygodni na pewno), ale tak starych ludzi już nie ma… :-)
Archiwum mówi też o ponad 3400 tysiącu tekstów 😮

Newsletter Dane i Analizy, 2024-11-11

Mon, 11 Nov 2024 15:00:00 +0000

Święto lasu słuchajcie! I to nie chodzi wcale o to, że dzisiaj mamy Narodowe Święto Niepodległości, ale o to, że w newsletterze mało o Pythonie! Więcej mamy w działce “DevOps” (która nie tylko o procesach CI/CD jest, ale też o tym jak pisać - i w tym numerze też debuggować - skrypty w Bashu) niż programowania przepływów danych czy innych finezyjnych (mniej lub bardziej) sztuczek w Pandas albo DuckDB…

Za to dowozi dzisiaj sekcja opisująca nieco bardziej teoretycznie zagadnienia ML-owe. Chyba dobrze, co?

Newsletter Dane i Analizy, 2024-11-04

Mon, 04 Nov 2024 15:00:00 +0000

Odkrycie tego tygodnia: Bolt.new. Serwis, który korzystając modeli językowych przygotuje całą aplikację i - o ile jest ona frontendowa - pozwoli jednym guzikiem ją wdrożyć.
Testując to chwilę udało się po kilku dopytaniach przygotować kod, który daje GUI (dostępny przez WWW) do edycji obserwowanych kanałów na YouTube. Obserwowanie polega na tym, że jeśli pojawi się nowy film na kanale to wysyłana ma być informacja poprzez komunikator Signal (specjalnie, bo Signal nie ma API, trzeba wywoływać polecenie w konsoli). Powstały kod wzbogacony został o Dockerfile (razem z pobraniem odpowiedniej wersji Signala oraz potrzebnej mu Javy) i deployment na Kubernetesa. Kiedy wiemy co robimy i czego oczekujemy oraz potrafimy wyłapać błędy - na pewno ułatwia to pracę. I jeszcze jedno: zapytania pisałem po polsku (w ramach eksperymentu) i zostałem w pełni zrozumiany, chociaż odpowiedzi były po angielsku. Wynik działania tutaj (mam nadzieję, że link zadziała).

Newsletter Dane i Analizy, 2024-10-28

Mon, 28 Oct 2024 15:00:00 +0000

Jeden z tekstów, które znajdziecie poniżej mówi o tym, jak pobrać z YouTube wideo, wyciągnąć z niego dźwięk, a potem ten dźwięk przekształcić w zapis tekstowy (taki do czytania). Potem i tak nikt tego nie czyta…

Niektórzy może czytają. A jeśli wolą jednak oglądać albo słuchać - dzisiaj przed Wami zapisy wideo z dwóch konferencji. Jedna to “Oh My Hack” odbywająca się w Polsce i skupiająca się na zagadnieniach związanych z bezpieczeństwem. Nagrania pochodzą z edycji, która miała miejsce w 2023 roku. Druga konferencja to coś nowszego - amsterdamska edycja PyData, z tego roku.

Newsletter Dane i Analizy, 2024-10-21

Mon, 21 Oct 2024 15:00:00 +0000

OpenAI ze swoim modelem w wersji o1 wróciło na szczyt listy przebojów w kategorii LLM. Garść firm zajmujących się GenAI zaczyna generować poważne przychody. Co jeszcze dzieje się na rynku AI w 2024 roku? Jaki jest “Stan AI w 2024”? O tym dowiecie się z raportu, do którego link poniżej, w sekcji AI/ML.

Sporo w tym wydaniu o bazach danych (co najmniej dwa razy pojawia się Postgres i Redis, ale są też inne rozwiązania: wektorowa Milvus, InfluxDB do szeregów czasowych, grafowa Neo4j, dobrze znany stałym czytelnikom DuckDBoraz Tile38 do zadań geo).

Newsletter Dane i Analizy, 2024-10-14

Mon, 14 Oct 2024 15:00:00 +0000

Kolejny dzień (no, może miesiąc) i kolejna wersja modelu YOLO - czyli modelu do detekcji obiektów na obrazach? Mniej więcej. Zobacz co nowego w wersji 11, a nieco przykładów i szersza informacja o tym jak to wykorzystać niżej, w dziale AI/ML. Tym razem nie tylko rozpoznawanie obiektów, ale też rozpoznawanie pozy (gdzie ręce, nogi, gdzie głowa, ramiona, kolana, pięty, Kola napięty… #mspanc), segmentacja obrazu czy też jego klasyfikacja. Co ciekawe - twórcy idą w stronę nie tyle rozpoznawania elementów na statycznych obrazkach do na wideo - co właściwie jest tym samym tylko szybciej (nawet tylko po kilkanaście milisekund na klatkę!).

Newsletter Dane i Analizy, 2024-10-07

Mon, 07 Oct 2024 15:00:00 +0000

Dzisiaj w newsletterze mały eksperyment. Być może każdego tygodnia Ty, jako odbiorca tego maila, cierpisz na nadmiar materiału, klęskę urodzaju. Jest tyle (zwykle około 20-25) tekstów, każdy chciałoby się przeczytać (wierzę w to… nawinie?), ale w sumie otwierasz te kilkanaście zakładek i nie czytasz niczego. Bo za dużo, bo po angielsku (hint: wtyczka Google Translate do Chrome daje radę, serio - chociażby po to, żeby przeskanować tekst na szybko, czytać lepiej w oryginale - chociażby nazwy zmiennych nie są wówczas tłumaczone). Zatem jak w dobrej restauracji: krótkie menu oznacza większą selekcję.

Newsletter Dane i Analizy, 2024-09-30

Mon, 30 Sep 2024 15:00:00 +0000

Kiedyś robiłem analizę danych zbioru o taksówkach w Nowym Jorku (wpis na blogu sprzed lat), w R. Tam było kilka wykresów, ale nie było interaktywnej wizualizacji. A tutaj jest interaktywna wizualizacja (repo na GitHubie dla tych, którzy nie mają dostępu do Medium), w Pythonie z pakietem Bokeh. EDA też jest, w części pierwszej - warto zapoznać się z tą serią, pokazuje ten najbardziej żmudny etap pracy analityka danych czy też data scientisty.

Newsletter Dane i Analizy, 2024-09-23

Mon, 23 Sep 2024 15:00:00 +0000

Dzisiaj nieco później niż zwykle, nieco skromniej i bez zbędnego lania wody. Taki eksperyment.

#ai_ml

50 Handpicked GitHub Repositories to Master Data Science Skills
Najlepszym sposobem na naukę jest praktyka. Własna - pisanie kodu, albo cudza - czytanie kodu. Aby ułatwić to drugie - zbiór materiałów.

#analiza_danych_projekty

Feature Engineering in XGBoost
Więcej tutaj operacji na danych w Pandasie niż samego XGBoosta, ale o inżynierii cech nigdy za wiele.

Football and Geometry
Wprowadzenie do grafów na podstawie siatki podań piłkarzy podczas meczy.

Newsletter Dane i Analizy, 2024-09-09

Mon, 09 Sep 2024 15:00:00 +0000

W tym tygodniu prowadzę szkolenie (a w zeszłym prowadziłem przykładowo konkurs na imprezie firmowej - więc “szkolenia, prelekcje, podcasty, śluby, chrzciny i pogrzeby” są w ofercie Dane i Analizy :), więc nieco mniej czasu na przygotowanie newslettera - wybaczcie zatem, że bez standardowego wstępu. Liczę jednak na to, że dobór materiałów na zadowalającym poziomie.

#ai_ml

Evaluating Handwritten digital Recognition Models
MNIST to jeden z najpopularniejszych zbiorów danych. Porównanie modeli rozpoznających ręcznie pisane cyfry (i tu zbiorem nie jest MNIST).

Newsletter Dane i Analizy, 2024-09-02

Mon, 02 Sep 2024 15:00:00 +0000

Od kilku tygodni (może bardziej kilkunastu dni?) na LinkedIn widać pochwały dla Bielika - polskiego czat-bota opracowanego na bazie modelu Mistral-7B. Tutaj możecie poczytać swego rodzaju test tego modelu. Polecamy własne eksperymenty (ciekawym jest prompt “Przygotuj dialog pomiędzy Janem i Marią, dwojgiem polskich emerytów spotykających się pomiędzy apteką a sklepem spożywczym” - ChatGPT, Cloude, Gemini - próbujcie, kto da bardziej “polską” odpowiedź). Co ważne - Bielik w wersji 2.2 jest dostępny na licencji Apache 2.0, która pozwala na swobodne używanie, modyfikowanie i redystrybucję oprogramowania, w tym w celach komercyjnych. Jedynym wymaganiem jest zachowanie oryginalnej licencji i noty prawnej przy każdej redystrybucji.

Newsletter Dane i Analizy, 2024-08-26

Mon, 26 Aug 2024 15:00:00 +0000

Poniżej znajdziecie tekst opisujący Ghostbuster - narzędzie do wykrywania czy tekst został napisany przez AI. Dawno temu na blogu napisałem (kod jeszcze w R) coś w dużej mierze podobnego, ale tam celem było przyporządkowanie autora (jednego z dwóch) do tekstu. W banalny sposób, oparty jedynie na statystyce. Przeczytaj artykuł o Ghostbuster i zobacz jak zmieniło się to na przestrzeni lat (mój tekst ma 7 lat!)… W podobnym czasie na Kaggle był konkurs Spooky Author Identification - o wiele krótsze teksty, a w najnowszych rozwiązaniach pojawiają się transformery.

Newsletter Dane i Analizy, 2024-08-19

Mon, 19 Aug 2024 15:00:00 +0000

Dzisiaj sporo materiałów z ulubionej chyba działki redaktora naczelnego, czyli coś o data engineeringu (najlepiej opakowanym w Pythona). Mamy więc bardzo fajny tekst o tym jak śledzić autobusy szkolne - w wielu polskich miastach pojazdy komunikacji miejskiej wyposażona są w nadajniki GPS, co pozwala na śledzenie ich w czasie rzeczywistym (warszawskie dane są dostępne na przykład tutaj (link do dokumentacji w PDF) czy też ogólnie na stronie WWW).

Nieco więcej niż zwykle dzisiaj o języku R - o tym jak z jego pomocą szybko przygotować atrakcyjne dashboardy z kodu oraz o tym, że mamy odpowiednik tidyverse dla prac z modelami machine learning.

Newsletter Dane i Analizy, 2024-08-12

Mon, 12 Aug 2024 15:00:00 +0000

Używacie Postmana do współpracy z API? Na przykład do testowania własnych usług albo rozpoznawania cudzych? Poznajcie Bruno - alternatywę, w 100% offline i open soruce. Bruno jest oddzielną aplikacją (okienkową i w CLI) oraz dodatkiem do VSCode. Zamiast czytać możecie też zobaczyć kilkunastominutowe demo.

“Czego powinniśmy się spodziewać, a co jest tylko szumem medialnym? Jaka jest różnica między obietnicą tej technologii a praktyczną rzeczywistością?”. Najnowszy artykuł Stephanie Kirmer (Ekonomia generatywnej AI) przedstawia bezpośrednie, bezkompromisowe spojrzenie na biznesowe przypadki produktów AI oraz zadaje pytanie, o to jaki jest model biznesowy dla generatywnej AI, biorąc pod uwagę to, co wiemy dzisiaj o technologii i rynku?

Newsletter Dane i Analizy, 2024-08-05

Mon, 05 Aug 2024 15:00:00 +0000

W maju bieżącego roku ponad 65 tysięcy programistów odpowiedziało na coroczną ankietę StackOverflow dotyczącą kodowania, technologii i narzędzi, których używają i chcą się nauczyć, sztucznej inteligencji i doświadczenia programistów w pracy. Tutaj znajdziesz wyniki.

W sekcji poświęconej AirFlow znajdziecie porównanie tego narzędzia do orkiestracji zadań z Maestro od Netflixa. Tutaj znajdziesz repo z kodem do instalacji. Z kolei mocna dzisiaj sekcja DevOps zawiera kilka przydatnych narzędzi, nie tylko związanych z jako takim DevOpsem, ale też przydanych dla innych.

Newsletter Dane i Analizy, 2024-07-29

Mon, 29 Jul 2024 15:00:00 +0000

Po zakończonym turnieju piłkarskim czas na igrzyska olimpijskie. Tu przynajmniej Polacy mają większe szanse. Ale w dzisiejszym numerze newslettera znajdziecie coś o analizie (głównie jako przestawieniu wyników w graficznej formie) spotkań piłkarskich - rozkładzie gorących miejsc czy siatce podań.

W sekcji związanej z wizualizacją danych jest też tekst, który ma na celu inspirację. Jak pokazać dane biznesowe? A może coś widać po ich pokazaniu (trendy, kierunki w których należy działać?)? Zobacz koniecznie!

Newsletter Dane i Analizy, 2024-07-22

Mon, 22 Jul 2024 15:00:00 +0000

Tomek zwrócił się do mnie z prośbą o przekazanie informacji o jego książce (e-booku). Otóż napisał ogromną ilość tekstu (ze 100 stron) na temat tego jak budować projekty data science w Pythonie. Jak układać pliki w folderach, jak zarządzać wymaganiami, jak zarządzać prerekwizytami typu dane czy też wynikowe wykresy, predykcje, modele. Jest też o automatycznym formatowaniu i sprawdzaniu kodu przy użyciu Ruff oraz dość sporo o notatnikach Jupytera. Normalnie książka coś kosztuje (30 zł), ale dla Was - do 5 sierpnia - jest za darmo, o tutaj.

Newsletter Dane i Analizy, 2024-07-15

Mon, 15 Jul 2024 15:00:00 +0000

W minionym tygodniu miałem przyjemność prowadzić szkolenie z podstaw Pythona. I korzystając z okazji, przy okazji omawiania zagadnień typu czytanie z pliku, listy, słowniki, listy słowników, iteracje po listach słowników i czyszczenie danych wraz z ekipą szkoloną przygotowaliśmy podsumowanie meczu Anglia - Holandia… na podstawie historycznych spotkań, znalezionych gdzieś w sieci. Nieco pociąłem nagranie, i wpadło na YouTube. Niecałe pół godziny, live coding na żywca, w upalny dzień, z dusznej salki.

Newsletter Dane i Analizy, 2024-07-08

Mon, 08 Jul 2024 15:00:00 +0000

Zbieranie i magazynowanie danych - to typowe projekty, którymi zajmują się inżynierowie danych. Ale obszar data engineeringu jest na tyle obszerny, że co tydzień właściwie coś tutaj możecie znaleźć. Dzisiaj dwa takie projekty-tutoriale: zbieranie informacji z YouTube oraz ogólnie z jakiegoś strumienia danych. W obu przypadkach używane są różne technologie.

A jak już mamy te dane, to kto powinien się zająć ich obróbką na “ostatniej mili” - baza czy kod? O tym też dzisiaj przeczytacie.

Newsletter Dane i Analizy, 2024-07-01

Mon, 01 Jul 2024 15:00:00 +0000

Razem z początkiem lipca zwykle w mediach rozpoczyna się sezon ogórkowy. Upały dają się we znaki, żar leje się z nieba (pozdrawiamy fanów “Hydrozagadki” oraz Asa!), jedyne o czym chce się myśleć to schłodzone napoje i leżenie w basenie.

Ale mimo tych przeciwności losu przed Wami kolejna porcja wiedzy w postaci ręcznie wybranych najlepszych tekstów o AI i ML plus okolicach związanych z przetwarzaniem danych jakie przewinęły się przez cały tydzień w różnych mediach czy też innych newsletterach.

Newsletter Dane i Analizy, 2024-06-24

Mon, 24 Jun 2024 15:00:00 +0000

W piłkę polska reprezentacja już (za moment) na Euro nie pogra, ale o przewidywaniu wyników trwającego turnieju piłkarskiego coś dzisiaj znajdziecie. Nawet nie w kontekście polskiej reprezentacji, a bardziej w kontekście “jak to się robi?”. Bo taki cel ma ten newsletter - pokazywać jak to się robi. Więc jeśli znasz kogoś, kto jeszcze nie wie to ślij mu tego maila. A jeśli ktoś przysłał Tobie tego maila - to zapisz się prawilnie na odpowiedniej stronie.

Newsletter Dane i Analizy, 2024-06-17

Mon, 17 Jun 2024 15:00:00 +0000

W minionym tygodniu miało swoją premierę narzędzie, które w ramach GenAI potrafi ożywić zdjęcia. Mowa o Luma. Oczywiście pojawiło się już kilka ożywionych memów albo okładek płyt. W ciekawą idzie to stronę… Pamiętajcie jednak, że zanim wrzucicie w tego typu maszynki swoje prywatne zdjęcia żeby przeczytać regulamin (ten z LumaLabs AI na wiele im pozwala).

W minionym tygodniu rozpoczęło się też Euro 2024 i to pewnie części z Was zajmuje sporo czasu. Szkoda tylko, że FiveThirtyEight.com przestało się zajmować sportem - bardzo fajne modele predykcyjne mieli na temat sportu. Za to (przed startem turnieju) swoje predykcje przygotował Eurosport.

Newsletter Dane i Analizy, 2024-06-10

Mon, 10 Jun 2024 15:00:00 +0000

Dzisiaj dwa ciekawe teksty o technikach OSINTowych - czyli jak z publicznie dostępnych informacji dotrzeć do czegoś więcej. Na przykład do informacji gdzie ktoś faktycznie jest (chociaż mówi inaczej) co jest nieco zabawą podobną do serwisu GeoGuesser (interesująca zabawa, zacznij od map ze znanej Ci okolicy) - na przykładzie szpiegów. Może jeszcze na dokładkę coś o szukaniu informacji z wykorzystaniem map?
Tyle o szukaniu. A o ukrywaniu? No na przykład pikselowanie tekstu na obrazkach umieszczanych w sieci nie ma większego sensu.

Newsletter Dane i Analizy, 2024-06-03

Mon, 03 Jun 2024 15:00:00 +0000

Po dłuższym weekendzie mocny w AI numer newslettera przed Tobą. Numer, który pokrywa takie obszary AI jak obraz, tekst oraz dźwięk.
W ramach obrazu mamy tutorial PyTorcha, ale dodatkowo być może zainteresuje Cię informacja, że modele rozpoznawania obiektów na obrazach YOLO dotarły już do wersji 10 - tutaj review pejpera z opisem YOLOv10, w treści też linki do wytrenowanych modeli i kodu wykorzystujących te modele.

Oprócz AI kilka wskazówek, które mogą przydać się przy wyborach SQL czy NoSQL albo FastAPI czy Flask. Do tego aż dwa teksty o modelowaniu struktury danych w bazie, w tym bardzo konkretny (i obszerny) tutorial o kalendarzach.

Newsletter Dane i Analizy, 2024-05-27

Mon, 27 May 2024 15:00:00 +0000

Dzisiaj krótko, bo tydzień krótszy i “nie ma czasu załadować taczek”. Może tak lepiej?

#analiza_danych_projekty

Customer Segmentation
Analiza RFM (Recency, Frequency and Monetary) wykorzystana do segmentacji klientów. Bardziej opis niż zajęcia praktyczne, a praktyka podana w excelu

#architektura

How Twitter processes 4 billion events in real-time daily
Od architektury Lambda do Kappa

3 Reasons Why You Might Want to Use Monolith Instead of Microservice
Czyżby odwrót od podejścia mikroserwisowego? A może tylko kilka szczególnych przypadków?

Newsletter Dane i Analizy, 2024-05-20

Mon, 20 May 2024 15:00:00 +0000

Dzisiaj w sekcji poświęconej językowi R mamy tekst, w którym w atrakcyjny, animowany sposób pokazano kilka podstawowych operacji na ramkach danych (albo jak kto woli - tabelkach, np. w bazie danych). Jeśli nie wiesz jak działają operacje grupowania, agregacji czy łączenia danych - po tych przykładach nie powinno być z tym problemu.

Jeśli już przy bazach danych jesteśmy - powraca DuckDB, bo to jest cudo. Tym razem m.in. porównanie ze Sparkiem.
Od Sparka niedaleko zaś do ogólnie pojętego big data - w tej sekcji kompletny przewodnik jak zbudować cały zestaw do strumieniowego przetwarzania danych: czyli pełne środowisko zawierające Kafkę, Schema Registry, Kafka Connect, ksql i co tam jeszcze wokoło potrzebne.

Newsletter Dane i Analizy, 2024-05-13

Mon, 13 May 2024 15:00:00 +0000

Które narzędzie do generowania grafik - Dall-E czy Midjourney - poradzi sobie lepiej? Zobacz porównanie, a jak już wiesz co wygrało - u Artura Kurasińskiego znajdziesz potężny poradnik jak promptować zwycięzcę.

1 Billion Row Challenge - to jest big data, nie jakieś arkusze Excela i kilkanaście tysięcy wierszy. Jak sobie poradzą różne implementacje oparte na Pythonie i ewentualnych dodatkowych narzędziach? Skroluj do odpowiedniej sekcji, bardzo ciekawe porównanie i kilka fajnych sposobów na optymalizację!

Newsletter Dane i Analizy, 2024-05-06

Mon, 06 May 2024 15:00:00 +0000

Witamy po majówce. Akumulatory naładowane? Głowy przewietrzone? Karkóweczka zjedzona? :)
Zatem czas na kolejną porcję rozwijających treści.

Jakoś tak wyszło, że w tym tygodniu mamy kilka zagadnień związanych z Kubernetesem, ale nie odpuszczamy programowania jako takiego (z przewagą Pythona, wiadomo). Poza tym - chyba masz zaległości z poprzedniego numer, prawda?

#ai_ml

GenAI Demo with Kafka, Flink, LangChain and OpenAI
Architektura i demo procesu przesyłania danych Kafką i użycia modeli LLM na tychże danych. W treści tekstu znajdziesz też link do nagrania na YT

Newsletter Dane i Analizy, 2024-04-29

Mon, 29 Apr 2024 15:00:00 +0000

#ai_ml

How to Run Llama 3 Locally?
W zeszłym tygodniu nie było nic o Llama 3, zatem dzisiaj instrukcja jak ten najnowszy model językowy od Facebooka uruchomić lokalnie.

#analiza_danych_koncepcje

Fabric Madness: Experiments
Eksperymenty z MLFlow spięte z MS Fabric

Representing Matrices as JSON Objects
Czy macierz można zapisać w JSONie? Pierwszy z serii artykułów na temat kompromisów pomiędzy macierzami a tym formatem plików

#analiza_danych_projekty

Public Transport Accessibility in Python
Analiza danych geograficznych w Pythonie - dostępność komunikacji miejskiej w Budapeszcie. Ale może to być dostępność do restauracji, aptek czy paczkomatów…

Newsletter Dane i Analizy, 2024-04-22

Mon, 22 Apr 2024 15:00:00 +0000

#ai_ml

Create an AI-Driven Movie Quiz!
Ciekawy projekt, który tworzy quiz wiedzy na temat filmów. Dane o filmach zebrane są z internetowej bazy, przetworzone przez mechanizmy AI, a cała zabawa odbywa się z wykorzystaniem API. Tekst opisuje projekt, a sam kod dostępny jest na GitHubie

#analiza_danych_koncepcje

SOLID Principles Applied to Data Science
Jak zbudować standardowy proces MLowy (wczytanie danych, preprocessing, uczenie modelu i finalna predykcja na nowych danych) w zgrabną architekturę spełniającą zasady SOLID?

Newsletter Dane i Analizy, 2024-04-15

Mon, 15 Apr 2024 15:00:00 +0000

#analiza_danych_projekty

Mastering Exploratory Data Analysis (EDA)
Usystematyzowane podejście do analizy danych, której celem jest odkrycie istotnych dla przyszłych modeli cech. Za każdym razem robi się to podobnie, więc - warto znać zasady.

Improving Generalization in Survival Models
Analiza przeżycia jako sposób na predykcję odejść pracowników.

#architektura

So You Want to Build An Event Driven System?
Jak zbudować system sterowany zdarzeniami? Jakie są korzyści z przyjęcia tego stylu architektury, jakie są wyzwania i niektóre kompromisy? Nagranie z konferencji [YouTube, 52 minuty, po angielsku]

Newsletter Dane i Analizy, 2024-04-08

Mon, 08 Apr 2024 15:00:00 +0000

#ai_ml

SVM One-Class Classifier For Anomaly Detection
Poznaj mechanizm One-Class SVM pod kątem wykrywania anomalii. Jakie są niuanse, hiperparametry? Do tego praktyczna implementacja identyfikacji rzadkich zdarzeń.

Decision Trees: Split Methods & Hyperparameter Tuning
O przycinaniu drzew decyzyjnych - rozbudowane podstawy algorytmów ML

Comprehensive Guide on Linear Discriminant Analysis
Rozbudowane podstawy algorytmów ML, ciąg dalszy - o redukcji wymiarów

#airflow

Utilizing DockerOperator in Airflow
Jak użyć AirFlow do zarządzania procesami składającymi się ze zdockeryzowanych elementów?

Newsletter Dane i Analizy, 2024-03-25

Mon, 25 Mar 2024 15:00:00 +0000

#ai_ml

TacticAI: an AI assistant for football tactics
Czy AI zmieni sposób gry w piłkę nożną? Zobacz czym owocuje współpraca FC Liverpool z DeepMind należącym do Google

Live Object Detection and Image Segmentation with YOLOv8
Jak działa YOLOv8? I jak szybko, z gotowych klocków, użyć tego algorytmu?

#analiza_danych_koncepcje

Personalized Audiobook Recommendations at Spotify Through Graph Neural Networks
Autor opisuje/recenzuje publikację mówiącą o modelach rekomendacyjnych zbudowanych przez Spotify, mających na celu proponowaniu użytkownikom podcastów i audiobooków

Newsletter Dane i Analizy, 2024-03-18

Mon, 18 Mar 2024 15:00:00 +0000

Dzisiaj numer nieco bardziej rozrywkowy - jest o filmach, jest o muzyce, jest o rozwoju siebie.

O tej muzyce - znajdziecie tekst prezentujący w interesujący sposób jak zestawienie 500 najlepszych albumów muzycznych zależy do tego kto ocenia i kiedy to robi. A serwis, z którym ten tekst się pojawia pozwala też na “osądzenie” Twojego gustu muzycznego. I osądzanie to tutaj bardzo odpowiednie słowo - nie ma lekko: poddasz się ocenie, będzie besztanie (“your spotify was classic-rock-radio-station-80s-dweeb-nineties-dorm-room bad” / “jazz-everyones-heard-of bad”, “You’re trying to impress with some obscure tracks like Tiamat. Nobody’s fooled…”). To lepsze niż coroczne zestawienia przygotowywane przez Spotify albo suche tabelki z LastFM.

Newsletter Dane i Analizy, 2024-03-11

Mon, 11 Mar 2024 15:00:00 +0000

Chłodzenie procesora - jak robi to inżynier? Jeden pójdzie do sklepu czy serwisu i po prostu kupi “mocne” chłodzenie, a drugi - poświęci “nieco” czasu na napisanie kodu zbierającego dane z różnych czujników, zbuduje dashboard w Grafanie i na podstawie tego co jest na wykresach odpowiednio “pokręci śrubkami”. Mamy o tym tekst dzisiaj, znajdziesz go w Ciekawostkach.

W sekcji o bazach danych znajdziesz coś o DuckdB (znowu… pewien Maciej podejrzewa że mam jakiś procent od DuckDB… ale to serio świetne narzędzie!) czytającym dane z Open Street Map, przy okazji o samym formacie danych OSM. DuckDB za darmo, OSM za darmo, czego chcieć więcej? Zerkaj w sekcję Bazy danych.

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2024-02-26

Mon, 26 Feb 2024 15:00:00 +0000

Skupiamy się w tym tygodniu na zagadnieniach związanych z budowaniem rozwiązań skonteneryzowanych. Mamy więc coś o Dockerze i pakowaniu do niego naszych aplikacji (napisanych w różnych językach, żeby było “dla każdego coś miłego”), coś (może nieco więcej niż “coś”) o Kubernetesie - bo to kolejny krok, a wydaje się to być nieco zakręcone. Do tego garść tricków i porad związanych z tymi zagadnieniami, chociażby o nieznanych (albo raczej: nie używanych) opcjach Gita. Ale to dla prawdziwych wyjadaczy.

Newsletter Dane i Analizy, 2024-02-19

Mon, 19 Feb 2024 15:00:00 +0000

Ubiegły tydzień to nowość w postaci Sora od OpenAI - generowanie wideo z promptów tekstowych. OpenAI sporo pisze o technikaliach na swoich stronach. Najbliższy tydzień-dwa ubiegnie pod znakiem Sory, a jak otworzą dostęp szerzej… to się dopiero zacznie!

Oczywiście Google nie pozostaje w tyle i prezentuje swojego bliźniaka: Gemini, z którego można też korzystać via API (gdyby było inaczej nie miałoby to sensu w dzisiejszych realiach) oraz starają się nie tracić kroku na polu text-to-video ze swoim Lumiere.

Newsletter Dane i Analizy, 2024-02-12

Mon, 12 Feb 2024 15:00:00 +0000

Dzisiaj o zarabianiu pieniędzy bez wysiłku. Każdy by tak chciał, prawda?
Otóż istnieje na to sposób. Wystarczy mieć dużo odsłon filmików na YouTube - każdy nastolatek to wie, prawda? A jutuber czy inny influencer to zawód przyszłości, ten najbardziej wymarzony… przez nastolatków.
Ale przecież nie każdy ma czas kręcić te śmieszne filmiki, wymyślać ich tematy… Z pomocą przychodzi automatyzacja, tak jak pokazano tutaj. A tutaj repozytorium z kodem w Pythonie który robi całą robotę.

Newsletter Dane i Analizy, 2024-02-05

Mon, 05 Feb 2024 15:00:00 +0000

W dzisiejszym wydaniu znajdziecie potężny tekst wprowadzający w świat programowania obiektowego w Pythonie. Wszystko co trzeba wiedzieć o klasach, metodach, konstruktorach i dziedziczeniu. A do tego jeszcze dorzucamy materiały uzupełniające: skupiające się na bardziej precyzyjnych aspektach klas i metod (oraz dekoratorów do tychże).
To dla praktyków programowania.

Dla osób z okolic zarządzania - coś o miernikach. Jak monitorować czy zespół wytwórczy pracuje na stabilnym poziomie i czy ten poziom jest wysoki? Teksty o definicjach i przykładach wykorzystania mierników. Jeśli zarządzasz zespołem i chciałbyś mierniki przełożyć na cele to może metoda OKR znajdzie zastosowanie? Dobrze zacząć od zestawienia OKR vs KPI o którym pisze Tomek Bienias.

Newsletter Dane i Analizy, 2024-01-29

Mon, 29 Jan 2024 15:00:00 +0000

Ostatnio we wstępie pisałem o tym, że do #devops wpadają wszystkie rzeczy związane z dokeryzacją, drobnymi programami i usprawnieniami używanymi w konsoli. Dzisiaj wprowadzam sekcję #DataEngineering. Powód jest dość prosty: najciekawsze są takie projekty, gdzie dane pobieramy, przetwarzamy, przesyłamy, gromadzimy, potem znowu przetwarzamy i pokazujemy użytkownikowi końcowemu. Prawie każdy taki projekt obecnie wykorzystuje AirFlow, Pythona, Kafkę, jakieś narzędzia BI, jakiś storage w postaci bazy danych albo na przykład Hadoopa. I do czego przypiąć taki tekst? Właśnie do “inżynierii danych”.

Newsletter Dane i Analizy, 2024-01-22

Mon, 22 Jan 2024 15:00:00 +0000

YOLO. Nie tylko “you only live once” ale - w kontekście ML/AI i computer vision - przede wszystkim modele do rozpoznawania obiektów na zdjęciach.
Doczekaliśmy się już kilku wersji algorytmu YOLO, każda kolejna jest szybsza, sprawniejsza, rozpoznająca więcej i lepiej. Na to właśnie idzie klikanie w światła drogowe albo autobusy w obrazkowych captcha ;-)
Więcej o kolejnych wersjach YOLO i ich architekturach dowiesz się z tekstu, w którym dodatkowo znajdziesz linki do tego jak trenować i używać tych modeli.

Newsletter Dane i Analizy, 2024-01-15

Mon, 15 Jan 2024 11:00:00 +0000

Idzie (właściwie już jest) karnawał, może drinka? Jakie drinki są aktualnie popularne? Ładna infografika nam to pokaże :). A jeśli chodzi o obrazki, a może raczej - pokazywanie danych - to na samym końcu tego wydania coś o dobieraniu wykresu do danych, które chcemy zaprezentować. Taki to kończący szkołę i rozpoczynający ferie numer mamy.

Bo sporo też stosunkowo “juniorskich” tekstów dla adeptów programowania w Pythonie. Ale dla seniorów - spora książka o analizie danych geograficznych. Czytajcie uważnie, szukajcie dokładnie.

Newsletter Dane i Analizy, 2024-01-08

Mon, 08 Jan 2024 15:00:00 +0000

Dzisiaj w ramach wstępu - pakiet specjalny, pakiet linków dodatkowych, bo każdy z początkujących data scientistów przechodzi przez podobne zagadnienia. Najpierw uczymy się wczytywać dane, potem je filtrować i przekształcać.

Często przekształcenia polegają na przejściu wiersz po wierszu w naszych danych. Jak już umiemy nieco programować to - dla przykładu pandasowy iterrows() wydaje się być dobrym rozwiązaniem. Przecież dla każdego wiersza w naszej tabeli powinniśmy wykonać jakąś operację. No, ale nie zawsze pętle mają sens i ten notebook pokazuje jak się ich pozbyć, chociaż akurat nie w pandasowych tabelkach. No, ale nie po to wymyślono w Pythonie listy, żeby z nich nie korzystać! Często są bardzo szybkie i naprawdę wygodne!

Newsletter Dane i Analizy, 2024-01-02

Tue, 02 Jan 2024 15:00:00 +0000

Nowy Rok to dramatyczny okres…
Dla siłowni i klubów fitness - bo kolejki, bo tłumy, bo góry pieniędzy od klientów.
Dla wystawców kart abonamentowych do tychże siłowni (typu multisport) - bo najniższe zyski w ciągu roku.
A dla większej części społeczeństwa (tej andrzejowej większej połowy Adamczychy) to czas postanowień noworocznych. I jeśli macie jakieś postanowienia, to być może tekst The Advanced Manual of Self-Improvement Wam się przyda w ich dotrzymaniu?
Medium.com twierdzi, że to 48 min read, więc wersja nieco krótsza tutaj. Tak, to Medium.com, więc 5 dolarów za miesiąc, majątek cały. Ale w tym roku jeszcze nie było że “eldorado w IT się skończyło”, więc się (zapewne) nie skończyło ;-)

Newsletter Dane i Analizy, 2023-12-18

Mon, 18 Dec 2023 15:00:00 +0000

Witam w najprawdopodobniej ostatnim numerze newslettera w tym roku. W przyszłym tygodniu mamy Boże Narodzenie, w kolejnym Nowy Rok - to raczej nie są momenty na przygotowywanie paczki artykułów o ML czy programowaniu ogólnie, raczej czas który lepiej poświęcić rodzinie, najbliższym albo najzwyczajniej odpoczynkowi od komputera.

Korzystając więc z okazji że “czytamy się” ostatni raz w tym roku chciałbym Wam życzyć tego co najlepsze, a przede wszystkim spokoju i odpoczynku. A już od stycznia - nowych projektów, nowej wiedzy, zdobywania kolejnych umiejętności.

Newsletter Dane i Analizy, 2023-12-11

Mon, 11 Dec 2023 15:00:00 +0000

Miniony tydzień to uruchomienie nowej wersji asysstenta AI od Google, czyli Gemini (w miejsce Barda). Sam model mówi o sobie, że “jestem zarówno Bardem, jak i Gemini. Bard to nazwa użytkownika, którą wykorzystuję do interakcji z użytkownikami, podczas gdy Gemini to nazwa platformy AI, na której jestem oparty”.
Przedstawienie projektu (przez twórców) mówi o lepszych wynikach od ChataGPT v4 w prawie każdym mierniku., ale niby ma to dostęp do najnowszej wiedzy, ale jednak taki sobie. Z literaturą nieco starszą radzi sobie… sami zobaczcie. Słowacki i “Wesele”? to mogłoby być ciekawe, ale wolę wersję Wyspiańskiego (a filmową od Wajdy stawiam tuż za wajdowską “Ziemią obiecaną”). Czyli też zmyśla.

Newsletter Dane i Analizy, 2023-12-04

Mon, 04 Dec 2023 15:00:00 +0000

W poprzednim tygodniu przeczytać mogliście króciutkie podsumowanie Data Science Summit, a tam stwierdzenie, że dużo się mówi o Streamlit jako sposobie na PoC-owanie prezentacji danych. Świat obecnie idzie również w stronę streamingu i obsługi tak przesyłanych danych - głównie Flinkiem. I na Flinku skupia się dzisiejszy numer naszego newslettera.

Ciekawy jest też niespełna półgodzinne nagranie prezentujące możliwości DuckDB w kontekście danych przestrzennych pozyskanych z Open Street Maps. Chwilę bawiłem się DuckDB ale w połączeniu ze sporymi zbiorami geo (zapisanymi w ShapeFile’ach) i śmiga to wspaniale. Jedyny minus - to baza plikowa, więc średnio do użycia w przypadku dostępu przez wiele aplikacji na raz. Ale jako element w procesie data engineeringu może się bardzo przydać.

Newsletter Dane i Analizy, 2023-11-27

Mon, 27 Nov 2023 15:00:00 +0000

W minionym tygodniu miałem okazję być uczestnikiem konferencji Data Science Summit. Moje obserwacje są dość proste (ale przyznam, że interesowały mnie ścieżki bliższe data engineering niż data science czy wręcz precyzyjnie LLM):
budowanie modeli przestało być zagadnieniem zagadnieniem jest ich wdrażanie, utrzymywanie, sprawianie by szybko działały i były łatwe do podmiany na swoje lepsze wersje a więc znaczenie ma MLOps hasło data mesh straciło impakt - nadal mówi się o tym, że dane to powinien być produkt, że ważny jest “demokratyczny dostęp do danych”, ale nie ma takiego hype jak rok temu dużo mówi się o Streamlit jako narzędziu do szybkiego budowania dedykowanych rozwiązań do prezentacji danych (i interakcji z nimi), właściwie obok dedykowanych narzędzi BI (PowerBI, MS Fabric, Tableau) Streamlit był jedynym rozwiązaniem open source

Newsletter Dane i Analizy, 2023-11-19

Sun, 19 Nov 2023 15:00:00 +0000

Ci, którzy śledzą newsletter i fanpage’a Dane i Analizy, profil na LinkedIn (oraz moje prywatne profile, np. na LI) wiedzą zapewne, że w ramach kampanii PZU silni w IT przygotowaliśmy serię podcastów o sztucznej inteligencji.

W pierwszym odcinku rozmawiamy raczej filozoficznie, o tym czym jest AI i czy potrzebujemy dla niej jakichś regulacji (słuchaj na YouTube lub Spotify).
W drugim skupiamy się na zagadnieniach HRowych - kim jest data scientist, co robi i - to chyba najważniejsze - jakich kompetencji się oczekuje od takiej osoby? (Spotify / YouTube).
W tym tygodniu powinny pojawić się dwa kolejne odcinki, w kolejnym jeszcze dwa. Poruszamy w nich zagadnienia związane z big data i dostarczaniem danych do nauki AI, rozmawiamy o computer vision, modelach językowych, a na koniec bezpieczeństwie.

Newsletter Dane i Analizy, 2023-11-13

Mon, 13 Nov 2023 15:00:00 +0000

Za chwilę w świat pójdą pierwsze odcinki nowego podcastu przygotowanego przez zespół Big Data & AI PZU: #SilniwIT o technologiach. To seria, w ramach której rozmawiam (wspólnie z Tomkiem z zespołu Fabryki Sztucznej Inteligencji) z gośćmi o szeroko pojętej sztucznej inteligencji. Wypatrujcie postów na FB, LinkedIn i pewnie w przyszłym newsletterze - mam nadzieję, że jak na amatorów - daliśmy radę. Staraliśmy się ucinać korpo-gadkę, powinno być interesująco ;-)

Wcześniej możecie posłuchać podsumowania z pierwszej konferencji OpenAI (firmy, która stworzyła ChatGPT) dla developerów w podcaście Technofobia Artura Kurasińskiego.

Newsletter Dane i Analizy, 2023-11-06

Mon, 06 Nov 2023 15:00:00 +0000

Odcinek przeprowadzkowy, gdyż miniony tydzień (a nawet dwa) to jedno wielkie urwanie głowy. Cały tydzień minął mi pod hasłem “przeprowadzka”, a to jak pewnie możecie się domyślać czas spędzony na pakowaniu, na rozpakowywaniu i (co najgorsze dla pracownika umysłowego ;-) noszeniu paczek. Szczerze mówiąc jakieś 20, może 30 procent rzeczy trafiło do utylizacji. A niby człowiek sprząta i pozbywa się na bieżąco.

Ale nie poddajemy się i życie trwa, newsletter wychodzi, a żona dała radę też nagrać odcinek swojego programu o książkach (już z pustego mieszkania). Jeśli interesuje Was literatura to serdecznie polecam Znalezione przeczytane.

Newsletter Dane i Analizy, 2023-10-30

Mon, 30 Oct 2023 15:00:00 +0000

Dzisiaj trochę o mapkach, trochę o diagramach (takie diagram as a code tylko dlaczego BitBucket nie potrafi wyświetlić Mermaid (ticket w Atlassianie jest “solved”! Ale zobaczcie jak ;-), a GitHub robi to z palcem… to znaczy bez problemu?), a do tego sporo materiału video. Chyba też więcej niż zwykle treści po polsku (polecamy tekst Tomka Zielińskiego o transportowaniu danych - może się przydać na spotkania rekrutacyjne, ja lubię zadawać analogiczne pytania).

Newsletter Dane i Analizy, 2023-10-23

Mon, 23 Oct 2023 15:00:00 +0000

Lubię DuckDB i lubię AirFlow. Kafka jest naturalnym sposobem na przesyłanie danych między systemami czy też mikroserwisami. Stąd też dzisiaj kilka tekstów zahaczających o te wszystkie technologie.

Dodatkowo trochę z obszaru zarządzania - zarówno opis typowego projektu data science jak i metryka opisująca stabilność kolejki prac.

No i trochę o mapkach, bo mapki są fajne.

#ai_ml

Fully Explained Softmax Regression for Multi-Class Label with Python
Klasyfikacja do wielu klas - o co tutaj chodzi? Przewodnik dla początkujących

Newsletter Dane i Analizy, 2023-10-16

Mon, 16 Oct 2023 15:00:00 +0000

Dzisiaj dwa raporty o AI. Pierwszy to bardziej zbiór krótkich esejów… gdzie prawie każdy prowadzi do rozbudowanego notebooka z szerszym komentarzem, wykresami i - jak to w Kaggle bywa - kodem. W Kaggle, bo to AI Report 2023 od Kaggle właśnie.

Drugi raport to State of AI Report 2023 od Air Street Capital. To opublikowany już szósty raz roczny raport o stanie sztucznej inteligencji. Ponad 160 stron, obejmujących:

Badania: Przełomy technologiczne i ich możliwości Przemysł: Obszary komercyjnego zastosowania sztucznej inteligencji i jej wpływ na biznes Polityka: regulacje dotyczące sztucznej inteligencji, jej implikacje gospodarcze i ewoluująca geopolityka sztucznej inteligencji Bezpieczeństwo: identyfikacja i łagodzenie katastrofalnych zagrożeń, jakie mogą dla nas stanowić przyszłe wysoce wydajne systemy sztucznej inteligencji Prognozy: to, w co wierzymy, że się wydarzy, oraz przegląd wyników, aby zachować uczciwość

Newsletter Dane i Analizy, 2023-10-09

Mon, 09 Oct 2023 15:00:00 +0000

Dzisiaj w likach znajdziecie ponad pięciogodzinny kurs VSCode (ale nie trzeba oglądać całego - wystarczy z niego wyjąć około 30-45 minut żeby mieć tak zwany komplecik w obrębie swoich zainteresowań). Dodatkowo polecam kurs użycia Postmana - chyba najlepszego narzędzia do współpracy z już gotowym API. Też nie trzeba oglądać całości (tym bardziej że całość to ponad 4 godziny), ale może coś ciekawego znajdziecie? Kurs na YouTube a kanał freeCodeCamp gorąco polecam! Do newstlettara trafia to co nowe, a masa tam dobrego sprzed lat.

Newsletter Dane i Analizy, 2023-10-02

Mon, 02 Oct 2023 15:00:00 +0000

Tytuł dzisiejszy, o siatce tajnych powiązań wśród noblistów, nieco prowokacyjny - zobaczmy czy ma wpływ na open rate newslettera ;-). A o samej siatce powiązań przeczytasz niżej. Siatka, w której Rodzina Curie odgrywa znaczącą rolę (dobrze brzmi, jak Rodzina Corleone, co nie? ;-)

W sekcji poświęconej językowi R znajdziecie analizę przygotowaną w ramach #TidyTuesday, czyli cotygodniowych ćwiczeń dla analityków danych. Polecam tę serię jeśli chcesz poćwiczyć swoje umiejętności, a brakuj Ci pomysłów (ileż można w churn klientów, ceny domów ze zbioru Boston Housing albo rozpoznawanie cyferek z MNIST?). Zadania przygotowane są z myślą o R, ale - zadanie to zadanie, prawda? Narzędzia do rozwiązania dowolne.

Newsletter Dane i Analizy, 2023-09-25

Mon, 25 Sep 2023 15:00:00 +0000

W tym tygodniu stawiam na potoki przetwarzające dane i pokazujące je finalnie w jakimś dashboardzie. To najczęstsza robota w korporacjach, szczególnie w zespołach “raportowych”. Dlatego gorąco polecam dzisiejszy dział “Analiza danych - projekty”.

Przy przetwarzaniu danych częstym krokiem jest analiza tego co przychodzi. Można użyć narzędzi BI, można ręcznie rzeźbić kod, a można skorzystać z Data Wranglera - dodatku do VSCode, w którym poszczególne kroki pochodzą z takiego niby wizarda, a w efekcie dostajemy gotowy kod. No trzeba to zobaczyć (10 minut filmu z dość specyficznym akcentem, ale nie takim jak myślicie), a potem można zainstalować.

Newsletter Dane i Analizy, 2023-09-18

Mon, 18 Sep 2023 15:00:00 +0000

Dziś polecam gorąco dwa teksty, dość obszerne.

Pierwszy to świetny i darmowy kurs spaCy - chyba najlepszej obecnie biblioteki służącej do przetwarzania tekstu w Pythonie (z bogatą biblioteką słowników w różnych językach)

Drugi to cykl (link prowadzi do jego środka) opowiadający o budowaniu aplikacji do zamawiania usług: zaczyna się od FastAPI przyjmującego zamówienia, Kafka jako potok na dane, Apache Pinot jako hurtownia danych i aplikacja-dashboard napisany za pomocą Dash.

A żeby nie było za łatwo - musisz samodzielnie przeczytać całą poniższą listę, aby te dwa teksty odkryć. Dzięki temu może znajdziesz jeszcze coś ciekawego?

Newsletter Dane i Analizy, 2023-09-11

Mon, 11 Sep 2023 15:00:00 +0000

Dzisiaj sporo materiałów wideo. Od prostych przewodników po kilkanaście minut (z czego “mięso” zajmuje do 5-10, a i to najwyżej) do dużego kursu na półtorej godziny. Trochę też o budowaniu czy może raczej ulepszaniu swojego środowiska pracy. Czy to w Linuxie czy to w VSCode. Ciekawostka, szok i niedowierzanie: oba te “zakresy tematyczne” (poprawa wygody pracy i wideo) mają części wspólne!

Dla tych którzy wierzą w chemtrails też coś mamy ;-) a z całego tekstu, który znajdziecie niżej najlepszy i tak zawsze jest gotowy notebook z kodem (znowu Torch a nie TensorFlow - coś jest na rzeczy, prawda?)

Newsletter Dane i Analizy, 2023-09-04

Mon, 04 Sep 2023 15:00:00 +0000

Wiecie co jest największym problemem dla analityka danych w dużej organizacji? Jest ich kilka, ale podzielić można je na kilka obszarów:
znajdowanie danych zrozumienie danych uzyskanie dostępu do danych

Przeczytacie o tym w 5 Common Data Governance Pain Points for Analysts & Data Scientists

I jeszcze na to dochodzi podejście do organizacji zespołów zajmującymi się danymi. Centralnie? A może każdy osobno? O tym pisze SeattleDataGuy w Centralized vs Decentralized vs Federated Data Teams.

Newsletter Dane i Analizy, 2023-08-28

Mon, 28 Aug 2023 15:00:00 +0000

Zgodnie z zapowiedzią - w miniony czwartek opowiadałem trochę o AI i nie tylko podczas wywiadu zorganizowanego przez Szkolną Giełdę Pracy. Transmisja live została nagrana i można obejrzeć nagranie (gadam dużo i szybko, jakieś 45 minut).

Świat już nigdy nie będzie taki sam. Excel z Pythonem - to sensacja minionego tygodnia. To wideo pokazuje jak to działa. Kto będzie przepisywał to wszystko co powstało w VBA?

#ai_ml

DeepFake Face-Swap in Video with Pytorch and OpenCV
Jak działa uproszczona wersja narzędzia DeepFakeLab do zamiany twarzy w wideo? Z fragmentami kodu

Newsletter Dane i Analizy, 2023-08-21

Mon, 21 Aug 2023 15:00:00 +0000

Kiedyś analizowałem sieć tramwajową Warszawy wprowadzając przy okazji pojęcia związane z grafami (takimi matematycznymi tworami) - dzisiaj znajdziecie tekst o podobnej analizie, ale sieci dróg (na przykładzie Krakowa i Polski, bo autor wywodzi się z AGH).

**W tym tygodniu opowiadam o AI i nie tylko.**Według zapowiedzi, w ramach wydarzenia Kto stoi za sztuczną inteligencją? na Facebooku opowiem trochę o tym, czy sztuczna inteligencja zastąpi kiedyś człowieka. Wydarzenie przygotowane jest przez Szkolną Giełdę Pracy, transmisja live odbędzie się w czwartek 24 sierpnia o 18:00.

Newsletter Dane i Analizy, 2023-08-14

Tue, 08 Aug 2023 00:00:00 +0000

Na początek tutorial (YT, 30 minut, po polsku), tym razem z LLMami w roli głównej - o tym jak zbudować chatbota odpowiadającego na pytania z własnej bazy wiedzy. Bardzo fajny materiał, takich trochę brakuje - chłopaki opowiadają o tych najbardziej kluczowych kawałkach kodu a nie o podstawach. Rozumiesz o czym jest mowa, nie ma straty czasu na opowiadanie co do jest model albo funkcja w Pythonie ;-)

Dzisiaj też pelny proces MLOps - wprowadzenie zawierające wszystkie elementy. Super tekst na początek dla każdego DevOpsa który chce się zająć tematami ML oraz każdego data scientisty, który chce umieć nowocześnie wdrażać swoje modele.

Newsletter Dane i Analizy, 2023-08-07

Mon, 07 Aug 2023 15:00:00 +0000

Jakie bazy danych są popularne? Które są używane, a których programiści chcieliby użyć w swoim kolejnym projekcie? Między innymi takie pytania zadano w ankiecie State of Databases 2023, której podsumowanie właśnie opublikowano. Takie ankiety są obrazem rynku - warto śledzić trendy, bo można z nich wywnioskować jakich narzędzi używają inni, w jakie warto inwestować (aby znaleźć pracowników albo pracę). Czy wyniki takich ankiet odpowiadają na pytanie Która technologia jest najlepsza? - zdecydujcie sami.

Newsletter Dane i Analizy, 2023-07-31

Mon, 31 Jul 2023 15:00:00 +0000

Lubicie jazdę na rowerze? Sama jazda to przyjemność, ale równie ciekawe jest obserwowanie wyścigu zawodowców - na przykład Tour de France. Znakomity w swoich tekstach o danych The New York Times przygotował porównanie jak szybko jedzie grupa amatorów i czołówka kolarzy z Tour de France. Dane zebrano ze Stravy (w tekście znajdziecie linki do tras, a co za tym idzie do profili np. Tadeja Pogacara). Mając bardzo dużo przejazdów dziennikarze przygotowali interesujące wizualizacje i porównania.

Newsletter Dane i Analizy, 2023-07-24

Mon, 24 Jul 2023 15:00:00 +0000

Pisanie newsletterów (oraz postów na bloga) jest proste - robi się to mniej więcej tak:

Obrazek ten pochodzi z wpisu Robina Moffatta (polecam jeśli myślisz o pisaniu bloga lub pojedynczych tekstów o programowaniu, albo po prostu dokumentacji). Proces wygląda tak samo - czy są wakacje czy ich nie ma.

A że jestem w trakcie urlopu to pozwólcie, że dzisiaj na tym zakończymy wstęp.

#ai_ml

Using a Keras Tuner for Hyperparameter Tuning of a TensorFlow Model
Hyperband Tuner użyty do doboru najlepszych parametrów dla przygotowanego modelu opartego i sieć neuronową

Newsletter Dane i Analizy, 2023-07-17

Mon, 17 Jul 2023 15:00:00 +0000

Gorąco polecam tekst Data Engineering Project: IMDB Movie Analysis - przykład świetnego projektu pozyskiwania i przetwarzania danych.

A kiedy dane są już przetworzone - można je pokazać. Wspomniany tekst analizujący dane z IMDB też zawiera ten element, ale dzisiejsze wydanie pokazuje więcej takich przykładów czy też tutoriali. Mamy coś o rysowaniu wykresów (super jest Plotly and Pandas: Combining Forces for Effective Data Visualization) ale też o kolorach i ich doborze do wykresów.

#ai_ml

The Complete Guide to Keras Loss Functions
Każdy model uczy się tak, aby dopasować się do metryki, która weryfikuje czy działa on dobrze czy źle. Trzeba więc wiedzieć jak te metryki działają, aby osiągnąć to, czego chcemy. Tutaj znajdziesz informacje o metrykach dostępnych w TF

Newsletter Dane i Analizy, 2023-07-10

Mon, 10 Jul 2023 15:00:00 +0000

Myślisz, że analitycy danych już nie będą potrzebni? Dlaczego? Bo pojawił się Code Interpreter, a jeśli nie wiesz o co chodzi to przeczytaj koniecznie o nim (i o tym jak go używać!) tutaj (“What AI can do with a toolbox… Getting started with Code Interpreter”) oraz tutaj (“It is starting to get strange”). Code Interpreter jest dostępny w planie “ChatGPT Plus”.

I ten temat, te dwa teksty to chyba najciekawszy materiał w tym tygodniu. Gdyby było mało - poniżej kilka kolejnych.

Newsletter Dane i Analizy, 2023-07-03

Mon, 03 Jul 2023 15:00:00 +0000

Wzorce projektowe ułatwiają pracę. Kod jest bardziej czytelny, łatwiej go rozbudować i nie trzeba przebudowywać całej aplikacji. Tych wzorców jest bardzo dużo, możesz zacząć od “top 10” opisanych w artykule “10 Underrated Software Patterns Every ML Engineer Should Know”, który patrzy na wzorce projektowe przez pryzmat projektów machine learning.

Jeśli zaś potrzebujesz przykładu kodu to dobre wprowadzenie daje tekst “Structural Design Patterns: A Comprehensive Guide for Developers”

Największą jednak i darmową bazą, obejmującą kilka języków (angielski, niemiecki, polski też… a nie! - o języki programowania chodzi: C#, C++, Go, Java, PHP, Python, Ruby, Rust, Swift oraz TypeScript) jest strona Refactoring.Guru.

Newsletter Dane i Analizy, 2023-06-26

Mon, 26 Jun 2023 15:00:00 +0000

Rozpoczynamy pierwszy tydzień wakacji, ale to wcale nie oznacza, że newsletter ma urlop. Wręcz przeciwnie.

W dzisiejszym wydaniu kilka tekstów opisujących dobre praktyki i całe cykle tutorialowe: CRUD-woe API dla MongoDB czy też asynchroniczne mikroserwisy spięte Rabbitem. To dla tych średniozaawansowanych programistów (i tych, którzy chcą swoją wiedzę przenieść z poziomu juniorskiego na wyższy). Dla tych bardziej juniorów - korepetycje z Window Functions w SQLu i “rozpakowywujących” gwiazdek w Pythonie (mimo że to nie Gwiazdka, he he, zacny suchar).

Newsletter Dane i Analizy, 2023-06-19

Mon, 19 Jun 2023 15:00:00 +0000

W dzisiejszym numerze znajdziecie link do niezbyt długiego filmu pokazującego jak korzystać z Midjourney - czyli narzędzia do generowania hiperrealistycznych grafik. Robi wrażenie (Midjourney, nie sam filmik), pochłonęło mnie na kilka godzin wczoraj… tylu nieistniejących dziewczyn dawno nie widziałem ;-) a zabawa w zmiany stylu przednia!

Oczywiście ktoś takie Midjourney musiał przygotować wcześniej i nauczyć tą sztuczną inteligencję tych wszystkich sztuczek. Zapewne te osoby musiały zacząć od podstaw, a te znajdziecie w kursie od IBM, opublikowanym na YouTube.

Newsletter Dane i Analizy, 2023-06-12

Mon, 12 Jun 2023 15:00:00 +0000

Piękna, słoneczna (przynajmniej ma Mazurach i w Warszawie) pogoda w “długi weekend” pozwoliła (mam nadzięję) na trochę wytchnienia od komputerów, programowania, budowania modeli i tworzenia sztucznych inteligencji. Po odpoczynku można do tego wrócić :)

A właśnie - budowanie większości modeli ML/AI sprowadza się do kilku podstawowych i powtarzalnych etapów:
gromadzenie danych przegląd danych i ich wzajemnych zależności czyszczenie i uzupełnianie braków dobór hiperparametrów do modelu trenowanie modelu ocena jego jakości użycie modelu na nowych danych

Newsletter Dane i Analizy, 2023-06-05

Mon, 05 Jun 2023 15:00:00 +0000

Czy ChatGPT może nauczyć Cię data science? Czy czas mentorów się kończy?

Raczej nie “włoży” do Twojej głowy wiedzy, ale może pokazać kierunki, w których warto podążać w poszukiwaniu kolejnych elementów wiedzy. Może też odpowiedzieć na pytania, podać gotowe rozwiązania (chociażby w postaci fragmentów kodu). O tym mówi ten tekst.

Ale czy to, że mamy takie narzędzia dostępne na wyciągnięcie ręki sprawi, że staniemy się mądrzejsi? Dzisiaj dział ChatGPT dość obfity - chyba uczymy się powoli wykorzystywać to narzędzie w różnych zastosowaniach, po prostu w swojej pracy.

Newsletter Dane i Analizy, 2023-05-29

Mon, 29 May 2023 15:00:00 +0000

Dość przekrojowo dzisiaj.

Najciekasze według mnie tekstu to ten o sensownym nadawaniu gwiazdek produktom (ile razy filtrowaliście produkty w sklepie internetowym przed kupnem po najlepszej ocenie i okazywało się, że z “piątką” jest tylko jeden?), ten o SoftMax (nie przeraź się równaniami na początku, chociaż może podstawy matematyczne są akutat dla Ciebie cenne?).

Bardzo dajny jest też dział Python - od rzeczy prostych typu wiele wykresów na jednym obrazku do modelu (no…) informującego o tym że akcje należy kupić albo sprzedać.

Newsletter Dane i Analizy, 2023-05-22

Mon, 22 May 2023 15:00:00 +0000

Tak się zdarzyło, że dzisiaj większa część tekstów dotyczy zagadnień związanych z Pythonem. Nic dziwnego, bo to główny język z którym mam do czynienia (jeśli coś w ogóle piszę albo przeglądam czyjś kod) i chyba też najbardziej popularny język wśród Czytelników. Ale na przykładzie Pythona dość łatwo pokazać ideę różnych rozwiązań - dzisiaj znajdziecie przykład oparty o FastAPI (pizzeria).

Z innych tekstów gorąco polecam rozwiązania bliższe przechowywaniu danych - jak trzymać “lajki” w bazie danych? Jak Booking.com radzi sobie z szybkim wyszukiwaniem obiektów na mapach? Co daje partycjonowanie danych (na przykładzie ich odczytywania Sparkiem)?

Newsletter Dane i Analizy, 2023-05-15

Mon, 15 May 2023 15:00:00 +0000

Wielokrotnie w newsletterze znalazły się teksty mówiące o wykorzystaniu Snowflake, BigQuery czy Databricks. Dzisiaj przyszedł jednak czas na szybkie wprowadzenie do tych narzędzi - jak zacząć z nich korzystać? Jak stworzyć konto, jak załadować pierwsze dane?

A wiecie, że narzędzia Microsoftu - na przykład Excel (poprzez VBA) czy też PowerBI potrafią współpracować z zewnętrznymi skryptami napisanymi w Pythonie albo R? Jeśli nie, to poniżej znajdziecie przykłady takiej współpracy. Swoją drogą - pewnie już ze dwa lata mija od plotek o wprowadzeniu Pythona do Excela… ale coś nie widać zmiany.

Newsletter Dane i Analizy, 2023-05-08

Mon, 08 May 2023 15:00:00 +0000

Majówka, majówka i po majówce. Wypoczęci? Ja zwiedziłem z rodziną Trójmiasto, jestem zadowolony i o to właściwie w wypoczynku chodzi. Tylko dlaczego tak wieje nad morzem?

W dzisiejszym odcinku zaś szczególnie polecam książkę Françoisa Fleureta The Little Book of Deep Learning - sporo teorii o tym jak działa głębokie uczenie, różne typy warstw i w ogóle na czym ta cała sztuczna inteligencja polega. Książka wygląda na przyciętą formatem do ekranu telefonu - przyznam, że to interesujący pomysł (ale już go znamy z chociażby [reklama] Kart Data Science).

Newsletter Dane i Analizy, 2023-05-01

Mon, 01 May 2023 15:00:00 +0000

Jak mówi Google sesja główna matury 2023 rozpocznie się już 4 maja - zatem już w tym tygodniu.

Nie wiem ilu czytelników jest przed maturą (z przeprowadzonych dawno temu ankiet wynika, że bardziej jesteście na studiach lub zaraz je kończycie), ale jeśli ktoś zdaje w tym roku to życzę wszystkiego najlepszego.

Jeśli zaś jesteście rzeczywiście pod koniec studiów to zapewne za węgłem czai się poszukiwanie pracy. Z tego okazji dzisiaj dwa teksty, które w obrębie tematyki tego newslettera krążą, a mogą pomóc przy szukaniu pracy. Może bardziej na rozmowie rekrutacyjnej. Pierwszy z nich to “Machine Learning System Design Interview Cheat Sheet” zawierający dobrą listę pytań dla projektujących systemy ML (to jest cykl, konkretnie druga część, a inne znajdziecie pod kolejnymi linkami: pierwsza, trzecia, czwarta), zaś “30 Common CI/CD Interview Questions (with Answers)” skierowane jest bardziej do tych, którzy wolą wdrażać i utrzymywać oprogramowanie.

Newsletter Dane i Analizy, 2023-04-24

Mon, 24 Apr 2023 15:00:00 +0000

W dzisiejszym świecie IT standardem jest (a przynajmniej wydaje się, że powinno być - bo to sensowne) podejście DevOps. W świecie IT związanym z danym nic się nie zmienia w tym względzie… no… może dochodzi jeszcze MLOps. Godną zatem uwagi może okazać się pozycja DevOps for Data Science, która jest książką dostępną online.

W dzisiejszym numerze nieco mniej zawartości, mniej tekstów zachęcających do sprawdzenia w praktyce takich czy innych rozwiązań albo narzędzi - nie obciążajcie głowy przed majówką ;-) Majówka to - jak przystało, zgodnie z tradycją - czas na grilla. Albo mały remont.

Newsletter Dane i Analizy, 2023-04-17

Mon, 10 Apr 2023 15:00:00 +0000

Mój stary to fanatyk sztucznej inteligencji.. Kto zna to zna, Michał przygotował (z użyciem AI) przeróbkę znanej copy-pasty Malcolma XD.
Ponieważ ChatGPT tak mocno rządzi w mediach ostatnio, dzisiaj specjalna sekcja na ten temat.

W tej dedykowanej sekcji przedstawiam więc kilka inspirujących tekstów, które pokazują drogę od tego w czym i jak ChatGPT może pomóc, do konkretnych rozwiązań zastępujących na przykład StackOverflow, aby na koniec pokazać jak wykorzystać API przygotowane przez OpenAI z poziomu kodu.

Newsletter Dane i Analizy, 2023-03-27

Mon, 27 Mar 2023 15:00:00 +0000

Być może przeczytaliście wszystko co było do przeczytania z poprzedniego wydania newslettera, a może coś jeszcze Wam zostało? Dlatego dzisiaj nieco mniej (właściwie - tyle co zwykle) nowości, ale nie oznacza to wcale że jakoś gorzej.

Sporo materiałów dotyczy Sparka i różnych z nim kombinacji - do nauki i szukania kierunków poszerzania wiedzy znakomite punkty wyjścia. Można też nauczyć się czegoś joinach w SQL.

Z nieco bardziej zaawansowanych tekstów polecam ten o Apache Hudi w Uberze oraz o tym jak właściwie działa ChatGPT. A skoro już przy nim jesteśmy - wiele w minionym czasie pojawia się tekstów o tym jak to ChatGPT zabierze pracę różnym ludziom, w tym programistom. Czy zabierze? Przekonamy się. Ale już teraz przeczytajcie jak może być pomocny przy tworzeniu kodu (na przykładzie aplikacji w Streamlit).

Newsletter Dane i Analizy, 2023-03-20

Mon, 20 Mar 2023 15:00:00 +0000

Wiecie kto generuje najwięcej ruchu w internecie? Kiedyś to było porno i torrenty (albo inne sposoby wymiany plików peer-to-peer). Teraz układ wygląda jak na poniższym obrazku, przynajmniej według danych opublikowanych przez serwis Statista.

Dzisiaj bardzo dużo treści - oraz eksperyment - polskie tytuły (ale przeważnie angielskie teksty). Wśród tych tekstów sporo o Apache Spark i konkretnych wykorzystaniach albo rozwiązaniach konkretnych problemów.
Znajdziecie też kilka fajnych tekstów o różnego typu problemach rozwiązywanych przez analizę czy modele danych (rekomendacje w Netflixie, OHE i Pandas), gorąco polecam tekst o Apache Arrow.

Newsletter Dane i Analizy, 2023-03-13

Mon, 13 Mar 2023 15:00:00 +0000

Wielokrotnie na łamach niniejszego newslettera poruszane były tematy związane z Apache Kafka. A to podejście architektoniczne z grubsza mówiące dlaczego Kafka jest fajna i przydatna, a to podejście developerskie - o tym jak wysyłać i konsumować wiadomości z Kafki. Często też trafiają się bardziej zaawansowane przykłady - traktujące Kafkę jako bazę danych (z ktable czy ksql), czasem uzupełnione o Spark Streaming czy inne dodatkowe narzędzia typu Trino.

Ale najczęściej chyba Kafka wykorzystywana jest do przesyłania komunikatów w podejściu publish & subscribe. Są jednak przecież inne rozwiązania kolejkowe - Rabbit, czy na przykład MQTT popularne w rozwiązaniach Internet of Things. Przeczytajcie o podobieństwach i różnicach Kafki z MQTT (tekst Kafka vs Rabbit też oczywiście jest).

Newsletter Dane i Analizy, 2023-03-06

Mon, 06 Mar 2023 15:00:00 +0000

Prosty zestaw danych - tylko 6 liczb, po dwie dla 6 kategorii, każda z kategorii dodatkowo podzielona na 2 lata. Na ile sposobów można takie dane pokazać? Kilka, prawda? Bo ileż można wymyślać? I faktycznie - czasem jest nawymyślane nieco do przesady. Ale ta strona pokazuje aż 100 (słownie: sto!) przykładów wizualizacji tych 6 liczb. Fascynujące, inspirujące i… zdumiewające?

Dzisiaj też sporo w sekcji o analizie danych. Dwa ciekawe pakiety (Great Expectations oraz NannyML) plus wręcz zbiór ułatwiaczy EDA. Dodatkowo bardzo fajny projekt rozpoznawania szachów (i możliwych ruchów) oraz wieloręki bandyta - sposób na optymalizację testów typu A/B przy ograniczonym budżecie.

Newsletter Dane i Analizy, 2023-02-27

Mon, 27 Feb 2023 15:00:00 +0000

W dzisiejszym wydaniu najwięcej miejsca poświęcam wizualizacji danych i okolicach.

Kalibracja obrazu jest okolicą (bardzo odległą - w sumie oba tematy łączy tylko to, że mamy do czynienia z obrazem), jest też więc coś o tym. Kalibracja jest potrzebna przy problemach natury computer vision, a takowy - w postaci maskowania obiektów na obrazie - też dzisiaj poruszamy.

W poprzednim tygodniu dużym powodzeniem cieszył się tekst o MLOps (jeśli boisz się, że umknęło - zerknij do archiwum), więc dzisiaj kontynuacja, niejako na fali z poprzedniego tygodnia.

Newsletter Dane i Analizy, 2023-02-20

Mon, 20 Feb 2023 15:00:00 +0000

Jak wyglądać będzie świat kiedy GPT-3 będzie pisać teksty? Mniej więcej tak jak wygląda Medium.com. Clickbaitowe tytuły, mało merytorycznej treści. Jeśli brać pod uwagę teksty mówiące ogólnie rzecz biorąc o IT to dodatkowo długie wprowadzenia (zawsze mniej więcej o tym samym: czym jest Kafka, czym jest AirFlow, czym jest Docker), potem dwa akapity o banalnym do rozwiązania problemie i to wszystko.

Może to przeziębienie trwające już za długo, może kryzys wieku średniego ;-) albo za dużo zajęć i rzeczy do zrobienia tu i teraz, ale szczerze mówiąc jestem zmęczony, głównie internetem - wszędzie to samo, wszystko miałkie, wszystko wtórne. Dlatego, żeby tego wszystkiego Wam oszczędzić do dzisiejszego newslettera wstępnie wybrałem około 50 artykułów. Ile przeszło selekcję? Widzicie poniżej. Ile z nich jest godnych uwagi i na prawdę coś ciekawego wnosi? To musicie ocenić sami.

Newsletter Dane i Analizy, 2023-02-13

Mon, 13 Feb 2023 15:00:00 +0000

Tak się zdarzyło, że w dzisiejszym newsletterze wiodącą rolę mają tematy związane z wdrożeniami i utrzymaniem rozwiązań przetwarzających dane. Mamy więc tekst o kubefow, budowaniu struktur bazodanowych albo integracji kilku technologii (i jak zrobić to w domu). Dla inżynierów zajmujących się takimi zagadnieniami konsola CLI nie jest pewnie obca, więc i dla nich coś - mam nadzieję - interesującego się znajdzie.

Bardzo ciekawy jest tekst o podejściu do autoryzacji z punktu widzenia UX. Ostatnio miałem okazję szukać i rezerwować lokum na weekend w serwisie Airbnb. Nie pamiętałem hasła, a po kilku próbach serwis po prostu przysłał mi maila z linkiem dzięki któremu od razu byłem zalogowany. Czy to bezpieczne czy nie - nie określajmy. Ale jakże wygodne!

Newsletter Dane i Analizy, 2023-02-06

Mon, 06 Feb 2023 15:00:00 +0000

Dzisiaj nieco zagadnień teoretycznych. Dobór odpowiedniego rozkładu do istniejących danych, metody tropienia ile tak na prawdę mamy “klastrów” (grup) w danych.

Sporo też o GPT-3, a raczej jego wykorzystaniu w różny sposób (od pisania książek do pisania… rozszerzeń do Chrome). Niespodziewanie dzisiaj rozrósł się dział dedykowany Apache Kafka.

Na koniec coś o wizualizacji, na przykład szpilki pokazujące gdzie mieszkają ludzie.

#AI_ML

Building a Multiclass Classification Model in PyTorch
PyTorch zdobywa rynek AI spychając w cień TensorFlow. Jeśli więc zamierzasz się przesiadać - ten tutorial o prostej klasyfikacji może się przydać

Newsletter Dane i Analizy, 2023-01-30

Mon, 30 Jan 2023 15:00:00 +0000

Dzisiaj na początek trochę o orkiestracji za pomocą Apache Airflow. Zobaczymy co potrafi to narzędzie w zakresie sterowania pobieraniem danych i jak sprawuje się na produkcji.

A jak już mamy pobrane dane to możemy z nimi coś zrobić korzystając z jednej z bibliotek pythonowych. Albo policzyć jakieś modele i z ich pomocą przeanalizować na przykład klientów i ich drogę przez koszyk zakupowy.

W sumie - u laików - synonimem słowa “model” jest “sztuczna inteligencja”. A jak sztuczna inteligencja to może od razu ChatGPT (z którego już dzieciaki korzystają żeby pisać prace domowe)?

Newsletter Dane i Analizy, 2023-01-23

Mon, 23 Jan 2023 15:00:00 +0000

Dzisiaj sporo materiałów edukacyjnych, konkretnych przykładów i rozwiązań (przynajmniej takie mam nadzieję, że tak zostaną przez Was odebrane).

Przypominam, że CuValley Hack, hackathon organizowany przez #KGHM, startuje już w tym tygodniu - 27.01!

Co Was czeka: 4 zadania i 127 500 PLN do wygrania! 40h kodowania analiza danych, #AI, #MachineLearning, #BigData webinary, Keynote Speakerzy i duża dawka wiedzy

Szczegóły (na przykład zadania) i darmowa rejestracja na stronie www.cuvalley.com

Dane i Analizy to patron społecznościowy, a ten konkretny konkurs to spełnienie mojej idei hackathonu: dane z przemysłu i rozwiązania dla przemysłu.

Newsletter Dane i Analizy, 2023-01-16

Mon, 16 Jan 2023 15:00:00 +0000

Czy wiecie, że książka “365 dni” jest bardziej o Massimo niż o Laurze? W sumie w całej książce użyte jest jakieś 8350 różnych słów, z czego 50% treści wykorzystuje 425 z nich (czyli 5% użytych słów stanowi 50% treści!). Oczywiście chodzi o lematy, z wykluczonymi stopwords. Polecam wykład na TEDx Koszalin o NLP dla laików, trochę zabawne, na pewno inspirujące - właśnie z tej inspiracji te wyliczenia.

A co poza tym dzisiaj? Sporo o MLOps (cały dział!) Trochę o przetwarzaniu danych dla początkujących - Pandas i PySpark.

Newsletter Dane i Analizy, 2023-01-09

Mon, 09 Jan 2023 15:00:00 +0000

W pierwszym pełnym tygodniu nowego roku wracamy ze standardowym zestawem materiałów.

Jest więc coś o machine learningu (dobry jest tekst o YOLOv5, przede wszystkim pokazujący że nie tylko TensorFlow obowiązuje w domenie deep learning), sporo ciekawostek ocierających się o NLP i analizę tekstu. Jest gotowy przepis na pobieranie danych z Kafki i zapisywanie w Mongo.

Na koniec zapraszam na CuValley Hack! To trzecia edycja hackathonu organizowanego przez KGHM w ramach programu Dolina Miedziowa. To przyznam szczerze spełnienie mojej idei hackathonu: dane wprost z przemysłu i konkretne problemy (zobacz na stronie jakie są zadania) do rozwiązania.

Newsletter Dane i Analizy, 2023-01-02

Mon, 02 Jan 2023 15:00:00 +0000

Witaj w pierwszym numerze newslettera “Dane i Analizy” w nowym roku! Mam nadzieję, że spędziłeś święta w miłym towarzystwie i jesteś gotowy na kolejne wyzwania w pracy. Albo spędziłaś i jesteś gotowa :)

W tym numerze polecam trzy artykuły, które mogą być pomocne w rozwoju Twoich umiejętności: “The Art of Writing Amazing REST APIs” to kompendium wiedzy dla tych, którzy chcą nauczyć się tworzyć skalowalne i łatwe w użyciu interfejsy sieciowe “Simple Parquet Tutorial and Best Practices” to zestaw porad dla tych, którzy chcą rozszerzyć swoje umiejętności związane z przetwarzaniem danych w formacie parquet “A Real-Time Streaming Project with Smartphone Data” to przewodnik po najlepszych praktykach związanych z przetwarzaniem danych z telefonów komórkowych w czasie rzeczywistym.

Newsletter Dane i Analizy, 2022-12-27

Tue, 27 Dec 2022 15:00:00 +0000

Święta, święta i po świętach. Nawet newsletter opóźniony specjalnie o jeden dzień, żebyście mogli w pełni od komputerów odpocząć :)

W ostatnim w 2022 roku numerze trochę mniej tekstów, ale to nie znaczy że są one słabszej jakości. Spora część dzisiejszego tortu to technologie big data, ale jest też coś o Pythonie i kilka ciekawostek ogólnych.

Najbardziej chyba polecam zestawienie w zmianie liczby ludności w i wokół polskich miast - książkowe wręcz przykłady suburbanizacji. Dobre jest też wyjaśnienie algorytmów boostingowych.

Newsletter Dane i Analizy, 2022-12-19

Mon, 19 Dec 2022 15:00:00 +0000

Po Mundialu, można się rozejść. W tym tygodniu lekkie wytchnienie, potem święta, święta i po świętach.

W związku z tym życzę Państwu wszystkiego najlepszego, rodzinnych, spokojnych świąt. Odstawcie modele ML, dostawcie Flinki, Sparki i Kafki, zajmijcie się uszkami w barszczu i prezentami spod choinki. No, może być Pinot… Pinot Noir.

#AI_ML

10 Commonly Used Loss Functions Explained with Python Code
Loss Function czy też bardziej swojsko “funkcja straty” to taka funkcja, która jest minimalizowana przez algorytm ML. A jakie mogą to być funkcje?

Newsletter Dane i Analizy, 2022-12-12

Mon, 12 Dec 2022 15:00:00 +0000

Dzisiaj nie będzie o GPT-3 i chacie OpenAI (jak wszędzie), ale będzie wprowadzenie w temat szeregów czasowych oraz coś o metrykach dla modeli rekomendacyjnych.

Jest też trochę materiałów dla początkujących i średnio-zaawansowanych w Pythonie, a sekcja ciekawostek pozwoli wybrać książkę dla inżynierów danych albo… nauczyć się programu do obsługi audio/wideo.

Pamiętacie o Kartach Data Science? Właśnie pojawiła się aktualizacja o paczkę dotyczącą szeregów czasowych (dobrze komponuje się z dzisiejszym wydaniem, prawda?). To coś dla Ciebie? A może na prezent pod choinkę dla kogoś znajomego? Tak czy inaczej ja daję bezterminowo 15% zniżki.

Newsletter Dane i Analizy, 2022-12-05

Mon, 05 Dec 2022 15:00:00 +0000

Jak wygląda Mundial na Twitterze?

W kilka dni i właściwie w trzy osoby przygotowaliśmy dashboard pozwalający monitorować co się dzieje podczas meczów na Mundialu. Gdzie to zobaczyć? Na mundial.achaja.org (login: robercik, hasło: nicsieniestalo).
A jak to wszystko działa?

Skrypt w Pythonie zbiera dane z Twittera

API Twittera pozwala na podpięcie się pod strumień (dane same spływają, w czasie rzeczywistym, chociaż przy natłoku komunikatów zdarza się nawet 5-minutowy lag) którym przychodzą nowe obiekty - tweety taki obiekt zawiera treść, tagi, informacje o tym w jakim języku napisany został tekst zbieramy więc te wszystkie twitty dla meczu po hashtagu, np. dla meczu Francja-Polska #FRAPOL oraz #POLFRA dodatkowo zbieramy tweety dla hashtagów ogólnych: #WorldCup #WorldCup2022 #FIFAWorldCup #QatarWorldCup2022 #Qatar2022

Newsletter Dane i Analizy, 2022-11-28

Mon, 28 Nov 2022 15:00:00 +0000

Czarny Piątek co prawda za nami, ale wietrzenie magazynów bardzo się przyda. Tym bardziej, że w ankiecie sprzed bodaj dwóch tygodni przyznaliście, że więcej polecanych tekstów w jednym numerze jesteście w stanie przełknąć. Zatem wietrzymy i mamy więcej niż zwykle.

Ostatnio pokazywałem potencjalną drabinkę Mundialu, która już być może nieco nieaktualna, prawda? Od początku całej imprezy wpadają jednak do wora dane z Twittera i między innymi na fanpage’u pokazywałem przykładowe wykresy. Projekt jest dość prosty w przygotowaniu, jak znajdę czas to (mam nadzieję) w tym tygodniu opiszę z grubsza założenia.
Okazuje się, że big data można robić w kilka dni. Mam w tym doświadczenie, może to “robi robotę”?

Newsletter Dane i Analizy, 2022-11-21

Mon, 21 Nov 2022 15:00:00 +0000

Zaczęło się święto piłki nożnej, jutro pierwszy mecz Polaków. Czy pierwszy z trzech? A może z czterech (i to będzie wielki sukces polskiej reprezentacji)? Nie wiadomo.

Jak to zwykle bywa przy okazji takiej imprezy powstają różne predykcje, modele, różne psy, koty czy ośmiornice pomagają wytypować zwycięzców. Niektórzy uważają, że nie da się takich modeli przygotować, inni nawet to wiedząc próbują. Matematycy z Oxfordu przygotowali model, według którego faza pucharowa będzie wyglądała następująco:

Newsletter Dane i Analizy, 2022-11-14

Mon, 14 Nov 2022 15:00:00 +0000

Dziękuję przede wszystkim za wypełnienie ankiety! Chyba najbardziej za średnią ocen 8.7. Jeśli nie wypełniłaś/wypełniłeś jeszcze ankietki to poszukaj maila z minionej środy i przeklikaj w te trzy minutki kilka pytań. Pomoże w rozwoju newslettera, część uwag już wziąłem sobie do serca.

Dzisiaj szerokie spektrum tematów. Starałem się, aby każdy z tekstów które tutaj trafiły porządnie zgłębiały temat, a nie były zwykłym “baitem”. Mam nadzieję, że udało się wybrać to najsmaczniejsze. Szczerze mówiąc z około 90 potencjalnych kandydatów tylko te przeszły selekcję.

Newsletter Dane i Analizy, 2022-11-07

Mon, 07 Nov 2022 15:00:00 +0000

Dzisiaj poniedziałek, ale w środę po południu przyjdzie do Ciebie mail z ankietą. To 6 prostych pytań, które pomogą w rozwoju newslettera. Dawno nie było ankiety, widzę statystyki tego co czytacie, ale statystyki to jedno, a odczucie prawdziwego czytelniak to drugie :) Ankieta sprowadza się do klikania, zajmuje 2-3 minuty, zachęcam do wypełnienia.

A dzisiaj jeszcze standardowo - dużo treści na przeróżne tematy :). Dzisiaj na prawdę dużo (drugie tyle czeka w garażu, mam przynieść?).

Newsletter Dane i Analizy, 2022-10-31

Mon, 31 Oct 2022 15:00:00 +0000

Poprzednie wydanie newslettera skupiało się na szeregach czasowych (zobacz w archiwum). Dla odmiany dzisiaj coś o analizie koszykowej - czyli co z czym się kupuje i co z tego wynika? Przykłady w kliku językach programowania znajdziecie niżej, w dedykowanej sekcji.

Nieco standardowo, albo może raczej - tradycyjnie - sporą część publikowanych dzisiaj tekstów mówi o technologiach streamingowych i big data. Zatem jest o rodzinie i znajomych Apache: Kafka, Spark, Iceberg, gdzieś przewinął się chyba też Flink. Czy to są interesujące dla Was tematy? A może rysowanie mapek jest ciekawsze? ;-)

Newsletter Dane i Analizy, 2022-10-24

Mon, 24 Oct 2022 15:00:00 +0000

Dzisiejsze wydanie newslettera skupia się na szeregach czasowych. Szeregiem czasowym jest pewnie jakieś 60% danych, na pewno wszystkie zmieniające się w czasie. Tak więc liczba klientów w sklepie (albo stronie internetowej), wynik pomiarów z jakiegoś czujnika (temperatura) itd itp - wszystko to układa się w szeregi czasowe.

A takie szeregi pozwalają na przewidywanie przyszłości. Czasem jest to łatwe, czasem trudne (giełda to też w zasadzie szereg czasowy, a przewidywanie nie jest takie oczywiste). I trochę o tym dzisiaj.

Newsletter Dane i Analizy, 2022-10-17

Mon, 17 Oct 2022 15:00:00 +0000

Od ostatniego numeru newslettera przybyło Was trochę - dziękuję za zaufanie i pozostawienie swojego adresu mailowego w nadziei na interesujące materiały. Wiem, że oczekujecie czegoś związanego z Pythonem i przetwarzaniem większej ilości danych, a tym bardziej wiem że dobrze dzisiaj trafiliście.

Mamy zatem trochę materiału pozwalającego przeskoczyć z poziomu junior do mid w Pythonie. Dla tych bardziej zaawansowanych trochę o łączeniu się ze Snowflake z poziomu Pythona (nie tylko dla zainteresowanych Snowflake’em te teksty są warte chociażby przejrzenia - dużo w nich wartości między wierszami, czy też liniami kodu).

Newsletter Dane i Analizy, 2022-10-10

Mon, 10 Oct 2022 15:00:00 +0000

Dzisiaj prawdziwa bomba na początek - szczegółowy esej na temat wykorzystania uczenia maszynowego na rynku akcji. Tekst obejmuje projekt systemu, który konsekwentnie pokonywał S&P 500, dopóki nie został zamknięty w lipcu 2022 roku. Jest tu wiele, w tym dyskusja na temat dynamiki rynku, podejścia do modelowania, stosu technologicznego, inżynierii funkcji, pipeline ML i nie tylko. Czyta się długo, ale warto! Didact AI: The anatomy of an ML-powered stock picking engine.

Poza tym sporo dzisiaj materiałów o przetwarzaniu tekstu (na róźnym poziomie zaawansowania), kilka przydasiów do Apache Kafka, nauka SQLAlchemy (czyli jak w Pythonie gadać z bazami danych).

Newsletter Dane i Analizy, 2022-10-03

Mon, 03 Oct 2022 15:00:00 +0000

W tym tygodniu nieco mniejsza liczba tekstów, ale chyba bardziej rozbudowanych niż zwykle.

Szczególnie polecam tekst pierwszy 2022 Data Science Research Round-Up, ale też przykłady i porównanie różnych algorytmów do topic modelingu czy też całą praktycznie sekcję poświęconą Pythonowi.

Być może ktoś z Was przegapił na fanpage’u Dane i analizy: klikalny generator zapytań SQL - świetna sprawa do nauki ale też zapewne może przyspieszyć pracę.

#analiza_danych_koncepcje

2022 Data Science Research Round-Up
Przegląd najciekaszych zagadnień związanych z machine learning. deep learnig, NLP z ostatnich miesięcy. Tylko wstęp, każde opisane jest dalej w podlinkowanych materiałach

Newsletter Dane i Analizy, 2022-09-26

Mon, 26 Sep 2022 15:00:00 +0000

Wracamy do rysowania wykresów, pobierania danych ze stron internetowych oraz robienia dashboardów (i raportów w Wordzie). To dzisiejsze główne punkty zainteresowań. Ale dla fanów rozwiązań big data też coś się znajdzie.

#analiza_danych_projekty

Automate your music collection
Znudziły Ci się playlisty Spofity? Ciągle słuchasz “ulubionych”? Być może Ci to odpowiada. Ale jeśli lubisz odkrywać nową muzykę to możesz czuć się jak w bańce. Albo wykorzystać historię odtwarzanych utworów oraz API serwisu Last.fm żeby poznać coś nowego

Newsletter Dane i Analizy, 2022-09-19

Mon, 19 Sep 2022 15:00:00 +0000

Dzisiaj sporo tekstów dotyka sieci neuronowych. a może lepiej powiedzieć: TensorFlow. Mamy krótkie przedstawienie jak w ogóle sieci działają, kilka tekstów pokazujących jak z TensorFlow pracować i przygotowywać modele. Interesujące jest porównanie modeli regresji liniowej zawartych w pythonowym SciKit-Learn.

Dla początkujących i średniozaawansowanych mamy dwa obszary: scheduler zadań czyli coś o Apache Airflow oraz (też Apache) Spark o łączeniu danych i wykorzystaniu w NLP

Mam też dla Was coś specjalnego. Każdy lubi rabaty, a ja daję bezterminowo 15% zniżki na Karty Data Science!

Newsletter Dane i Analizy, 2022-09-12

Mon, 12 Sep 2022 15:00:00 +0000

Z dzisiejszej paczki tekstów wybranych z całego tygodnia chyba najbardziej podoba mi się ten o gerrymandering - czyli takim dobraniu kształtu okręgów wyborczych aby wygrało konkretne ugrupowanie. To ważny problem, cieszę się że są mechanizmy (pokazane w artykule) do dowodzenia że takie czy inne granice okręgów są sprzyjające jednej czy innej stronie. Ale najbardziej podoba mi się sposób prezentacji treści. The Washington Post (New York Times też) inwestuje w przygotowanie treści i to daje efekty. Kto w Polsce w tak atrakcyjny (i dedykowany tematowi) podaje treść?.

Newsletter Dane i Analizy, 2022-09-05

Mon, 05 Sep 2022 15:00:00 +0000

Pod logiem Fundacji Apache aż roi się od projektów, a świat big data to pewnie w 90-95% Apache COŚ. Znamy Kafkę, znamy Apache Spark, Apache Hadoop. Dzisiaj przedstawiamy (w dziale BigData) kilkoro innych członków rodziny.

Jeśli zaś mamy dużo mapek do wyświetlenia naszym klientom na stronie (bo na przykład monitorujemy każdy wypożyczony rower, hulajnogę czy samochód i mamy miliony wejść na stronę dziennie) to w dziale DevOps coś o rozwiązaniu open soruce, które może zmniejszyć nasze koszty.

Newsletter Dane i Analizy, 2022-08-29

Mon, 29 Aug 2022 15:00:00 +0000

Uważni czytelnicy fanpage’a Dane i Analizy już zapewne przeczytali mój nowy post o analizie tras rowerowych (heatmapa w nim prezentowana już nieaktualna), ale jeśli kogoś ominęło to zapraszam. Pokazuję w nim:
jak przeczytać plik XML jak agregować dwuwymiarowe dane w NumPy jak agregować je w Pandas jak przygotować mapkę w Folium

A jak już tamten tekst znasz to dzisiaj też niemało do wyboru. Zapraszam do lektury!

#AI_ML

Which Python Framework is Better for Machine Learning Apps?
Mamy jakiś nasz cudowny model, daje świetne wyniki, ale predykcje można dostać tylko uruchamiając skrypt z konsoli albo jeszcze gorzej w Jupyter Notebooku. Co zrobić, żeby było to użytecznie online’owe narzędzie? Opakować w API. Ale który pythonowy framework wybrać?

Gdzie się bujasz na rowerze?

Mon, 22 Aug 2022 21:37:14 +0000

Mam znajomego, który lubi jeździć na rowerze za każdym razem inną trasą. Skąd ma wiedzieć czy daną ulicą już jechał czy nie? Pomożemy mu robiąc heatmapę.

Idea

Przede wszystkim - trzeba mieć dane. Dzisiaj będziemy operować na danych zebranych w aplikacji Strava, zatem ruszamy w teren i kręcimy kilometry!

Osobiście trochę jeżdżę, ale nie na tyle żeby inwestować w pełne konto na Stravie. Bo pełne konto ma opcję rysowania heatmapy…

Swoją drogą co miesiąc Strava przygotowuje mapki i publikuje je na swoich stronach i tak dla przykładu jeździ się rowerem po Polsce:

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2022-08-15

Mon, 15 Aug 2022 15:00:00 +0000

Świat działa w realtime i tylko to się liczy - dlatego data scientiści też powinni na takie działanie się przygotować, a dobry tekst wprowadzający znajdziecie niżej.

No a jak Ci się znudził Excel plus Access wspomagane VBA (wg mnie to jest zmora korporacji - blokuje kreatywność i spowalnia rozwój) to dowiedz się gdzie kierować się dalej. Dla developerów z backendowym zacięciem też coś się znajdzie.

Dla tych co siedzą głęboko w modelach: połączenie Boruty z wartościami Shapleya do selekcji ważnych cech dla modeli - sprytne, ciekawe.

Newsletter Dane i Analizy, 2022-08-08

Mon, 08 Aug 2022 15:00:00 +0000

Wakacje za półmetkiem, więc tematy w dzisiejszym newsletterze tak pół na pół.

Z jednej strony mamy ciężkie rzeczy: nowe naukowe pejpery czy omówienie algorytmu grupowania przestrzennego opartego na gęstości. Ale z drugiej - automatyzację w Excelu czy kilka(naście) inspiracji dotyczących prezentowania danych.

Dla tych zaś co lubią wdrażanie i Kubernetesy - też coś się znajdzie, chociażby cluster na malinach ;-)

#AI_ML

6 Papers Every Modern Data Scientist Must Read
Przegląd prasy (publikacji naukowych) dla prawdziwych nerdów AI/ML. Jaki “pejper” czytasz dzisiaj?

Newsletter Dane i Analizy, 2022-08-01

Mon, 01 Aug 2022 15:00:00 +0000

Dzisiaj nieco więcej materiałów z krainy “ops” w świecie “devops”. Warto znać obie ziemie, żeby nie mieć problemu chociażby z uruchomieniem kilku aplikacji (dockerowymi) pod różnymi ścieżkami na jednej domenie. Dlatego warto zajrzeć do tekstów o Nginx.

Ale sprawy związane z analizowaniem danych czy też ich przetwarzaniem w celu przewidywania przyszłości tradycyjnie też są na poniższej liście interesujących artykułów z minionego tygodnia.

#AI_ML

Czym jest i jak zbadać dryft modelu (model drift)?
Dryft modelu odnosi się do spadku wydajności modelu z powodu zmian danych i relacji między zmiennymi wejściowymi i wyjściowymi

Newsletter Dane i Analizy, 2022-07-25

Mon, 25 Jul 2022 15:00:00 +0000

Wakacje wakacjami, ale te kilka godzin poświęciłem specjalnie dla Was aby przygotować dzisiejsze wydanie newslettera.

Pamiętacie Wojny Rdzeniowe? Dla tych, którzy nie bardzo - ciekawy tekst (po polsku, co rzadkie tutaj ;) opowiadający historię tych… hmmm… konkursów? zawodów?

A gdyby tak przygotować wewnętrzne rozgrywki tego typu? Co o tym sądzicie? Piszcie!

Zamiast jednak programować można klikać. Jeśli ktoś jest zwolennnikiem no-code to pewnie zainteresuje się przeglądem platform tego typu przeznaczonych do zadań machine learningu.

Newsletter Dane i Analizy, 2022-07-18

Mon, 18 Jul 2022 15:00:00 +0000

W tym tygodniu sporo materiałów związanych z przygotowywaniem modelu danych w bazie - to istotne zagadnienie, warto się chociaż trochę w temacie orientować jeśli projektujemy coś co ma dane przechować (i potem je przekazać dalej albo przekształcić).

Tak też wyszło, że zebrało się kilka zagadnień związanych z przetwarzaniem tekstu w Pythonie oraz przetwarzaniem (np. poprzez OCR) całych dokumentów.

#AI_ML

ML prediction on streaming data using Kafka Streams
Najsmaczniejsze kąski w przetwarzaniu danych w czasie rzeczywistym są właśnie takie - jest strumień danych, na nim działają jakieś modele machine learningowe i o czymś decydują. Tutaj dowiesz się jak to zbudować w kilku krokach

Newsletter Dane i Analizy, 2022-07-11

Mon, 11 Jul 2022 15:00:00 +0000

Machine learning czy też sztuczna inteligencja to nie są czarne skrzynki które dają odpowiedź na każde pytania. Owszem - ML/AI daje odpowiedzi (lub nie) na konkretne pytania (trzeba umieć je postawić, ale też zaakceptować niepewność odpowiedzi) i - po setkach spotkań z biznesem - to wydaje się najtrudniejsze do zrozumienia. AI da odpowiedź na konkretne pytanie - czy na obrazku jest pies czy kot albo jaka zapewne będzie wartość takiego czy innego wskaźnika za dwa tygodnie (skoro ostatnie pół roku było tak). A oprócz tego wszystkiego - AI/ML wymaga sporo pracy, o czym możecie przeczytać w opracowaniu Machine Learning Operations (MLOps): Overview, Definition, and Architecture.

Newsletter Dane i Analizy, 2022-07-04

Mon, 04 Jul 2022 15:00:00 +0000

Znacie historię plików cookie? Dzisiaj możecie ją poznać z jednego z tekstów w newsletterrze.

Jeśli interesuje Was coś z zakresu wdrażania oprogramowania, monitoringu i ogólnie pojętej automatyzacji tego typu działań - sekcja DevOps może być dobrym początkiem.

Polecam też gorąco tekst o efekcie wabika oraz R-owy pakiet gtExtras użyty w jednym ze sposobów prezentacji rankingu zawodników.

#analiza_danych_koncepcje

Unsupervised Learning: K-Means Clustering
K-means to jeden z algorytmów nienadzorowanego uczenia maszynowego o którego pytają na rozmowach kwalifikacyjnych. Jak działa?

Newsletter Dane i Analizy, 2022-06-27

Mon, 27 Jun 2022 15:00:00 +0000

Gorąco… żar leje się z nieba, taka spiekota w mieście to piekło (niczym w Hydrozagadce).

Zatem gorące materiały: wyniki ankiety StackOverflow, którą osobiście traktuję jako wyznacznik tego jakie technologie są obecnie używane na rynku, czego warto się uczyć i co trzeba potrafić aby swobodnie zmieniać pracę. Pakiet materiałów od Krzyśka Sopyły do nauki ML oraz rozwiązanie konkretnych zagadnień takich jak pipeline dla danych ze Stravy.

Weźmiecie udział w pieszym rajdzie PPTK na odznakę nizinną? Nawet jeśli nie, pamiętajcie że dobrze jest łączyć przyjemne z pożytecznym!

Newsletter Dane i Analizy, 2022-06-20

Mon, 20 Jun 2022 15:00:00 +0000

Długi weekend się przedłużył… ale zgodnie z planem (a nie że “melanż poniósł za daleko” ;-). Newsletter przygotowany, a (prawie) jednodniowe opóźnienie nie powinno zmienić Waszego stosunku do zawartości. Odrobina tęsknoty (mam nadzieję) nikomu jeszcze nie zaszkodziła.

Deszcz pada w całym kraju, zapraszam zatem do lektury!

#AI_ML

Model Tracking with MLFlow & Deployment with FastAPI
Fajny tutorial pokazujący jak śledzić wyniki modelu przez MLFlow oraz serwować ten najlepszy przez FastAPI

Newsletter Dane i Analizy, 2022-06-13

Mon, 13 Jun 2022 15:00:00 +0000

Jak być data scientistą w Pythonie?

import pandas as pd

i gotowe!

Żart oczywiście (taki familiadowy, ale kto boomerowi zabroni?), a o samym Pandasie polecam wystąpienie Jana Kantego Milczka z PyData w Bydgoszczy.

#AI_ML

Uber’s Real-Time Document Check
Jak Uber zrobił weryfikację na podstawie dokumentów typu dowód osobisty?

Intro to MLOps Using Amazon SageMaker
Co to MLOps i jak SageMaker pomaga? A chyba pomaga, skoro to najpopularniejsze tego typu narzędzie (tak przynajmniej wynika z case studies pokazywanych na konferencjach)

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2022-05-30

Mon, 30 May 2022 15:00:00 +0000

Znacie metodę “getting things done”? Jest taka książka Davida Allena opowiadająca dokładnie co i jak. Ale kto by czytał całą książkę, jeśli jest wersja skrócona? Polecam. Jeśli wolicie książkę to w Helionie jest promocja na e-booka.

Polecam dzisiaj trochę oglądania - praktyczne wykorzystaniu narzędzi ML w banku w prezentacji XGBoost w praktyce oraz DDD w systemach rozproszonych. Cała reszta materiałów równie znakomita :)

#analiza_danych_koncepcje

5 Ways to Use Histograms
Sposoby na użycie histogramów… z perspektywy machine learningu

Newsletter Dane i Analizy, 2022-05-23

Mon, 23 May 2022 15:00:00 +0000

Dzisiaj delikatnie więcej tematów bliższych biznesowi niż IT - mierniki, jakość, zaangażowanie w pracę (to polecam każdemu). Dane i Analizy to też consulting tego typu rozwiązań - jeśli trzeba to zapraszam do kontaktu

Są też standardowo poradniki związane głównie z Pythonem i Big Data, ale znajdzie się też coś dla chcących zacząć poważniej pisać w Javie

#AI_ML

GreenLIT: Using GPT-J to Create Screenplays
Czy sztuczna inteligencja może pisać scenariusze filmowe?

Train XGBoost Models in Amazon SageMaker in 4 Simple Steps
Jak wykorzysać Amazon SageMaker do trenowania modeli w chmurze?

Newsletter Dane i Analizy, 2022-05-16

Mon, 16 May 2022 15:00:00 +0000

Łączyłem kiedyś accesssowe VBA z R - da się, nawet spoko działa. A było to tak, że Access wypluwał dane do CSV - chyba za pośrednictwem Excela, nie pamiętam - potem R to mieliło i robiło wykres, który wstawiany był jako obrazek do raportu opartego na szablonie zrobionym w… VBA piszącym do Excela. Jak to cudo odziedziczyłem to przepisałem na Shiny produkujące PDFa z RMarkdowna i potrzebujący sobie sami te raporty robili, a nie czekali aż ja ręcznie te accessowe cuda odpalę (i zablokuję sobie komputer, bo przecież “raporty się generują”). O tym jak łączyć Excela z R czy Pythonem przeczytacie dzisiaj.

Newsletter Dane i Analizy, 2022-05-09

Mon, 09 May 2022 15:00:00 +0000

Dzisiaj mamy fajną paczkę tekstów o hiperparametrach, skalowaniu cech i innych rzeczach związanych z uczeniem maszynowym i podkręcaniem modeli. Tradycyjnie też kształcimy i rozwijamy się nieco w Pythonie.

W bardziej zaawansowanych tematach coś, czym firma Dane i Analizy zajmuje się na co dzień: inżynieria danych, przepływy głównie z wykorzystaniem Apache Kafka czy też projektowanie architektury zbliżonej do tej którą wykorzystuje Airbnb.

Polecam też nową inicjatywę Krzysztofa Sopyły - Podcast Biznes AI. Zapowiada się dobrze, powodzenia Krzysiek!

Newsletter Dane i Analizy, 2022-05-02

Mon, 02 May 2022 15:00:00 +0000

Dzisiaj wielkie święto. I nie chodzi o święto flagi, a o nowy post na blogu. Minął prawie rok od poprzedniego, więc dzień ten zasługuje na miano święta ;-)

Rozproszona architektura, mikroserwisy i baza nosql - taka armata na zwykły sklep internetowy? Tak! Z wyjaśnieniem dlaczego i przykładami w Pythonie! Właśnie to znajdziecie w moim wpisie Sklep rozproszony. To zrobiony w kilka dni proof of concept działania nowoczesnej architektury w dość prostym problemie. Zapraszam do lektury.

Sklep rozproszony

Tue, 26 Apr 2022 12:52:17 +0000

Od kilku lat zajmuję się przede wszystkim wymyślaniem jak coś ma działać, opisywaniem tego i oddawaniem do zespołu developerskiego. Głównie są to rzeczy związane z real-time’owym działaniem systemów wszelakich. I dzisiaj przykład takiego działania. Dodatkowo - próbowałem napisać kod tak, żeby był łatwy do rozbudowy.

O co chodzi?

Zbudujemy coś na kształt prostego sklepu internetowego. Całość będzie zbudowana w nowoczesny (a przynajmniej tak się mówi na konferencjach, a jest to właściwie jedyny słuszny) sposób, komponenty będą od siebie niezależne, a kod w zamyśle ma wspierać taką niezależność.

Newsletter Dane i Analizy, 2022-04-25

Mon, 25 Apr 2022 15:00:00 +0000

Dzisiaj zapraszam na duży pakiet związany z Apache Spark - od instalacji, poprzez stosunkowo mało zaawansowane tutoriale, a na debugowaniu i optymalizacji zapytań skończywszy.

Standardowo jest też trochę Pythona (na przykład świetny kurs spaCy - ale to fani fanpage’a Dane i Analizy już znają czy też coś o wzorcach projektowych albo aplikacjach wielowątkowych), a w części “analiza danych” dość przekrojowe zagadnienia (np. computer vision bez sieci neuronowych - dość sprytne podejście do tematu zajętych miejsc parkingowych).

Newsletter Dane i Analizy, 2022-04-11

Mon, 11 Apr 2022 15:00:00 +0000

Trochę mniej artykułów, ale jeden z nich to potężny kolos (ten o SHAP). Do tego bardzo fajne porady dla początkujących w Pythonie i ciekawe koncepcje w świecie big data (jakby ktoś chciał postawić klaster to jest o tym poradnik).

Zaś w przyszłym tygodniu zrobimy sobie przerwę świąteczną - polewajcie się wodą za tydzień (oby pogoda dopisała), a nie zajmujcie się komputerami. Wesołych Świąt!

#analiza_danych_koncepcje

Revisiting MNIST with Fresh Eyes
Każdy kto próbował machine learningu albo deep learningu (w szczególności sieci CNN) zetknął się ze zbiorem ręcznie pisanych cyfr MNIST. Tutaj inne podejście do znanego problemu

Newsletter Dane i Analizy, 2022-04-04

Mon, 04 Apr 2022 15:00:00 +0000

Dzisiaj skupiamy się na Kafce i innych kolejkach (MQTT, Redis). Trochę też o długu technologicznym (i nie tylko) oraz wytłumaczenie o co chodzi z tymi @property czy @staticmethod w Pythonie.

#analiza_danych_koncepcje

Machine Learning Pipeline with Ploomber, PyCaret and MLFlow
Cały “rurociąg” związany z uczeniem maszynowym, od początku do końca, od czyszczenia danychy do uczenia modeli

Machine Learning Rules of Thumb
Po co wymyślać koło od początku skoro jest kilka dobrych i sprawdzonych sposobów na pierwsze kroki w przygotowywaniu modelu ML?

Newsletter Dane i Analizy, 2022-03-28

Mon, 28 Mar 2022 15:00:00 +0000

Połowa dzisiejszych materiałów to konkretne projekty związane z danymi. Albo wyciąganie informacji z rachunków z przejazdy Uberem, albo realtime’owe wizualizacje tego co co się zmienia w Wikipedii, albo big data w Big Query. Plus raport Stanford AI Index Report

#AI_ML

Is Facebook Prophet suited for doing good predictions in a real-world project?
Jak biblioteka Prophet do prognozowania szeregów czasowych sprawdza się w realnych zastosowaniach?

#analiza_danych_koncepcje

Stop using random forest feature importances
Skąd wiecie, że dana cecha jest istona w Waszym modelu? “feature importances” z lasów losowych ma pewne niedociąnięcia o których warto wiedzieć

Newsletter Dane i Analizy, 2022-03-21

Mon, 21 Mar 2022 15:00:00 +0000

Podoba nie rozpieszcza, nie ma czasu na pisanie. Mam nadzieję, że znajdziecie czas na czytanie :)

#analiza_danych_projekty

End-to-End Hotel Booking Cancellation Machine Learning Model
Czy gość przyjedzie do naszego pokoju hotelowego czy nie przyjedzie? Jak buduje się modele, które potrafią odpowiedzieć na takie pytania? Znajomity tutorial

#big_data

A Spark Streaming pipeline with microservices
Spark, Kafka i uczenie maszynowe w tle - takie projekty lubimy!

Querying Kafka Topics Using Presto
A gdyby tak pytać topików kafkowych tak jak bazę danych?

Newsletter Dane i Analizy, 2022-03-14

Mon, 14 Mar 2022 15:00:00 +0000

Mam nadzieję, że wiosna nadchodzi wielkimi krokami, więc dzisiaj trochę lżejszy dobór tematów.

Koniecznie zobacz nagranie z webinaru u Vladimira o BI i ML!

Polecam też zainteresować się Mermaid - rozszerzeniem do Markdown pozwalającym rysować diagramy. Da się też eksportować je później do np. PDFów - istnieje odpowiedni dodatek do pandoc. A o Meramind wiem od Arjana i jego filmu.

#AI_ML

Business Intelligence z Machine Learning
Zapis ciekawego webinaru łączącego oba wspominane w tytule zagadnienia

Newsletter Dane i Analizy, 2022-03-07

Mon, 07 Mar 2022 15:00:00 +0000

Dzisiaj świetne teksty o feature selection czy projektowaniu i rozwijaniu API. O API to nawet komiks mamy :)

Przypominam też, że za chwilę (11 marca) startuje CuValley Hack - hackathon, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Uczestnicy skupią się na analizie danych oraz wykorzystaniu AI/ML w układach automatyki przemysłowej. Co Was czeka?
3 zadania i 120 000 PLN do wygrania! 40h kodowania tysiące dostępnych danych webinary, Keynote Speakerzy i duża dawka wiedzy

Newsletter Dane i Analizy, 2022-02-28

Mon, 28 Feb 2022 15:00:00 +0000

Po raz drugi Dane i Analizy są patronem medialnym CuValley Hack. To też druga edycja tego hackathonu, który organizowany jest przez #KGHM w ramach programu #DolinaMiedziowa.

Impreza startuje 11 marca.

Hackathon zrzesza otwarte umysły i pomysłowych specjalistów, którzy chcą tworzyć innowacyjne projekty dla polskiej miedzi. Uczestnicy skupią się na analizie danych oraz wykorzystaniu #AI, #MachineLearning czy #BigData w układach automatyki przemysłowej. Co Was czeka?
3 zadania, w których do wygrania wysokie nagrody pieniężne 40 godzin kodowania i networking na kanale Slack tysiące dostępnych danych webinary, Keynote Speakerzy, porządna dawka wiedzy i inspiracji!

Newsletter Dane i Analizy, 2022-02-21

Mon, 21 Feb 2022 15:00:00 +0000

Dzisiaj sporo rzeczy związanych z Wordle - bo to jest świetny poligon doświadczalny na analizę danych i kombinatorykę, ale też ciekawe są wyniki tego jak ludzie grają w tę grę (poniżej link do artykułu na ten temat).

Świetny jest też tekst Maćka Jak wykryć phishing.

Dla początkujących adeptów Pythona kilka solidnych podstaw - warto prześledzić wszystko z dzisiejszej sekcji #python_junior.

#AI_ML

Create an ML Powered Prediction Service in Minutes
Prosty i szybki sposób na umieszczanie modeli machine learningowych na produkcji

Newsletter Dane i Analizy, 2022-02-14

Mon, 14 Feb 2022 15:00:00 +0000

Dzisiaj coś trudniejszego niż MNIST oraz ściągawka z algorytmów grupowania elementów (clustering). Do tego ciekawy projekt wizualizacji danych z meczów piłki nożnej.

A jeśli myślisz o projektowaniu systemów a nie tylko o samej analizie danych to wykład Sławka Sobótki o Domain Driven Design powinien Cię uradować.

#AI_ML

Using Google Cloud Machine Learning APIs
Jak korzystać z interfejsów machine learning API od Google w Pythonie? Część pierwsza cyklu

Using FastAI to classify Japanese kanji characters
Rozpoznawanie pisanych ręcznie cyfr - czyli zbiór MNIST - to może być zbyt prosty problem dla adeptów sztuki nauki o danych

Newsletter Dane i Analizy, 2022-02-07

Mon, 07 Feb 2022 15:00:00 +0000

Dzisiaj lajtowo, ale najbardziej polecam coś co mogliście przegapić wczoraj na fanpage’u - wideo o tym jak pomóc sobie grając w Wordle albo raczej jaka matematyka stoi za wyborem kolejnych słów. Jest też kod w repo.

#analiza_danych_projekty

Topic Modeling and Latent Dirichlet Allocation (LDA)
O czym są poszczególne tekstów w zbiorze tekstów? “Topic modeling” oparty o LDA pozwala to określić, a ten tekst wprowadza w zagadnienie na przykładzie kodu w Pythonie

#big_data

DARWIN: Data Science and Artificial Intelligence Workbench at LinkedIn
Jak LinkedIn buduje swoją platformę danych i ich analiz?

Newsletter Dane i Analizy, 2022-01-31

Mon, 31 Jan 2022 15:00:00 +0000

Dzisiaj odcinek dość pythonowy, ale za to z obszernym tekstem o tworzeniu modeli w R - cały proces opisany po kolei. Polecam!

#AI_ML

Natural Language Processing (NLP) for Semantic Search
Duża pozycja, która wprowadza w świat NLP

#ciekawostki

What Does a Data-Driven Government Look Like?
Teoretycznie więcej danych to lepsze decyzje. Czy zarządzanie maistem albo państwem jest możliwe w oparciu o dane? Jak może to wyglądać?

AI Geospatial Wildfire Risk Prediction
Przewidywanie zdarzeń związanych z geografią - pogoda, pożary - ciekawe zagadanienie, a często pomijane przy np. poradnikach ML.

Newsletter Dane i Analizy, 2022-01-24

Mon, 24 Jan 2022 15:00:00 +0000

W ostatnim tygodniu na sile przybrała moda na Wordle. Co to? To taka gra podobna do znanego od lat ‘70 XX wieku Masterminda. Trzeba w 6 ruchach odgadnąć sześcioliterowe słowo. Jedyne podpowiedzi to kolor:
zielony = odpowiednia litera stoi w odpowiednim miejscu, żółty = odpowiednia litera stoi na złym miejscu, czarny = to zła litera jest (parafrazując pewnego aktora z pewnego filmu).

Gra w wersji oryginalnej (angielskiej) dostępna jest tej na stronie. Oczywiście jest też wersja z polskimi słowami.

Newsletter Dane i Analizy, 2022-01-17

Mon, 17 Jan 2022 15:00:00 +0000

Dzisiaj więcej o data engineering i nowym buzz wordzie z tej okolicy: data mesh a także seria polecanych kanałów. Trochę też o architekturze systemów - wywiad z architektem i coś o tym czy mikroserwisy są lepsze niż monolityczne byty.

Interesują Cię takie tematy? Czy jednak żywy kod i konkretne problemy analizy cyferek to lepsze mięso?

#analiza_danych_koncepcje

Auto-Detect Anything With Custom Named Entity Recognition (NER)
Rozpoznawanie nazw własnych z wykorzystaniem SpaCy

Newsletter Dane i Analizy, 2022-01-10

Mon, 10 Jan 2022 15:00:00 +0000

Koniec przerw świątecznych, koniec długich weekendów, czas wracać do pracy.

Dla mnie osobiście rok zaczął się zabawą z Raspberry Pi i próbwaniem co to cudo potrafi. Nigdzie nie ma Raspberry Pi 4, więc zadowoliłem się na start Pi Zero. Mały, ale wariat - używam do PiHole oraz staram się podglądać co robi w nocy kot. Jak? A no tym prostym skryptem i kamerką podłączoną po USB.

#analiza_danych_koncepcje

11 Dimensionality reduction techniques you should know in 2021
11 metod na redukcję rozmiarów Twoich danych. Ale zmniejszenie wielkości to nie jedyne zastosowanie - przy redukcji wymiarów często odsłaniają się ukryte informacje

Newsletter Dane i Analizy, 2022-01-03

Mon, 03 Jan 2022 15:00:00 +0000

Dzisiaj kilka tematów “pokrytych” nie tylko jednym tekstem. Mamy więc coś o modelach BERT plus automatycznie tworzenie tekstów przez GPT-3, mamy wizualizacje danych na mapach (w R i Pythonie). Mamy też cykl, który pozwoli na napisanie bota do np. CS:GO.

Na blogu od dawna nie było nowego tekstu (stąd podlinkoway niżej tekst o GPT-3 ;), ale jakieś rzeczy robię i publikuję. Zwykle jest tak, że energia opada po przygotowaniu działającego kodu. Tak jest z serwowaniem obrazków przez API (przy okazji te obrazki się generują) - sami zobaczcie do repozytorium.

Newsletter Dane i Analizy, 2021-12-27

Mon, 27 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… w tym roku. Czy ten sam dowcip (o ostatnim numerze newslettera) działa dwa razy? Wątpię. Ale dobry suchar po całej masie pierogów, sałatek i ciast może okazać się zbawienny. Tak wiem - jest czerstwo, zatem zgodnie z planem ;-)

Przed Tobą ostatnia w tym roku dawka interesujących tekstów, nieco skromniejsza niż zwykle, ale liczę na to że również atrakcyjna.

#analiza_danych_koncepcje

How to Deal With Categorical Variable in Predictive Modeling
Jak radzić sobie ze zmiennymi kategorycznymi w danych? Kilka przydatnych metod

Newsletter Dane i Analizy, 2021-12-20

Mon, 20 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… przed Bożym Narodzeniem.

W związku z tym przede wszystkim życzę Ci spokoju, spędzenia mile czasu z najbliższymi, odpoczynku (też od komputerów) i jeszcze raz pieniędzy.

Do życzeń dołączam pythonową choinkę:

def holidaybush(n):
    for i in range(n):
        print(("+" * (i * 2 + 1)).center(n * 2 - 1))
    print("+++".center(n * 2 - 1))

holidaybush(15)

#analiza_danych_koncepcje

Best Use of Train/Val/Test Splits, with Tips for Medical Data
Modele, uczenie, dane treningowe, testowe, walidacyjne… ale właściwie dlaczego tak?

Newsletter Dane i Analizy, 2021-12-13

Mon, 13 Dec 2021 15:00:00 +0000

“Samo posiadanie danych nie wnosi jednak żadnej wartości dla biznesu. Spotkałam się z sytuacjami w firmach, w których były zbierane dane, ale nikt z nich nie korzystał. Po prostu było ich za dużo i były przetwarzane w niewłaściwy, lub ograniczony sposób” - znacie taką sytuację? Jest bardzo popularna. Mamy dużo danych i nie wiemy co z nimi zrobić. Polecam wywiad z Izą Wisłocką o big data i smart data w handlu.

Newsletter Dane i Analizy, 2021-12-06

Mon, 06 Dec 2021 15:00:00 +0000

Na Mikołajki przegląd internetu pod kątem danych, ich analiz i sposobów programowania oraz wdrażania zaprogramowanych rozwiązań.
Najciekawszym dla początkujących będzie pewnie zbiór ponad 200 tekstów zgromadzonych w jednym miejscu na różne tematy związane z machine learingiem (to prawdę mówiąc trochę jak spis treści jednego bloga), a bardziej doświadczeni dowiedzą się jak połączyć C++ z Pythonem. Są też ciekawe teksty o R (i Shiny), co się ostatnio dość rzadko zdarzało.

Skoro jesteśmy przy R - w piątek (10 grudnia) zaś konferencja WhyR? - rezerwujcie sobie czas, bo materiału sporo (co widać po zaplanowanych streamingach na YouTube). Więcej szczegółów na stronie imprezy 2021.whyr.pl

Newsletter Dane i Analizy, 2021-11-29

Mon, 29 Nov 2021 15:00:00 +0000

Po testach na produkcji z poprzedniego tygodnia przybyło Was równo pięćdziesiąt! Dzięki za zaufanie, mam nadzieję że niniejsze wydanie newslettera Dane i Analizy (jest archiwum!) Was nie rozczaruje i pozostaniecie wiernymi czytelnikami.

A dzisiaj sporo materiału, na nowo pokuładanego - liczę, że taki układ ułatwi Wam poruszanie się po newsletterze i docieranie do tych najbardziej interesujących treści. Po migracji na serwis Raindrop.io (polecam, nie mam w tym żadnego interesu) łatwiejsze dla mnie stało się przygotowanie newslettera, w tym - co chyba najważniejsze - ręczne wybieranie materiałów i ich opisywanie.

Newsletter Dane i Analizy, 2021-11-22

Mon, 22 Nov 2021 11:25:39 +0000

Szczęśliwcy ;) mogli już zobaczyć jak wygląda newsletter w nowej szacie graficznej wczoraj. Testowanie na produkcji to podstawa, niech pierwszy rzuci kamieniem…

#analiza_danych

How Not To Sort By Average Rating
Dlaczego sortowanie opinii po “zwykłej” średniej jest złe i jak je poprawić.

Extract data from PayPal API
Wyjmijmy dane z PayPala i wstawmy do jakiejś hurtowni typu BigQuery. A potem już można analizować.
Ciekawy projekt ETLowy.

#ciekawostki

How do Spotify Codes work?
Utwory (albumy i wykonacwy też) na Spotify są oznaczeni takim małym kodem - można go zeskanować i przejść do odpowiedniej piosenki (lub albumy albo wykonawcy). Jak to działa?
Fajne jeśli interesuje Cię budowanie graficznych kodów.

Newsletter Dane i Analizy, 2021-11-15

Mon, 15 Nov 2021 12:01:56 +0000

Rozpoczynam nowy cykl - materiały, które zostały wysłane w newsletterze Dane i Analizy, które będą dla potomnych publikowane też na blogu.

Na newsletter możesz się zapisać tutaj. Jeśli zaś mi starczy zapału i czasu (oraz błędów nie będzie :) to w przyszłym tygodniu zapewne zmieni się szata graficzna newslettera, a także trochę jego zawartość (właściwie same ręczne opisy linkowanych materiałów). Ale nie zapeszajmy, chociaż jak widać niżej - szablon jest już gotowy. Tylko trzeba refactoring kodu zrobić…

Newsletter Dane i Analizy, 2021-11-08

Mon, 08 Nov 2021 09:00:00 +0000

Orchestrate a Data Science Project in Python With Prefect
Optimize Your Data Science Workflow in a Few Lines of Code Motivation As a data scientist, why should you care about optimizing your data science workflow? Let’s start with an example of a basic data science project. Imagine you were working with an Iris dataset. You started with building functions to process your data. https://medium.com/media/e479ca8deb87434b1859864118ec3bcc/href After defining (…)

Dealing With Dates in Pandas — 6 Common Operations You Should Know
Dealing With Dates in Pandas — 6 Common Operations You Should Know Never confused with dates again, hopefully. Besides texts and numbers, dates are a very common data type in our datasets. When we use Pandas to process dates, it’s definitely not the most straightforward task for most data scientists. When I began to use Pandas, I wasn’t familiar with date-related features, so every time when I (…)

Newsletter Dane i Analizy, 2021-11-01

Mon, 01 Nov 2021 09:00:00 +0000

Beginner’s Guide to AutoML with an Easy AutoGluon Example
This article was published as a part of the Data Science Blogathon Machine Learning is popular and is being used everywhere for applications ranging from financial services to healthcare, marketing & advertising to manufacturing. Almost all industries seem to derive substantial benefit using some form of Machine Learning. Over the recent past, automation technology also […] The post (…)

Visualising Similarity Clusters with Interactive Graphs
Take advantage of Python, Plotly, and NetworkX to create interactive graphs to find similarity clusters Let us assume, as a running example, that my data is composed of word embeddings of the English language. I want to gain insights about the word distribution in the embedding space, specifically, if there are any clusters of very similar words, if there are words that are completely different (…)

Newsletter Dane i Analizy, 2021-10-25

Mon, 25 Oct 2021 09:00:00 +0000

Optimize ML modeling using a timing decorator
Record the execution time of ML training using timing decorators and use it for productive data science and ML optimization Image source : Pixabay (Free to use) Why measuring time is important We can go on and provide hundreds of arguments and quotes showing why the act of measurement is important in science and technology. Here is a powerful one, One accurate measurement is worth a thousand (…)

Newsletter Dane i Analizy, 2021-10-23

Sat, 23 Oct 2021 09:00:00 +0000

Best front-end Python frameworks in 2021
Welcome back! Python is an awesome programming language with a ton of capability, one of these functions is building GUI’s (front-ends), so let’s talk about some of my favorite front-ends frameworks for Python. Now, Python is an awesome language for web development as well, if you want to see some sample websites you can build with Python, check out this article below: Let’s take a look at some (…)

Newsletter Dane i Analizy, 2021-10-18

Mon, 18 Oct 2021 09:00:00 +0000

The State Of Web Scraping in 2021 – Mihai’s Blog
Author: Mihai Avram | Date: 10/02/2021 The area of web scraping has really expanded in the last few years, and it helps to know some of the main frameworks, protocols, and etiquette so that you can build the next awesome Web Scraping tool to revolutionize our world! Or maybe just your local neighborhood, or workgroup – that’s fine too. In this post, we will cover. What is web scraping? What are (…)

Newsletter Dane i Analizy, 2021-10-11

Mon, 11 Oct 2021 09:00:00 +0000

Top 5 Time Series Analytics
Learn about the top use-cases and techniques for time-series data Time is present in most of the data around us. From retail product sales data to financial stock price, to IoT sensor data, all have a notion of time in it. So mastering time-series analytics is going to make you master of the data science world The top 5 analytics which I will demonstrate here are Seasonality Detection to find (…)

Newsletter Dane i Analizy, 2021-10-04

Mon, 04 Oct 2021 09:00:00 +0000

MLOps with Docker and Jenkins: Automating Machine Learning Pipelines
How to containerize your ML models with Docker and automate a Pipeline with Jenkins

Performing Deduplication with Record Linkage and Supervised Learning
Identifying duplicate records with a machine-learning approach Introduction Most data are recorded manually by humans and most often is not reviewed, not synchronized, and simply because there were mistakes made such as typos. Think for a second, have you ever filled out the same form twice before but with a slight difference in your address? For example, you submitted a form like this (…)

Newsletter Dane i Analizy, 2021-09-27

Mon, 27 Sep 2021 09:00:00 +0000

t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python
Machine Learning t-SNE Machine Learning Algorithm — A Great Tool for Dimensionality Reduction in Python How to use t-Distributed Stochastic Neighbor Embedding (t-SNE) to visualize high-dimensionality data? t-SNE visualization with different perplexities. Gif image by author . Intro A successful data scientist understands a wide range of Machine Learning algorithms and can explain the results to (…)

Newsletter Dane i Analizy, 2021-09-20

Mon, 20 Sep 2021 09:00:00 +0000

VLOOKUP implementation in Python in three simple steps
Oftentimes, in the field of data analytics, it’s the data cleaning and processing that takes the most amount of time and effort. While the steps such as data cleaning, filtering, and pre-processing are generally under-evaluated or overlooked as compared to more juicy components such as the model development, it’s the quality of data that determines the quality of output. As it is rightly said, (…)

Newsletter Dane i Analizy, 2021-09-13

Mon, 13 Sep 2021 09:00:00 +0000

Still Using the OS Module in Python? This Alternative is Remarkably Better
Python’s OS module is a nightmare for managing files and folders. You should try Pathlib. File and folder management with Python’s os module is a nightmare. Yet, it’s an essential part of every data science workflow. Saving reports, reading configuration files, you name it — there’s no way around it. Picture this — you spend weeks building an API around your model, and it works flawlessly, at (…)

Newsletter Dane i Analizy, 2021-09-06

Mon, 06 Sep 2021 09:00:00 +0000

How Much More Time We Spent at Home
We had to do more from home. Here’s how much everything shifted by total minutes in a day. Tags: home , time use

A Comprehensive Guide to Image Processing: Using an OpenCV Tool
Image Processing Essentials An image processing tool with OpenCV, QT Creator, and C++ As the last part of this series on the Image Processing flow, I want to present a simple Image Processing Tool implemented using OpenCV 3.2.0 on QT Creator (5.12.10) with C++ to apply almost all the Image Processing operations discussed in the previous posts. To be able to use it, it’s enough to build OpenCV (…)

Newsletter Dane i Analizy, 2021-08-30

Mon, 30 Aug 2021 09:00:00 +0000

Monte Carlo Cost Estimates: Engineers Throwing Dice
Estimating the cost of a complex project is not a trivial task. Traditional cost estimates are full of assumptions about the future state of the market and the final deliverable. Monte Carlo cost estimates are a tool to better understand the risks in your project and enable better cost control. Monte Carlo simulations are a technique to control your “known unknowns”. Albert Einstein famously said (…)

Newsletter Dane i Analizy, 2021-08-23

Mon, 23 Aug 2021 09:00:00 +0000

Scala is like Python 4
Although it’s fundamentally closer to Java, Scala has clearly taken a lot of influence from Python in terms of style and functionality. As someone who has written Python code for ~7 years now, playing around with Scala feels surprisingly familiar, but it’s more akin to using a statically typed and compiled version of Python 3. Obviously, they’re very different languages, b ut if you’re an (…)

Newsletter Dane i Analizy, 2021-08-16

Mon, 16 Aug 2021 09:00:00 +0000

5 Popular Machine Learning algorithms
Machine Learning Source: Image by GDJ on Pixabay A machine learning algorithm is conceptually similar to any other algorithm in computer science. An ML algorithm is a data-driven process that is used to create a production-ready machine learning model. If you consider machine learning to be a train for accomplishing a job, then machine learning models are the engines that push the train. The (…)

Newsletter Dane i Analizy, 2021-08-09

Mon, 09 Aug 2021 09:00:00 +0000

Multi Page Document Classification using NLP and ML
An approach to classify documents with different variations shapes, text and page sizes. Source: https://unsplash.com/photos/5cFwQ-WMcJU This article describes a novel Multi Page Document Classification solution approach, which leverages advanced machine learning and textual analytics to solve one of the major challenges in the Mortgage industry. Abstract Even in today’s technological era most of (…)

Introduction to Concurrency in Python
PYTHON | PROGRAMMING | CONCURRENCY A guide to speeding up Python code Back in 1965, Gordon Moore predicted that the number of transistors on microchips will double every two years[1]. This prediction is referred to as Moore’s Law. Moore’s Law also states that the price of computing hardware will also half every two years. Source: (…)

Newsletter Dane i Analizy, 2021-08-08

Sun, 08 Aug 2021 09:00:00 +0000

Newsletter Dane i Analizy, 2021-08-02

Mon, 02 Aug 2021 09:00:00 +0000

How To Use “yield” in Python?
Python Generator — from basic to advanced usage Continue reading on Towards Data Science »

10 Best Practices to Write Readable and Maintainable SQL Code
How to write SQL queries that your team can easily read and maintain? It’s easy to mess with SQL without proper guidelines. Since everybody in your team might have their own habits of writing SQL, you can quickly end up with a confusing code that nobody understands. You probably realized the importance of following a set of good practices. May this article give you the guidance you’re (…)

Newsletter Dane i Analizy, 2021-07-31

Sat, 31 Jul 2021 09:00:00 +0000

How to Model Time Between Events Using the Exponential, Gamma, and Poisson Distributions
How to model time-to-event and ‘time between events’ on real data using the Exponential Family to optimize returns of time driven investments. Screenshots from within the article. Usually, when we have time as a variable on a dataset, we can model other variables reflected in time itself, whether we apply Time Series Analysis or just use time to cut our data and apply continual ML or S tate Space (…)

Newsletter Dane i Analizy, 2021-07-26

Mon, 26 Jul 2021 09:00:00 +0000

Ocena modeli klasyfikacyjnych - od tablicy pomyłek do F1 - Data science in pl
Zrozumieć modele klasyfikacyjne. Tablica pomyłek, czułość, swoistość precyzja i F1 - opis i intuicyjne przykłady.

Word Embedding Techniques: Word2Vec and TF-IDF Explained
The words need to be made meaningful for machine learning or deep learning algorithms. Therefore, they must be expressed numerically. Algorithms such as One Hot Encoding, TF-IDF, Word2Vec, FastText enable words to be expressed mathematically as word embedding techniques used to solve such problems. (…)

Newsletter Dane i Analizy, 2021-07-19

Mon, 19 Jul 2021 09:00:00 +0000

Dobry, zły i brzydki – Parę słów o Pandas UDF w Apache Spark | Tech Blog ING Bank Śląski
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak (…)

Geocoding in Python: A Complete Guide
A step-by-step tutorial on geocoding with Python Continue reading on Towards Data Science »

Newsletter Dane i Analizy, 2021-07-12

Mon, 12 Jul 2021 09:00:00 +0000

What is MLOps — Everything You Must Know to Get Started | by Harshit Tyagi
A complete walkthrough of ML systems development lifecycle and need for MLOps Until recently, all of us were learning about software development lifecycle(SDLC) and how it goes from requirement elicitation → designing → development → testing → deployment → all the way down to maintenance. We (…)

Vectorization Techniques in NLP [Guide] - neptune.ai
Natural Language is how we, humans, exchange ideas and opinions. There are two main mediums for natural language – speech and text. Listening and reading are effortless for a healthy human, but they’re difficult for a machine learning algorithm. That’s why scientists had to come up with Natural (…)

Newsletter Dane i Analizy, 2021-07-05

Mon, 05 Jul 2021 09:00:00 +0000

How to Create a Dashboard to Track Anything With Plotly And Dash
Or “How I stopped using third-party apps to track my investments”! It’s really easy to get started with your own template. Spoiler alert: this is not my actual portfolio! Ever since I started investing my hard-earned money, I was obsessed with having some sort of dashboard or tool that would allow (…)

State Of The Art of Speech Synthesis at the End of May 2021 | by Patrick Meyer | Jun, 2021
Thoughts and Theory Presentation of the state of the art in speech synthesis research at the end of May 2021 with a focus on deep learning technologies. I present a synthesis of 71 publications and give you the keys to understand the underlying concepts. Voice is the most natural way we have to (…)

Newsletter Dane i Analizy, 2021-06-28

Mon, 28 Jun 2021 09:00:00 +0000

Average colors of the world
I wrote that I wanted to expand creatively beyond maps in 2021, but here we are, halfway in, and half my posts are maps. In my defense, I made these last year and just haven’t gotten around to posting them yet! They’ve been sitting in a folder since December, mocking me. It’s time to get […]

4 Tricks to Use Python F-strings More Efficiently
Have full control over what you print out. String interpolation is a way to embed variables into strings. It makes it easy to manipulate and enrich strings. Thus, the print statements are much more powerful with string interpolation. Formatted string literals, also known as f-strings, are a highly (…)

Newsletter Dane i Analizy, 2021-06-21

Mon, 21 Jun 2021 09:00:00 +0000

Implementation of Top Design Patterns in Python
*according to developer & software architect with 9+ years of experience

A hands-on demo of analyzing big data with Spark
Scan a novel, calculate pi, and run regression on 50 million rows Conclusions This post was a deep dive on using Spark to process big data. We started with an overview of distributed computing before counting the frequency of each letter in Dostoyevsky’s War and Peace , estimating π with randomly (…)

Newsletter Dane i Analizy, 2021-06-14

Mon, 14 Jun 2021 09:00:00 +0000

Raspberry Pi Gardening: Monitoring a Vegetable Garden using a Raspberry Pi - Part 1
On how growing vegetables is more complicated how it looks, why bad soldering still works, on moving individual bits around, and what I learned about using technology where one probably does not need technology.

Air Piano using OpenCV and Python
Play the piano by just moving your fingers in the air! Taken from Unsplash My inspiration to make an “Air Piano” Recently I visited my cousin and she had been trying to learn piano for quite some time. However, due to the pandemic, her teacher could not come home and they were practising through (…)

Newsletter Dane i Analizy, 2021-06-07

Mon, 07 Jun 2021 09:00:00 +0000

3 Examples That Show The Unlimited Flexibility of PySpark
A combination of Python and SQL but easier than both Spark is an analytics engine used for large-scale data processing. It lets you spread both data and computations over clusters to achieve a substantial performance increase. It is easier than ever to collect, transfer, and store data. Hence, we (…)

Row-wise operations in R: compute row means in tidyverse
This tutorial shows how to perform row-wise operations in R using tidyverse. We will use three key functions, rowwise(), c_across() and rowMeans() to perform to perform row-wise operations on a dataframe. rowwise() and c_across() functions are from dplyr. rowwise() function is available in dplyr (…)

Newsletter Dane i Analizy, 2021-05-31

Mon, 31 May 2021 09:00:00 +0000

Containers: The actual mechanism behind the technology and why Kubernetes depreciated Docker
In this article, we will be covering all the details about containers i.e. how they actually work behind the scene and all the parts it… Continue reading on Medium »

Fully Explained Hierarchical Clustering with Python
Programming Agglomerative clustering in unsupervised machine learning Hierarchical clustering. A photo by Author In this article, we will discuss hierarchical clustering algorithms in unsupervised machine learning. This algorithm is based on the splitting and merging of nested clusters. The linkage (…)

Ile czasu marnujemy na spotkaniach?

Fri, 28 May 2021 15:50:04 +0000

Jak z poziomu Pythona dostać się do zawartości Outlooka (poczta, kalendarz)?

W niedawnym tekście opisałem drogę do aktualnego miejsca i zajęcia w pracy. Pisałem (chyba tak, sprawdź!), że sporo czasu zajmują mi spotkania? Sprawdźmy!

Photo by Estée Janssens on Unsplash

Poprzednio nie było też kodu, a przecież kod jest najciekawszy.

Gdzieś po drodze miałem styczność z VBA, a niedawno odkryłem, że w sumie z narzędziami MS Office można postępować dość podobnie z poziomu Pythona jak z poziomu VBA. Dzisiaj więc trochę o narzędziach MS Office dotykanych Pythonem.

Newsletter Dane i Analizy, 2021-05-24

Mon, 24 May 2021 09:00:00 +0000

What Makes a Successful Machine Learning Engineer? My Story
You’ve been doing machine learning for quite a while, and you’re starting to notice that your workload throughout a project is not constant. There are highs, with tasks that require your full dedication, and lows, where you mostly supervise processes that you’ve previously launched. You can do a (…)

10 Tips to Cuztomize Text Color, Font, Size in ggplot2 with element_text()
ggplot2’s theme system give us a great control over how the “non-data” elements of a plot should look like. The theme system helps elevate the plot you make by making finer changes and make it easy to look better. ggplot2’s theme system comes with multiple element_ functions, element_text() (…)

Jak stworzyć system rekomendacji produktowych dla sklepu internetowego?

Tue, 18 May 2021 10:10:31 +0000

W tym artykule zaprezentujemy koncepcję stworzenia systemu generującego rekomendacje na stronie produktu w sklepie internetowym. Omówimy dwa modele wykorzystywane do budowania silnika rekomendacji produktowych, przyjrzymy się ich wadom i zaletom. W drugiej części zastanowimy się nad tym, w jaki sposób optymalizować system rekomendacji, aby zwiększyć współczynnik konwersji na stronie sklepu internetowego. To wpis gościnny, autorem jest Michał Kosztołowicz, Senior AI Developer w Recostream. Zakładamy, że znajdujemy się na stronie konkretnego produktu (w dalszej części tekstu będziemy nazywać go “produktem wyjściowym”). Naszym celem będzie wybranie spośród pozostałej oferty sklepu zbioru produktów, które mogą leżeć w kręgu zainteresowania użytkownika przeglądającego produkt wyjściowy i wyświetlenia ich jako rekomendacji na stronie tego produktu. Te wybrane produkty będziemy nazywać “rekomendacjami” lub “rekomendowanymi produktami”.

Newsletter Dane i Analizy, 2021-05-14

Fri, 14 May 2021 09:00:00 +0000

A Modern Set-up for Python Package Development
From dependency management to quality assurance, documentation, and CI/CD

Create your first sales dashboard in Apache Superset
Superset dashboard tutorial. A step by step guide about how to use Apache Superset to create an interactive e-commerce sales dashboard to track enterprise KPIs. A free and open-source business intelligence tool to create interactive sales dashboard

Getting started with Elasticsearch 7 in Python
Learn the basics of Elasticsearch 7.x, its setup, and implementation in Python.

Newsletter Dane i Analizy, 2021-05-10

Mon, 10 May 2021 09:00:00 +0000

How to Perform Basic ML Serving With Python, Docker, and Kubernetes
This tutorial provides a basic, step-by-step example of real-time serving a machine learning (ML) model as a REST API with Python, Docker, and Kubernetes. We’ll build a basic REST API with Python, test it locally with Docker, and deploy our API with Kubernetes. By the way, if you want to go faster, (…)

Dockerizing Shiny Applications
Docker provides isolation to applications. Images are immutable. Running multiple instances of the same image can serve many users at the same time. All these general advantages of containerized applications apply to Shiny apps too. The post Dockerizing Shiny Applications first appeared on (…)

Jak zostać analitykiem (danych, systemowym, rozwiązań)?

Sun, 09 May 2021 15:30:57 +0000

17 lat temu Polska weszła do UE. Dokładnie tego samego wieczoru wychodziłem z knajpy po zakończonym oblewaniu obronionej pracy magisterskiej.

Dzisiaj jestem formalnie analitykiem IT. Czego się nauczyłem w tym czasie? Czy coś bym zmienił?

Wiem z dostępnych mi danych, że stronę Dane i Analizy na Facebooku obserwują w około 1/5 ludzie w wieku 18-24 lata oraz w nieco ponad 1/2 osoby w wieku 25-34 lata. Bloga czyta podobna publiczność, w prawie identycznym rozkładzie. Tak więc sporo z Was jest na początku swojej kariery zawodowej. Zakładam też, że skoro jesteście fanami strony i czytelnikami bloga to interesuje Was ogólnie pojęte zajmowanie się danymi.

Newsletter Dane i Analizy, 2021-05-03

Mon, 03 May 2021 09:00:00 +0000

Comparison of JOINS: MongoDB vs. PostgreSQL | EDB
This is the second in a continuing series comparing MongoDB capabilities with those of Postgres. The first post covered “Schema Later Considered Harmful.”

Using Machine Learning to Predict Customers Next Purchase Day
Machine Learning model to predict whether customers will make their next purchase after a certain period. Image by Mediamodifier and can be accessed here . Introduction If there is one major lesson that those in the retail business have learnt from the SARS-CoV-2 pandemic, it is the demand to (…)

Jak trzymać konfigurację skryptów?

Mon, 29 Mar 2021 16:06:13 +0000

Jak trzymać konfigurację skryptów? Żeby było bezpiecznie i wygodnie? Przy prostych zadaniach konfiguracyjne parametry można (ale nie należy!) trzymać inline w kodzie. Ale lepiej w zmiennych (właściwie stałych) zdefiniowanych na początku pliku (i odpowiednio nazwanych, żeby wiedzieć że to stałe związane z konfiguracją). A najlepiej - w pliku zewnętrznym (lub zmiennych systemowych, ale tym się dzisiaj nie zajmiemy).

Photo by Ferenc Almasi on Unsplash

Dlaczego w pliku zewnętrznym? Z co najmniej dwóch powodów:

Hyperopt i szukanie najlepszego parametru

Wed, 23 Dec 2020 15:04:21 +0000

Kontynuując cykl o Pipelines w SciKit-Learn zajmiemy się tematem kręcenia śrubkami w modelach w poszukiwaniu najlepszego wyniku. Użyjemy do tego pakietu hyperopt.

W poprzednich częściach poznawaliśmy co to “pipeline” w SciKit-Learn, tworzyliśmy własne estymatory (przy okazji ucząc się trochę o programowaniu obiektowym, klasach i dziedziczeniu - nawet jeśli to było nieświadome). Dzisiaj ostatnia część z cyklu - kręcenie śrubkami zwanymi hyperparametrami.

Ostatnio przeszukiwaliśmy siatkę hyperparametrów (wszystkie możliwe kombinacje) przy użyciu wbudowanych w SciKit-Learn mechanizmów (na przykład GridSearchCV). Dzisiaj poszukamy innej metody, innego pakietu. A będzie nim hyperopt.

Pipeline w SciKit Learn - własny estymator

Thu, 05 Nov 2020 15:32:20 +0000

Dzisiaj napiszemy własny (a raczej poznamy mechanikę działania) oraz nauczymy się szukać najlepszych hyper parametrów dla modelu (właściwie: całego pipeline) w zwarty sposób.

W pierszej części zobaczyliśmy jak zbudować pipeline dla danych i modeli. Dzięki temu dostaliśmy możliwość zmiany sposobu transformacji danych i zmiany modeli w ramach prostego, zwartego kodu. Ale co jeśli potrzebujemy jakiś transformator którego nie ma w pakietach?

Tak jak poprzednio - nasze działania oprzemy na Pythonie i pakiecie scikit learn. Podobne rozwiązania można znaleźć w R (jeśli tego szukasz - zainteresuj się Tidymodels).

Pipeline w SciKit Learn

Sat, 10 Oct 2020 11:21:01 +0000

Co to są pipelines w sci-kit learn i jak je wykorzystać? Czyli bardziej efektywne szukanie najlepszego modelu.

Photo by JJ Ying on Unsplash

Jeśli zajmujesz się tworzeniem modeli na przykład klasyfikujących jakieś dane to pewnie wielokrotnie powtarzasz te same kroki:

wczytanie danych
oczyszczenie danych
uzupełnienie braków
przygotowanie dodatkowych cech (feature engineering)
podział danych na treningowe i testowe
dobór hyperparametrów modelu
trenowanie modelu
testowanie modelu (sprawdzenie skuteczności działania)

I tak w kółko, z każdym nowy modelem.

Data Science Summit 2020

Fri, 18 Sep 2020 11:48:55 +0000

16 października (piątek), odbędzie się IV edycja konferencji Data Science Summit

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

DSS to największe w Polsce wydarzenie o tematyce data science adresowane do wszystkich osób związanych lub zainteresowanych szybko rozwijającym się obszarem przetwarzania, analizy i wizualizacji danych oraz uczelnia maszynowego.

Data Science Summit 2020 to przede wszystkim ponad 12 równoległych ścieżek tematycznych i ponad 100 prezentacji prowadzonych przez najbardziej pożądanych ekspertów z Polski i zagranicy.

Analiza polskiego crowdfundingu na bazie Patronite.pl

Sun, 30 Aug 2020 15:45:49 +0000

Zebrałem informacje o ponad 1700 profilach na Patronite.pl - wiem ile zarabiają, ilu mają patronów i za co patroni płacą. Dzielę się tymi informacjami z Wami w - być może - największej analizie polskiego crowdfoundingu!

Patronite zgodnie z informacją na Wikipedii to założony w 2015 roku serwis wspomagający pozyskiwanie finansowania przez osoby twórcze. Podstawową formą działalności portalu jest pomoc w zdobywaniu comiesięcznego wsparcia od osób indywidualnych i instytucji.

Dla czystości tekstu pełny kod źródłowy znajdziecie w repozytorium

AI & NLP Day 2020

Fri, 21 Aug 2020 09:00:00 +0000

Do 2025 r. Polska będzie potrzebować ok. 200 tys. specjalistów zajmujących się sztuczną inteligencją - wynika z danych ostatniej, siódmej edycji raportu Monitoring trendów w innowacyjności Polskiej Agencji Rozwoju Przedsiębiorczości.

Post to informacja prasowa, a niniejszy blog oraz fanpage Dane i Analizy to patroni medialni konferencji.

W obliczu rosnącego zapotrzebowania na ekspertów AI i dynamicznie postępującej cyfryzacji, edukacja nowych i obecnych kadr IT w obszarze Big Data będzie miała znaczący wpływ na rozwój gospodarczy w najbliższych latach.

Ile trzeba zjeść czekolady żeby dostać Nobla?

Sun, 26 Jul 2020 15:10:00 +0000

Znacie to pytanie? Wiecie skąd pochodzi? To poznajcie jeszcze moje zdanie!

Janinę Bąk poznałem oglądając na YouTube jej wystąpienia w ramach konferencji - dwa albo trzy. Jedno na pewno o czekoladzie i Noblistach, to pewne. Poszukajcie, fajne jest. Te inne które oglądałem też są fajne. Janina umie w prezentacje i w statystykę, to jest bezsprzeczne. Jest zabawnie, jest na poziomie przystępnym dla laika (a statystyka to nie jest kaszka manna albo zupa pomidorowa!).

Wyniki wyborów prezydenckich 2020 - coś więcej niż mapki

Sun, 19 Jul 2020 21:51:41 +0000

Wybraliśmy nowego prezydenta Polski. Jak zwykle internet zalała seria mapek z wynikami. Ale czy mapki to wszystko co można wyciągnąć?

Mapkami podniecają się wszyscy, ale tak właściwie co one mówią o wynikach wyborów i osobach, które oddały swój głos? Dlaczego Andrzej Duda wygrał w jednych rejonach, a Rafał Trzaskowski w innych?

Oczywiście media teraz nieco onanizują się tym, że jeden kandydat wygrał więcej gmin, a inny więcej województw (proporcjonalnie oczywiście). Mapkę narysować można zawsze (zresztą z wynikami po gminach publikowałem na Twitterze jako jeden z pierwszych - dlatego warto śledzić mnie na Twitterze), o tutaj:

Promocja na książki

Sat, 11 Jul 2020 10:03:15 +0000

Jeszcze tylko do poniedziałku 13.07 promka wakacyjna w Helionie, łapcie póki są porządne rabaty!

Deep learning z Kerasem w Pythonie, a konkretnie pozycja Deep Learning. Praca z językiem Python i biblioteką Keras i wersja dla R: Deep Learning. Praca z językiem R i biblioteką Keras
Ponoć najlepsza książka do nauki Pythona Automatyzacja nudnych zadań z Pythonem. Nauka programowania
Oraz dla równowagi - najlepsza książka do nauki R: Język R. Kompletny zestaw narzędzi dla analityków danych
Analiza danych to też SQL, zatem Praktyczny kurs SQL
Najlepszym środowiskiem do pracy jest mimo wszystko Linux - podstawy złapiesz dzięki Linux. Komendy i polecenia
Ale nie wszystko musisz mieć zainstalowane na jakimś serwerze - są rozwiązania kontenerowe, więc Docker. Praktyczne zastosowania może okazać się dobrym pomysłem.
Chyba, że wolisz pozostać w świecie Excela, wówczas przyda Ci się Biblia Excela. Sposobem na przejście do bardziej zaawansowanych technik jest Power Query, w korporacjach przyda się więc Power Query w Excelu i Power BI. Zbieranie i przekształcanie danych.

Więcej książek w ramach promocji znajdziecie na stronie.

Które API szybsze - w Pythonie czy w R?

Fri, 05 Jun 2020 15:48:33 +0000

Wiele razy czytałem opinie, że Python jest szybszy a R nie nadaje się na produkcję. Ale to opinie nie potwierdzone badaniami. Tutaj pierwsze badania na ten temat!

Testom podlegać będzie API zbudowane w R z użyciem frameworków Plumber i RestRserve oraz w Pythonie z użyciem Flask.

Biorąc pod uwagę analizę danych i na przykład wnioskowanie czy predykcje oparte o te dane zarówno R jak i Python dobrze się sprawdzają. Mam nadzieję, że niejednokrotnie w ramach tego bloga pokazałem, że R jest idealny do analizy danych. A o Pythonie w tym samym kontekście pisze się wszędzie (i pewnie tutaj będzie też coraz więcej). Zatem czy warto wybierać pomiędzy tymi rozwiązaniami przy wdrożeniu na produkcję?

(py)Spark, Hadoop i HDFS - podstawy

Thu, 09 Apr 2020 19:06:13 +0000

Dzisiaj zajmiemy się wykorzystaniem Sparka i Hadoopa do przetwarzania większej ilości danych. Oraz do budowania prostego modelu (regresji liniowej). Może jeszcze nie jest to big data, ale mechanizmy są identyczne jak w przypadku większej liczby danych. Wystarczy tylko tych danych więcej zgromadzić, zbudować większe środowisko (dużo serwerów) i… też będzie działało.

A w dodatku poznamy pakiet faker który pozwoli nam na wygenerowanie sztucznych danych.

Spark i Hadoop

Apache Spark to rozwijana na zasadach open source platforma klastrowego przetwarzania danych, która ma interfejsy API dla takich języków programowania jak Scala, Python, Java i R.

Muzyka i data science

Tue, 24 Mar 2020 17:11:08 +0000

Każdego dnia pojawia się nowa muzyka, w wielu różnych gatunkach. Jak wybrać to, czemu warto poświęcić czas?

Dodatkowo dowiemy się jakie znaczenie ma uczciwe przygotowanie danych.

Zdjęcie na okładce: Franck V. on Unsplash

Gdybym miał powiedzieć co lubię najbardziej bez wątpienia byłaby to muzyka. Słucham dużo, nie wyobrażam sobie życia w ciszy. Ale mimo dostępu do nieskończonych (powiedzmy) zasobów muzycznych chociażby poprzez Spotify zauważyłem, że zamykam się w bańce już znanych wykonawców i utworów. A ja lubię odkrywać nowe dźwięki, tylko nie mam czasu (trochę też zbyt na to jestem leniwy) na szukanie nieznanych utworów czy wykonawców. Po co mam poświęcać kupę czasu na szukanie czegoś co mi się nie spodoba?

Mapy w Pythonie

Fri, 28 Feb 2020 15:07:09 +0000

Jakiś czas temu pokazywałem jak w prosty sposób narysować mapę w R. Dzisiaj powtórzymy zadanie dla Pythona.

Skorzystamy z danych GUS na temat bezrobocia oraz liczby ludności (pomijając dokładność złożenia danych - interesuje nas rysowanie map, a nie analiza bezrobocia) oraz map z Głównego Urzędu Geodezji i Kartografii.

Jeśli potrzebujesz podobnych informacji jak zrobić to wszysto w R sprawdź na początek wszystko co jest w ramach tagu mapa

Skąd pobrać dane?

Dane o liczbie ludności: Ludność / Stan ludności / Ludność wg grup wieku i płci w tzw. BDLu (czyli Banku Danych Lokalnych GUS) - bierzemy dane z 2018 roku (najnowsze pełne jakie są); Wiek = ogółem, Płeć = ogółem; wszystkie jednostki terytorialne. W wyniku klikania dostaniemy się do tabeli, którą ściągamy lokalnie poprzez Export / CSV - tablica wielowymiarowa.
Dokładnie tak samo pozyskujemy dane o liczbie bezrobotnych: Rynek pracy / Bezrobocie rejestrowane / Bezrobotni zarejestrowani wg płci w gminach (znowu: ogółem, 2019 rok, wszystkie jednostki; pobieramy plik CSV dokładnie tak samo jak wyżej).
Dane mapowe bierzemy z GUGiK - interesuje nas archiwum PRG – jednostki administracyjne (uwaga - to ma 375 MB!). To archiwum rozpakowujemy i (coś co ja robię, żeby później nie było problemów) zmieniamy nazwy plików tak, aby pozbyć się polskich znaków i wszystkie litery w nazwie były małe.

Przygotowanie danych z GUS

Ale zanim - potrzebne nam będzie kilka pakietów Pythona do dalszej pracy:`

Montaż filmowy w Pythonie?

Tue, 28 Jan 2020 13:56:30 +0000

Czy da się automatycznie rozdzielić film na poszczególne ujęcia?

Oczywiście da się. Ale jak do tego podejść?

Dzisiejszy wpis to swego rodzaju zapis sposobu rozwiązania problemu. Wielkiej sztuki programistycznej tutaj nie ma, ale (mam nadzieję) ciekawa jest droga przez całą analizę do uzyskania konkretnego efektu.

Obraz cyfrowy składa się z punktów (określonej ich liczbie - wysokość x szerokość) o różnej barwie. Barwę najczęściej opisują trzy składowe: czerwona, zielona i niebieska (RGB). Wideo to nic innego jak ciąg (kolejne klatki) takich statycznych obrazów.

Wywiad dla podcastu "Biznes Myśli"

Mon, 06 Jan 2020 17:00:00 +0000

Tuż przed końcem roku miałem przyjemność porozmawiać z Valdimirem na temat danych, ich analizy i wizualizacji.

Podczas rozmowy mówiłem między innymi o:

Kiedy możemy mówić, że dane są dobrej, a kiedy złej jakości
Co można zrobić, aby dane były dobrej jakości
Czym jest scrapowanie danych, kiedy można spróbować, kiedy lepiej unikać
Jak wizualizować dane, aby były jednoznacznie czytelne
Jak nie dać się oszukać przez dane i jak unikać nieświadomego przekłamywania danych
Jak powinien wyglądać dostęp do danych w idealnym świecie

Tutaj znajdziecie transkrypcję nagrania, a samo nagranie poniżej:

Analiza własnych finansów

Fri, 13 Dec 2019 14:20:00 +0000

Jak nauczyć się analizy danych? Robiąc małe i duże projekty.

Kiedyś napisałem post o tym jak się przemieszczam w którym odsłoniłem dość dużo swojej prywatności, dzisiaj ciąg dalszy.

Postanowiłem, że mocniej wezmę się za Pythona i to co potrafię dość szybko zrobić w R będę robił w Pythonie. To najlepszy sposób na naukę - zmuszać się w pewnym sensie do przełamywania własnych oporów. Z drugiej strony - od dawna chodził za mną tekst związany z analizą własnych wydatków.

Analiza wystąpienia udaru niedokrwiennego mózgu

Fri, 15 Nov 2019 16:52:10 +0000

Zanonimizowana próbka danych NFZ dotycząca wystąpienia udaru niedokrwiennego mózgu NFZ opublikował dane, zobaczmy czy coś ciekawego z nich można wyciągnąć?

Dzisiaj wpis gościnny - autorstwa Dominiki Kuc. Opublikowałem na Dane i Analizy link do danych z zaproszeniem do skorzystania z nich. We wpisie na fanpage’u napisałem też, że jeśli ktoś zechce to mogę go opublikować tutaj. Dominika skorzystała i przygotowała analizę. Widzicie jak łatwo?

A teraz oddaję już miejsce na Waszych ekranach Dominice.

Sejm VIII kadencji

Mon, 28 Oct 2019 13:26:13 +0000

Wybory parlamentarne 2019 dobiegły końca, a co za tym idzie mamy zmianę kadencji Sejmu. Podsumujmy więc mijającą, ósmą kadencję Sejmu Rzeczpospolitej Polskiej. Kiedy głosowali posłowie, o jakich porach dnia i nocy? Kto był najczęściej nieobecny?

Niniejszy wpis pokaże Wam jakieś ogólne, dość przekrojowe statystyki. Sądzę, że to dobry materiał wyjściowy dla redakcji informacyjnych. Można poszerzyć analizę o dodanie innych źródeł, szczególnie doniesień prasowych. Ale niech zajmą się tym dziennikarze, a nie analitycy. Mogę pomóc, dogadamy się (po ile teraz wierszówka? a research?).

Latający premierzy

Tue, 20 Aug 2019 15:49:02 +0000

Przełom lipca i sierpnia 2019 roku w polskiej polityce zdominowany był przez informacje o lotach - najpierw marszałka Sejmu, później kolejnych premierów. KPRM opublikował listę lotów kolejnych premierów z ostatnich kilku lat - zobaczmy czego nie zrobiły z nią media?

Listy te (na dzień 18 sierpnia 2019 roku) dostępne były pod linkami:

Nie znalazłem w żadnych mediach sensownego porównania pomiędzy premierami, więc porównam sobie sam. Przy okazji pokazując jak można w kilkadziesiąt minut przygotować rzetelny materiał.

(Inteligentne) Raporty na żądanie

Wed, 07 Aug 2019 20:17:22 +0000

Dzisiaj przygotujemy narzędzia do automatycznego generowania raportów, które będzie (quasi) inteligentnie odpowiadać na pytania zadane przez email.

Czyli jak pozbyć się upierdliwej pracy (i zająć się czymś innym)

Uwaga: wraz z aktualizacją pakietu gmailr do wersji 1.0 prezentowany poniżej kod związany z logowaniem do konta może nie działać. Przeczytaj proszę informacje o tym jak to zmienić Kod na GitHubie powinien być ok.

Problem z jakim można się często spotkać w korporacjach to wysyłanie tych samych raportów mailem. Wyobraźmy sobie taki scenariusz:

Model jako API (w R)

Wed, 17 Jul 2019 13:19:18 +0000

Budujemy model w R. Daje nawet dobre wyniki. Ale jak go użyć produkcyjnie? Gdyby tak pytać o wynik korzystając z API?

Dzisiaj o tym jak przygotować w R web-serwis, czyli narzędzie które zapytane (w odpowiedni sposób) przez internet zwróci nam jakiś wynik. W naszym przypadku odpowiedzią będzie wynik działania modelu.

Zadanie podzielimy na kilka etapów:

przygotowanie modelu
przygotowanie funkcji, które będą używać naszego modelu
web-service korzystający z tych funkcji

Przygotowanie modelu

Na warsztat weźmiemy bardzo prosty przykład i prosty model. Będziemy przewidywać gatunek irysa na podstawie rozmiarów płatka (petal) i kielicha (sepal) - czyli wykorzystamy popularny w uczeniu maszynowym zbiór iris.

Jak interpretować wyniki analizy komponentów głównych (PCA)?

Fri, 17 May 2019 09:18:08 +0000

W sieci dostępne jest multum informacji na czym polega metoda PCA, jednak ich istotnym problemem jest to, że za bardzo skupiają się na stronie matematycznej, a za mało na tym jak interpretować, rozumieć i wyjaśniać wyniki osobom nieobeznanym w statystyce i naukach ścisłych.

Dzisiejszy wpis jest wpisem gościnnym - autorem poniższego tekstu jest dr Iwo Augustyński.

W sieci dostępne jest multum informacji na czym polega metoda PCA, jednak ich istotnym problemem według mnie jest to, że za bardzo skupiają się na stronie matematycznej a za mało na tym jak interpretować, rozumieć i wyjaśniać wyniki osobom nieobeznanym w statystyce i naukach ścisłych. Celem poniższego artykułu jest wypełnienie tej luki. Zanim jednak przejdziemy do wyjaśnień parę słów wstępu na temat działu statystyki, z którego metoda PCA się wywodzi.

Gole w europejskich ligach

Wed, 24 Apr 2019 13:21:16 +0000

Skąd padają gole? Jak poruszają się piłkarze podczas meczu? Czy zawodnicy podają zawsze do tych samych?

Wszystkiego tego można się dowiedzieć jak tylko ma się odpowiednie dane… Warto przeglądać czasem Reddita - można znaleźć np. Soccer shots dataset (post już jest skasowany, ale kto pierwszy ten lepszy) zawierający link do arkusza z danymi zeskrapowanymi z ciekawej strony understat.com.

Skoro ktoś zdjął te dane i udało mi się zapisać do nich link to wykorzystajmy je!

Instagram - zbieranie danych i bot

Wed, 27 Mar 2019 14:28:51 +0000

Konto na Instagramie mam od kwietnia 2012 roku, ale nie zajmuje on mojego czasu (nie zaglądam tam wcale). Kiedyś chciałem sprawdzić czy zdjęcia z tagu #warszawa są zrobione w Warszawie, ale nie sprawdziłem… Do dzisiaj.

Tekst How I Eat For Free in NYC Using Python, Automation, Artificial Intelligence, and Instagram który robi furorę w ostatnich dniach sprawił, że wreszcie ruszyłem tyłek i zająłem się tematem. Kilka miesięcy temu widziałem tutorial How to Get Instagram Followers/Likes Using Python, dzisiaj spróbujemy w R.

Najpopularniejsze imiona dzieci nadane w 2018 roku

Tue, 05 Mar 2019 16:07:11 +0000

Niedawno Ministerstwo Cyfryzacji opublikowało listę najpopularniejszych imion nadawanych dzieciom w 2018 roku. Wykorzystamy to do połączenia Pythona z R (albo R z Pythonem).

Lista opublikowana została w postaci serii tekstów na stronach Ministerstwa, w formie całkowicie niezjadliwej. Co więcej - prasa podała informacje dalej, bez żadnego obrobienia tych danych. Zróbmy to więc jak należy przy okazji łącząc R i Pythona.

Aby móc w RStudio używać Pythona oraz mieć dostęp do obiektów Pythona w sesji R potrzebujemy biblioteki reticulate - polecam się z nią zapoznać. Daje ciekawe możliwości, które właśnie za chwilę zobaczymy na konkretnym przykładzie.

Analiza ofert pracy

Mon, 18 Feb 2019 21:42:14 +0000

Ile jest pracy dla ludzi zajmujących się analizą danych i machine learningiem? Jakiej pracy w Polsce jest najwięcej? Czy widać podział na Polskę A i Polskę B w ofertach pracy?

Nie znalazłem żadnych raportów ani badań na ten temat. Największy (chyba) portal z ofertami pracy Pracuj.pl publikuje co jakiś czas raport, ale to nie to. Już lepsze są wyniki ankiet prowadzonych przez Stackoverflow ale to są dane globalne. Najbliższe temu czego szukałem były raporty np. dla województwa łódzkiego, ale najnowszy dotyczy wiosny 2015 roku (zresztą najnowsza aktualność na tej stronie to grudzień 2015…). Łódzki raport robiło pięć osób, to co poniżej robiłem sam. Może więc mieć swoje niedoskonałości, ale mam nadzieję że będzie dla Was interesujący.

Testowanie rozkładu, hipotez i regresja logistyczna

Thu, 24 Jan 2019 17:33:14 +0000

Dzisiaj trochę nadrabiana statystyki za pomogą R. Zobaczymy jak przetestować czy rozkład jest normalny, jak przetestować hipotezy i jak zbudować prosty model.

library(tidyverse)
library(broom)
library(knitr)
library(kableExtra)

Za dane przykładowe posłużą nam dane o wzroście i wadze w podziale na płeć. Wczytujemy dane - użyjemy zestawu danych z Kaggle (ściągnąłem je wcześniej na dysk):

data <- read_csv("weight-height.csv")

# szybki rzut oka w dane
glimpse(data)

## Observations: 10,000
## Variables: 3
## $ Gender <chr> "Male", "Male", "Male", "Male", "Male", "Male", "Male", "…
## $ Height <dbl> 73.84702, 68.78190, 74.11011, 71.73098, 69.88180, 67.2530…
## $ Weight <dbl> 241.8936, 162.3105, 212.7409, 220.0425, 206.3498, 152.212…

Dziwne te liczby: wzrost w okolicach 70? Waga blisko 200? Dane są amerykańskie, więc wzrost mamy w calach, a wagę w funtach. Nie musimy, ale możemy przeliczyć to na jednostki metryczne - będzie nam łatwiej interpretować wyniki.

Podsumowanie 2018 roku na blogu

Fri, 04 Jan 2019 12:47:59 +0000

Początek roku to dobry czas na podsumowanie roku poprzedniego. Wykorzystajmy więc ten moment i podsumujmy 2018. Oczywiście z użyciem R.

W zeszłym roku dokonałem analogicznego podsumowania opartego jedynie o dane z Google Analytics. Tym razem skorzystamy bezpośrednio z danych zawartych w postach (ale uzupełnimy je o dane z Google Analytics), dla ułatwienia wyciągniętych z bazy danych.

Chciałbym dowiedzieć się kilku rzeczy o moim pisaniu w 2018 roku:

Jakich słów używałem najczęściej?
Czy da się podzielić posty na tematy?
Jak długo żyją posty (ile dni po publikacji są czytane)?
Czy istnieje korelacja pomiędzy liczbą wizyt a liczbą komentarzy?

Ja to wszystko wiem na bieżąco, ale pokażę Wam jak to zrobić. A nuż przyjdzie komuś przeprowadzić podobną analizę? Antyweb, Spider’s Web, Niebezpiecznik - Was przeanalizowałbym najchętniej pod tym kątem :) Grzesiek, Przemek, Piotrek - piszcie na maila! Potrale nawet chętniej…

Spark, czyli opóźnienia pociągów

Fri, 21 Dec 2018 14:52:21 +0000

Czy polskie pociągi są punktualne? To pytanie, na które poszukamy odpowiedzi, ale jest ono tylko przyczynkiem do dzisiejszego wpisu.

Chciałbym pokazać dzisiaj sposób znalezienia odpowiedzi, nawet nie samą odpowiedź. Skąd wziąć dane? Jak sobie z nimi poradzić? Czym je uzupełnić?

Pozyskanie danych

W pierwszym odruchu pomyślałem o stronach PKP i webscrappingu. Ale na Twitterze mojego bota @rstatspl obserwuje inny bot - @OpPociagow, który prezentuje ciekawe dane. Skoro prezentuje to je ma. Skoro ma, to gdzieś są. Chwila rozmowy z twórcą i uzyskujemy adres InfoPasażer Archiver - archiwum opóźnień pociągów.

Analiza wykopalisk z głównej strony Wykop.pl

Wed, 12 Dec 2018 09:15:47 +0000

Czy Wykop to obraz całego świata czy tylko specyficzny dla społeczności wycinek? Co cieszy się największym powodzeniem? Wykop to serwis tworzony przez użytkowników. Każda informacja jest dodawana, oceniana i komentowana przez społeczność. Te najciekawsze (z największą liczbą wykopów, czyli głosów pozytywnie oceniających dodane znalezisko) trafiają na stronę główną. Analizą tego co trafiło na główną stronę Wykopu się zajmiemy. Kiedyś była taka analiza (Statystyki wykopu z lat 2005-2017), ale nowszej nie znalazłem. Sporo takich materiałów przewija się przez Reddit o Reddicie. Dlaczego więc, nie zrobić tego samego dla naszego polskiego odpowiednika? Dane zostały zebrane wieczorem 2 grudnia 2018 roku, tylko z pierwszych trzech tysięcy stron strony głównej serwisu. Świetnie byłoby mieć dane o każdym znalezisku, o tym kto zagłosował na plus, kto na minus. Tych danych byłoby bardzo dużo, ale nie chciałem ich zbierać. Zajęło by to dużo czasu, jeszcze więcej zajęła by obróbka, a mam inne rzeczy do roboty. Początkowo analiza ta miała być wprawką do nauki Pythona, ale stanęło (jak zwykle) na R. W Pythonie napisałem skrypt scrappujący dane. Skrypty (jakieś szczątkowe) i zebrane dane znajdziecie na moim repo. Zacznijmy od liczby znalezisk wpadających na stronę główną. Widzimy, że liczba ta jest mniej więcej stała i jest to średnio około 65 znalezisk dziennie (max to 156 - 19 grudnia 2015, minimum to 31 z 11 czerwca 2016 roku). Rozkład jest ładny, symetryczny, taki Gauss prawie. Znajdźmy absolutne hity - czyli znaleziska najwyżej wykopane: Aby było łatwiej je przeglądać (i dowiedzieć się o czym są - na podstawie opisów dodanych przez zgłaszających) poniżej tabela z bardziej szczegółowymi informacjami:

Wycieczki do Grecji

Fri, 30 Nov 2018 16:47:06 +0000

Ile kosztuje wycieczka do Grecji? Czy last minute jest opłacalne i kiedy cena zaczyna spadać? Jak znaleźć najbardziej atrakcyjne miejsce na wypoczynek (w Grecji)? Jakiś czas temu analizowałem raporty publikowane przez Polski Związek Organizatorów Turystyki. Z analizy wyszło, że najchętniej jeździmy na wypoczynek do Grecji (tak było w drugiej połowie 2017 roku). Postanowiłem więc sprawdzić ile kosztuje taki wyjazd.

Zebranie danych

Aby cokolwiek analizować trzeba mieć dane. Jeśli nie mamy dostępu do baz oraz nie możemy (albo nie chcemy) ich kupić to można pokusić się o ich zebranie z sieci. Założeniem tego bloga jest to, aby kolejne analizy przygotowywać bez opłat (nie licząc czasu i kosztów typu serwery), zatem dane weźmiemy sobie sami.

Wielka bitwa majonezów! Ketchupów też

Thu, 15 Nov 2018 13:40:26 +0000

Mieszkałem w Krakowie, teraz w Warszawie, przez długi czas często bywałem w Poznaniu, mam znajomych z różnych części kraju - wszystkie te miejsca charakteryzują się różnymi nazwami tego samego. Jedni wychodzą na pole, inni na dwór. Jedni kupują migawkę na krańcówce, a do innych w grudniu prezenty przynosi Gwiazdor, Dzieciątko lub po prostu Mikołaj. A jak wygląda popularność ketchupu lub majonezu?

Skąd pomysł

Ponad pół roku temu trafiłem na wpis pokazujący mapę regionalizmów w Niemczech. Jestem fanem postów z /r/MapPorn na Reddicie, w szczególności takich jak ten pokazujący od którego policzka Francuzi zaczynają całowanie podczas powitania (była też mapa o liczbie cmoknięć - nie tylko we Francji, ale w całej Europie; Polacy całują na trzy - prawda?). Wszystko to było inspiracją do zrobienia czegoś podobnego samodzielnie. Bo nauka jakiejś umiejętności to zazwyczaj powtarzanie tego, co ktoś już zrobił - w imię ja też tak potrafię. To dobre podejście, w wielu dziedzinach. Jeśli chodzi o polskie lokalne upodobania czy nazwy tego samego (regionalizmy) to ciekawy zbiór znajdziecie na jednym fanpage’u (niestety nieco już opuszczonym) oraz w archiwum tekstów BIQData z Wyborczej. Wszystko już było, więc potrzebowałem czegoś innego do identycznego zadania. Nie wiem czy wiecie, ale taki na przykład majonez ma zwolenników poszczególnych marek. Fani Kieleckiego nie kupią nigdy innego. Tym tropem idąc podobnie może być z ketchupem. Czy z musztardą to nie wiem - mam wrażenie, że wystarczy wszystkim sarepska (zwana saperską), a producent nie ma już takiego znaczenia. Ale z majonezem na pewno taki podział istnieje. Mieszkając na Bieżanowie w Krakowie wiedziałem gdzie panuje Wisła, a gdzie Cracovia (bodaj ulica Teligi wyznaczała granicę). A jak to wygląda w całej Polsce? Czy kibice poszczególnych drużyn są skupieni wokół określonych regionów? Wydawałoby się, że tak. Podważać i wątpić to jednak podstawowa zasada badacza danych, zatem trzeba tezę zweryfikować. I tutaj docieramy do końca tego przydługiego wstępu. Cel (narysowanie mapki regionalizmów) został wyposażony w przedmiot badań (majonez, ketchup i przy okazji drużyna piłkarska) i pozostała egzekucja.

Facebook w R

Tue, 16 Oct 2018 15:04:18 +0000

Kto uważany jest za gwiazdę rozrywki 100-lecia niepodległej Polski? Takie pytanie pojawiło się w poniedziałek 15 października na fanpage’u Karoliny Korwin-Piotrowskiej. Pani Karolina poprosiła o wpisywanie nazwisk w komentarzach. Oczywiście obudził się we mnie umysł pragmatyczny i zapytał (siebie): ciekawe jak ona to ręcznie sobie policzy?. Ludzie przecież będą wpisywać nazwiska jak leci a nie w jakiejś uporządkowanej formie. Bo ankietę można zrobić tak jak ta majonezowo-ketchupowa do której wypełnienia serdecznie namawiam! Jak będzie dużo głosów to będzie sensowny wynik. I opowieść jak to wszystko zostało zbudowane. Zajmie Ci to góra dwie minuty. Nie po to człowiek siedzi w internecie i analizie danych, żeby z takim problemem sobie nie poradził. A że w R jest dostępny pakiet Rfacebook to zadanie policzenia głosów jest banalnie proste. Poza Rfacebook przyda nam się kilka innych pakietów (w sumie standard):

Jak odczytać maile z Gmaila w R?

Mon, 08 Oct 2018 15:51:43 +0000

Wszystko zaczęło się od awarii Home.pl i jednego postu na Facebooku… Post, o którym mowa to screen shot skrzynki mailowej pełnej informacji od czytelników Niebezpiecznika donoszących o awarii serwerów Home.pl (o samej awarii tutaj).

W komentarzach pojawił się pomysł, żeby stworzyć mechanizm informujący, że w skrzynce odbiorczej wzrasta liczba maili dotyczących określonego tematu. Jak do tego podejść? Zastanówmy się czego potrzebujemy, aby taki “sygnalizator” przygotować. W najprostszej formie, przynajmniej na początek. Potrzebujemy:

Kategoryzacja użytkowników strony www

Tue, 02 Oct 2018 09:50:33 +0000

Jak podzielić użytkowników strony internetowej na grupy? Korzystając tylko ze statystyk ruchu. W poprzedniej części dowiedzieliśmy się jak skorzystać z danych z Google Analytics w R. Pod koniec wpisu podałem linki do postów, które opisują jak dodać unikalne ID użytkownika wchodzącego na stronę. Dzisiaj zajmiemy się próbą przypisania każdego z użytkowników do jakiejś grupy. Kategoryzacja klientów to jedno z podstawowych działań w biznesie. Dlaczego? Możemy zechcieć coś innego pokazać na naszej stronie różnym grupom klientów. Albo - jeśli mamy na przykład maile (z zapisów na newsletter) wysłać inne treści. Znajomość klientów i ich zachowań to podstawa. Spróbujemy na podstawie posiadanych danych określić grupy klientów. Tymi danymi mogą być odwiedziny na stronie WWW albo wyświetlenie reklamy w aplikacji w telefonie, zakupy w rzeczywistym sklepie, udział w jakimś wydarzeniu (na przykład pójście do kina). Zwróćcie uwagę, że w każdym z wymienionych przypadków wiemy zazwyczaj nieco więcej:

Google Analytics w R

Wed, 26 Sep 2018 16:16:34 +0000

Google Analytics to chyba najpopularniejszy sposób mierzenia ruchu na stronach internetowych. Można bardzo dużo wyklikać w panelu, ale może zaistnieć potrzeba pobrania danych statystycznych do analiz, których GA nie daje. Dzisiaj dowiesz się jak zrobić to w języku R. Jak większość zadań, tak samo i to ma pomocny pakiet. Jak można się podziewać pakiet nazywa się RGoogleAnalytics i dostępny jest poprzez instalację z GitHuba:

devtools::install_github("Tatvic/RGoogleAnalytics")

Załadujmy więc go do R (razem z innymi pakietami) i do dzieła:

Kto pisze teksty przemówień prezydenta Dudy?

Thu, 20 Sep 2018 16:13:07 +0000

Pytanie tytułowe jest nieco przewrotne. Sprawdzimy czy wystąpienia są do siebie podobne, a przede wszystkim dowiemy się jak to zrobić. Nazwisk autorów wystąpień nie podam… Niniejszy tekst to fragment (ale rozbudowany i zmodyfikowany) mojej prezentacji z konferencji “Machine Learning @ Enterprise”. Całość prezentacji z odpowiednimi skryptami znajdziecie na GitHubie. Dzisiaj skorzystamy z bibliotek:

library(tidyverse) # wykresy i manipulacja danymi
library(data.table) # dla fread - szybkie wczytywanie plików CSV
library(lsa) # dla cosine()
library(Rtsne) # implementacja t-SNE w R
library(plotly) # interaktywne wykresy
library(tidytext) # do manipulacji tekstem
library(wordcloud) # chmurki słów
library(lubridate) # manipulacja datami
library(rvest) # do pobierania danych z www
library(glue) # wygodne sklejanie ciągów znaków

W pierwszym kroku potrzebujemy wypowiedzi Andrzeja Dudy. Na szczęście wszystko jest podane na tacy na oficjalnej stronie prezydenta, a jedyne czego potrzebujemy to wyłuskać teksty. Do tego celu przygotujemy kawałek kodu:

Zmiany w Polsce a głosowanie w ONZ

Fri, 17 Aug 2018 11:45:37 +0000

Czy zmiany w Polsce (koniec PRL, wstąpienie do NATO i UE) mają odzwierciedlenie w głosowaniu w Zgromadzeniu Ogólnym Organizacji Narodów Zjednoczonych? Kto jest (a kto był) naszym przyjacielem a z kim nam nie jest po drodze? Dzisiejszy wpis to sporo kodu (dość prostego, często powtórzonego - nie programujcie w ten sposób!), a całość podzielić można na kilka części:

opis użytych narzędzi - dwa nowe (na blogu) pakiety: widyr oraz unvotes
przygotowanie danych do dalszej pracy

Właściwa analiza zaczyna się od

Gdzie są sklepy, drogi czy cokolwiek innego?

Fri, 10 Aug 2018 18:49:05 +0000

Zastanawialiście się skąd wziąć listę wszystkich miejsc danego typu - na przykład przedszkola w Warszawie - i narysować je na mapie? Jeśli tak, to z tego postu dowiesz się jak to zrobić. Wpis techniczny, żadna tam analiza. Ale są mapki! Macie świadomość, że istnieje coś takiego jak Wikipedia, prawda? Zbiór haseł uzupełniany przez ochotników. Istnieje coś podobnego dla map i nazywa się Open Street Map. Ludzie z całego świata dodają informacje o różnych obiektach na mapach - budują drogi, stawiają domki i tak dalej. Dane te można pokazać jako mapy, ale też przeszukiwać. W R mamy pakiet osmdata (przygotowany przez zacną inicjatywę rOpenSci, a jest opakowaniem dla Overpass API), który umożliwi nam skorzystanie z tych informacji. W dalszej części do pokazania (na interaktywnych, przesuwanych i skalowanych) map użyjemy pakietu leaflet (opierający się na bibliotece JavaScript Leaflet, który nota bene również korzysta z Open Street Map. Ciekawostka na marginesie: ostatnio Google zmienił drastycznie ceny używania Google Maps (ciekawy tekst na ten temat znajdziecie tutaj), zatem korzystanie z Open Street Map może być wybawieniem. Zaczniemy od wczytania odpowiednich bibliotek:

Sympatia - porównanie pań i panów

Thu, 02 Aug 2018 14:48:52 +0000

Ostatnia część cyklu analizy informacji zebranych z profili serwisu randkowego Sympatia.pl.

W poprzednich częściach:

było o kobietach z Sympatii
a także o kobietach przez pryzmat ich zdjęć profilowych
żeby było sprawiedliwie - było też o mężczyznach

Dzisiaj porównamy panie i panów w różnych przekrojach, a także - co wydaje się być najciekawsze - zderzymy ze sobą deklaracje i oczekiwania obu stron. Właściwie jest to zestawienie tego, co widzieliśmy w pierwszych dwóch częściach (o paniach i o panach) Zacznijmy od sprawdzenia czy w danym województwie jest tyle samo profili kobiet i mężczyzn w konkretnym wieku. Czy jest tak, że gdzieś mamy więcej poszukujących nieco starszych panów, a gdzie indziej więcej młodszych kobiet?

Dziewczyny z Sympatii - co widać na zdjęciach?

Mon, 30 Jul 2018 16:34:30 +0000

Było już o kobietach z Sympatii (i o panach), ale wszystko to było na podstawie informacji zawartych w profilu. Dzisiaj sięgniemy nieco głębiej. Zbierając profile zebraliśmy też linki do zdjęć. Korzystając z microsoftowego Cognitive services Face API pobieramy cechy jakie udaje się rozpoznać na zdjęciach. Między innymi są to informacje o:

wieku
płci
okularach
kolorze włosów
emocjach jakie wyraża twarz, na przykład czy osoba na zdjęciu się uśmiecha

W dużym uproszczeniu Face API to bramka do wytrenowanego modelu (zapewne sieci neuronowej). Wrzucamy zdjęcie, a w odpowiedzi dostajemy kilka parametrów, które są wynikiem porównania zdjęcia z tym czego sieć się nauczyła. Skrypt (jaki inne z tego cyklu) znajdziecie na githubie. Pobrałem tylko dane dla zdjęć pań, nie będzie odpowiednika tego samego wpisu dla panów. Zobaczmy co sztuczna inteligencja wyczytała ze zdjęć i jak to się ma do informacji podawanych w profilach przez ich właścicielki.

Chłopaki z Sympatii

Fri, 20 Jul 2018 13:34:45 +0000

Jacy są faceci z Sympatii? Czego szukają? Średnio jest to niebieskooki ciemny blondyn, 180 cm z Mazowsza, w 90% katolik o normalnej budowie ciała. Czuły, dowcipny, spokojny. Szuka kobiet i miłości. Lubi rower i piłkę nożną, wolny czas spędza w kinie z przyjaciółmi, interesuje się sportem i podróżami (książki po gotowaniu, ale przed komputerem). Lubi pop i rock, komedie i filmy akcji albo sensacyjne. Poprzednio było o kobietach, więc teraz o panach z Sympatii. Na prośbę telewidzów. Udało się zgromadzić około 16024 tysięcy profili panów. W wynikach wyszukiwania spełniających kryteria było ponad 87 tysięcy profili. Dla przypomnienia kobiet było około połowę mniej. Co ciekawe - panowie od razu reagowali na wizyty robota. W ciągu pierwszych trzech godzin zbierania danych robot odwiedził jakieś 2500 męskich profili. Jakieś 150 właścicieli tych profili odwdzięczyło się odwiedzeniem profilu bota, robot dostał 4 wiadomości i 3 oczka. Po kolejnych godzinach i zebraniu 7 tysięcy profili bot miał już 700 re-wizyt, 9 wiadomości i 6 oczek. Dla porównania dla zebranych 11 tys. profili kobiet było około 500 rewizyt. Po zakończeniu zbierania danych i upływie kilku dni łącznie było prawie 2600 odwiedzin (czyli około 2100 od panów), 21 wiadomości i kilka oczek. Wśród wiadomości te najbardziej przyjemne:

Dziewczyny z Sympatii

Fri, 06 Jul 2018 08:49:38 +0000

Ponad 1/3 kobiet na Sympatii szuka miłości. Chce się zakochać, wyjść za mąż i mieć dzieci. Jest czuła i towarzyska. A w dodatku małżeństwo jest dla nich bardzo ważne. Ich partner powinien być czuły, romantyczny i dowcipny. Powinien lubić spędzać czas w restauracji a nie na karaoke czy w operze. Koniecznie musi lubić podróżować! Na chyba, że chodzi o przygodę - wówczas wystarczy dowcipny. Jakie są dziewczyny z Sympatii? Czego szukają? Tym razem wpis z wykresami, a kody źródłowe znajdziecie na moim GitHubie. Krótko mówiąc:

Shiny - punkty z mapki

Thu, 05 Jul 2018 10:41:45 +0000

Jak pobrać współrzędne punktu wskazanego na mapie? Czasem istnieje potrzeba, aby w aplikacji (napisanej w Shiny) użytkownik wskazał jakąś lokalizację na mapie. Jak to zrobić? Bardzo szybki wpis, który rozwiązuje konkretny problem. Ot - takie StackOverflow ;). Trzeba narysować mapę - do map interaktywnych bardzo wygodny jest pakiet leaflet, który opakowuje nam bibliotekę Leaflet napisaną w Java Script. Przy okazji: podobnie robi plotly - obie ta biblioteki są proste w użyciu, a dają bardzo atrakcyjne efekty w postaci interaktywnych map czy wykresów. Po narysowaniu mapy ustawiamy marker na jej środku i dostosowujemy widoczny obszar. Pozostaje tylko czekać na event (zdarzenie) z Shiny. Nasza aplikacja zareaguje na zdarzenie w obiekcie mapy. Odpowiednie zmienne zawierają współrzędne klikniętego punktu. Teraz wystarczy usunąć wszystkie dodane markery i na nowo dodać jednej w klikniętym miejscu. Dodatkowo w poniższym kodzie wypisujemy współrzędne klikniętego punktu.

Mapy hipsometryczne

Thu, 28 Jun 2018 09:08:59 +0000

Jak wykorzystać dane o numerycznym modelu terenu (NMT)? Skąd je wziąć i jak przygotować do wygodniej pracy? Dzisiaj wpis mocno techniczny, bez szczególnych analiz. Gratka dla osób szukających sposobów na rozdzielenie danych punktowych na gminy, powiaty i województwa oraz wskazówki jak pokazywać takie dane na mapie (i agregować je zgodnie z podziałem terytorialnym). Oprzemy się na danych o wysokości terenu, ale to tylko przykład. Potrzebne nam będą następujące biblioteki:

library(tidyverse) # do wszystkiego :)

library(rvest) # do srappingu strony

library(rgdal) # do obsługi plików SHP
library(rgeos)
library(raster)

library(ggmap) # do wczytania mapy z Google Maps

library(sf) # do wczytywania plików SHP i łatwego rysowania

library(RPostgreSQL) # do zapisu i odczytu danych z bazy, w tym przypadku baza PostgreSQL

Kolejne fragmenty kodu to kilka skryptów złączonych w jedno. Stąd mogą trafić się powtórzenia w kodzie albo te same dane pod różnymi nazwami zmiennych. Nie przejmujcie się tym - czytając kod i rozumiejąc go znajdziecie sposób na wybranie tego, co najbardziej Was interesuje. Zaczniemy od zgromadzenia danych o wysokości terenu. Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej (CODGiK) udostępnia takie dane w postaci plików tekstowych (jeden plik to jedno województwo). Struktura plików jest bardzo prosta - w każdym wierszu mamy informację dla jednego punktu: współrzędne punktu i jego wysokość nad poziomem morza. Pliki na serwerze CODGiK są spakowane - pobierzmy je i rozpakujmy. Aby nie bawić się w ręczne pobieranie każdego pliku zeskanujmy automatycznie stronę i wyciągnijmy linki do plików. Nie raz już scrappowaliśmy strony, więc pójdzie łatwo:

Bot mundialowy

Sat, 16 Jun 2018 15:41:39 +0000

Na Twitterze na koncie @rstatspl działa bot śledząc co się dzieje na Twitterze podczas kolejnych meczy. Zapraszam!

Stawiamy własny serwer

Thu, 14 Jun 2018 11:29:30 +0000

Budujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW, PHP oraz bazami danych MySQL i PostgreSQL.

Opis środowiska
Zakupy
Konfigurujemy VPSa
R, RStudio i Shiny
Python i Jupyter
Subdomeny - konfiguracja
Dodatki
Koniec

Tym razem więcej administrowana serwerami, a mniej programowania i analizowania danych. Zbudujemy własny serwer do programowania w R i Pythonie, razem z serwerem WWW (aby móc prezentować wynik swoich prac).

Opis środowiska

W niniejszym wpisie przygotujemy serwer zbudowany na linuxie w dystrybucji Ubuntu z działającym na nim (i dostępnym przez przeglądarkę z dowolnego miejsca z internetem) RStudio. Serwer pozwoli nam też na budowanie i publikowanie aplikacji napisanych w Shiny. Przy okazji zainstalujemy Pythona razem z Jupyter Notebook (oraz JupyterLab) do wygodnej pracy. Całości dopełni baza danych PostgreSQL. Aby móc publikować swoje dzieła w formie bloga zainstalujemy PHP oraz bazy MySQL - być może zechcesz zainstalować WordPressa, a on tego wymaga. Do czego taka maszyna może się przydać? W zależności od wydajności:

Webscrapping w R

Tue, 05 Jun 2018 16:26:22 +0000

W dzisiejszym wpisie nieco bardziej techniczne sprawy, ale bardzo cenne dla osób, które przy pomocy R chcą pobierać dane ze stron WWW. Przedstawię trzy narzędzia, które w tym pomogą. Dwa pomogą na pewno, trzecie to bardziej ciekawostka do robienia screen shotów.

Jak dobrać się do tabelki na stronie?

Często jakieś dane, które nas interesują są opublikowane na stronach WWW. Można je przepisać ręcznie, można je wciągnąć do Excela (jest odpowiedni, w miarę intuicyjny importer tabelek dostępny pod guzikiem Z sieci Web w menu Dane). Ale nas interesuje oczywiście w R (i Python, ale to nie w tym odcinku). W dzisiejszych zajęciach przydadzą nam się biblioteki:

R-base, R-dplyr, R-data.table i Python

Wed, 23 May 2018 15:44:07 +0000

Podstawy manipulacji danymi w tabelkach. W R (trzy wersje) oraz w Pythonie. Bo to pierwszy post z cyklu idziemy w stronę Pythona. W dzisiejszym wpisie zajmiemy się podstawowymi operacjami na tabelach (data frame) z danymi. Dlaczego to jest ważne? Są to najczęściej wykonywane operacje w trakcie analizy danych, bo przecież:

dane trzeba wczytać do komputera
czasem zmodyfikować, na przykład policzyć wartość na podstawie dwóch lub więcej kolumn
wybrać określone wiersze lub określone kolumny
połączyć jedną tabelę z inną

Z tak przygotowanych danych można później na przykład narysować wykres czy też wrzucić je do modelu. I to jest wystarczające, na co dowodem jest pewnie z 70% moich wpisów z ostatnich 12 miesięcy (albo i więcej). Kolejne 20% wpisów to sposób pozyskania danych. 10% było pewnie o modelach wszelakich. Osobiście uważam, że w R nauczyłem się na tyle dużo, aby przejść na kolejny poziom. W pracy są to aplikacje w Shiny czy też panele w wykorzystaniem flexdashboard (znowu: w obu przypadkach 70% pracy to manipulacja danymi w tabelkach), ale ciągnie mnie do Pythona. Gdybym zaczynał przygodę z machine learning czy data science to wybrałbym Pythona. Jednocześnie mam nadzieję, że dla osób znających jeden z języków niniejszy wpis będzie ciekawym wprowadzeniem w drugi język. Jeśli chodzi o R to zobaczymy jak wykonać podstawowe operacje wykorzystując standardowe możliwości R (R-base), wykorzystując pakiety dplyr (wchodzący w skład ekosystemu tidyverse) oraz data.table. W przykładach dla Pythona będzie to pandas. Dlaczego data.table? Porównanie prędkości pokazuje, że dla bardzo dużych tabel data.table jest najszybszy. Zaczniemy od wczytania odpowiednich bibliotek. W R oczywiście:

Powiadomienia z telefonu i IFTTT.com

Tue, 08 May 2018 14:52:14 +0000

Jak dużo powiadomień generuje Android? Dzisiaj dość proste zadanie, ale może być interesujące. Od kilku lat jestem użytkownikiem i fanem serwisu If This The That który pozwala na automatyzację wielu zadań. W skrócie polega to na tym, że podpinamy do IFTTT.com swoje konta, aplikacje, urządzenia (żarówki, samochody - bo czemu nie?) i budujemy przepisy (applets). Każdy przepis to zawsze dwa elementy: wyzwalacz i akcja. Na przykład: jeśli temperatura spadnie poniżej 5 stopni (wyzwalacz) to wyślij maila (akcja). Możemy łączyć ze sobą kilka serwisów (jeśli dodam nowe zdjęcie na Instagramie to zapisz je w Dropboxie), informować o czymś mailem (wyślij maila jeśli prognoza według Weather Underground przewiduje deszcz), zapisywać historię zdarzeń (wszystkie moje twitty zapisz do arkusza Google) czy też zarządzać telefonem (włącz wi-fi jeśli jestem w rejonie oznaczonym jako dom). I właśnie z połączenia informacji z telefonu zapisywanymi do arkusza Google Sheets skorzystamy. Odpowiedni przepis IFTTT: jeśli Notification received to add row to Google Drive spreadsheet. Po kilku dniach na Dysku Google dostaniemy arkusz, w którym kolejne wiersze to kolejne zdarzenia. Teraz tylko wystarczy dobrać się do tego pliku (ciekawostka - po przekroczeniu 5000 wierszy powstaje nowy plik) i przeanalizować jego zawartość. W wydobyciu plików z Google Drive pomocny będzie pakiet R googledrive. Zatem do dzieła!

Gdzie Polacy jadą na wakacje?

Fri, 27 Apr 2018 09:08:49 +0000

Gdzie Polacy jadą na wakacje? Jak wyciągnąć w R informacje z PDFa? Jaki związek ma jedno z drugim? Zgodnie z życzeniem telewidzów ;) wyrażonym w szybkiej ankiecie żebro-lajkowej kilka dni temu

dzisiaj zajmiemy się wycieczkami (a raczej: zorganizowanymi przez biura podróży wyjazdami) zagranicznymi naszych rodaków. Czyli:

gdzie Polak jedzie na urlop?
w ile osób jedzie?
ile go to kosztuje?

Bo w ankiecie kciuki w górę wygrały (na obecną chwilę) 69 do 32 z serduszkami. Na początek trochę historii. Po sukcesie wpisów o mieszkaniach na wynajem i cenach samochodów chciałem zająć się wyjazdami z biurami podróży. To byłby hicior. Nawet znalazłem miejsce, z którego trzeba wziąć dane. Takim miejscem są raporty publikowane przez Polski Związek Organizatorów Turystyki. Raporty powstają na bazie systemu rezerwacji MerlinX i to on byłby tym źródłem danych. Same raporty nie zawierają interesujących mnie danych, na przykład:

API, Feedly i R

Fri, 20 Apr 2018 09:00:16 +0000

Jak zmusić R do korzystania z (dowolnego) API? Jak przygotować atrakcyjne tabelki w raportach? Nie tak dawno na Dane i analizy wrzuciłem post z informacją, że Feedly ma API. Źródłem inspiracji był post z bardzo fajnego bloga, którego autor chyba pracuje nad biblioteką do R obsługującą API Feedly (tak to wygląda po opublikowanych przez niego fragmentach kodu). Niby nic szczególnego, ale od czasu śmierci Google Readera brakuje mi w czytnikach RSS jednej rzeczy: informacji o tym, których kanałów nie czytam. Google Reader miał to niejako wbudowane (był wskaźnik liczby przeczytanych postów do wszystkich opublikowanych w kanale), Feedly niestety tej informacji nie ma. Spróbujemy to samo uzyskać w Feedly, najpopularniejszym chyba czytniku RSS. Może na początek słówko wyjaśnienia co to jest czytnik RSS? Większość z nas korzysta z internetu podobnie: przeglądamy wiadomości, Facebooka i Twittera (też jako źródło wiadomości), jakiegoś Instagrama czy Snapchata (to już magia dla mnie, zapewne w związku z wiekiem…). Jeśli coś nas zainteresuje w feedzie na Facebooku to przechodzimy na odpowiednią stronę, czytamy i wracamy. Podobnie jest z Twitterem. Do wiadomości najczęściej używamy jednego portalu. Problem pojawia się kiedy czytamy jakieś ulubione blogi i nie pamiętamy aby na nie wejść (a Facebook skutecznie usuwa nam z walla posty z odpowiednich stron). Albo jak potrzebujemy porównać wiadomości prezentowane przez Wyborczą, TVN z tym co pisze TVPInfo, Niezależna czy TV Republika. Poza tym nie ma czasu na czytanie nawet leadów, opinię o tekście można sobie wyrobić na podstawie samego tytułu, a jakże! Co zrobić? Z pomocą przychodzą właśnie czytniki RSS. Kanał RSS to takie pliczki XML na serwerach (najczęściej generowane automatycznie) z najnowszymi wpisami (lub ich skrótami) albo czymkolwiek innym (np. z najnowszymi ogłoszeniami z Allegro czy OLX - przydatna opcja jeśli śledzimy ogłoszenia z jakiejś kategorii, na przykład polujemy na aukcje z poszukiwanym winylem). Feedly to jeden z czytników tych kanałów. Cały myk polega na tym, że serwis co jakiś czas (jak często dowiemy się na przykładzie za chwilę) sprawdza kolejne kanały i zapisuje sobie nowości. A potem na jednej stronie widzimy skróty i linki do wszystkich kanałów. Ja mam jakieś 170 kanałów zapisanych w Feedly - nie dałbym rady codziennie ogarnąć tylu stron. Wystarczy za to 15 minut z Feedly i przegląd nowości mam z głowy. Dodatkowy plus czytnika jest taki, że nie musimy pamiętać co czytaliśmy - czytnik sam to oznacza. Ja robię tak, że przeglądam całość, czytam to co mnie interesuje (albo zaznaczam do przeczytania później - ta lista stale rośnie…), a resztę oznaczam jako przeczytane. I przy kolejnej sesji z Feedly nie miesza mi się to co nowe z tym co już czytałem (albo tylko tak oznaczyłem). Rozumiecie już ideę? Wszystkie serwisy (na które się zapiszemy) w jednym miejscu, w wygodnej aplikacji. Idealna sprawa. Ale przy większej liczbie obserwowanych kanałów rośnie liczba treści jaka wpada do czytnika. A części kanałów nie czytamy. Ja na przykład mam kategorię Wiadomości - zagranica, gdzie pojawia się dużo treści (bo są tam najnowsze z CNN i BBC), a których czytam kilka… tytułów. Resztę oznaczam jako przeczytane. Wracając do celu całego ćwiczenia: chciałbym wiedzieć które kanały usunąć, żeby mi nie zaśmiecały feedu - po co ma pojawiać się coś, czego i tak nie czytam? Zajmiemy się dzisiaj w związku z tym próbą rozwiązania tego problemu. Początek standardowy:

Przewidywanie pogody

Thu, 12 Apr 2018 08:42:57 +0000

W poprzednim odcinku zebraliśmy dane o pogodzie w Polsce od 1951 roku. Dzisiaj przygotujemy prognozę pogody. Ale przede wszystkim nauczymy się weryfikować modele. Mając zgromadzone dane o pogodzie z ponad 60 lat (1951-2017) możemy pokusić się o prognozowanie temperatury w przyszłości. Wykorzystamy trzy (właściwie dwa) modele dostępne od ręki w popularnych bibliotekach R oraz zaprzęgniemy do prognozowania sieć neuronową. Zaczniemy od potrzebnych bibliotek:

library(tidyverse)
library(lubridate)
library(DBI) # pobieranie danych z bazy SQLite
library(forecast) # na potrzeby modeli ARIMA i ETS/STLF
library(keras) # na potrzeby LSTM w TensorFlow
library(corrgram) # wykres korelacji

Na początek pobieramy dane o średniej dziennej temperaturze wszystkich stacji w latach 2000-2016. Te dane potraktujemy jako dane treningowe. Dane z 2017 roku potraktujemy jako testowe.

A lato było cieplejsze...

Tue, 27 Mar 2018 10:22:04 +0000

Czy w Boże Narodzenie zawsze brakowało śniegu? Czy klimat się ociepla? Jak ciepło przepływa przez Polskę? Dzisiaj zajmiemy się pogodą. Sporo ciekawych zagadnień przed nami:

Skąd wziąć dane o pogodzie w Polsce?
Pory roku na przestrzeni lat - czy wiosna przychodzi szybciej? A może lat trwa krócej?
- zobaczymy procentowy podział dni w roku na poszczególne pory roku (ile było dni wiosennych, a ile zimowych)
- czy wiosna przychodzi coraz szybciej - jak kształtowała się temperatura w marcu na przestrzeni lat?
Czy klimat się ociepla?
- jak wyglądały różnice w temperaturze na przestrzeni lat
- czy poszczególne miesiące są coraz cieplejsze lub zimniejsze?
- podobnie dla kolejnych dni - jak wyglądała liczba dni cieplejszych i zimniejszych niż średnia?
Czy jest różnica miedzy temperaturami w kraju?
- przygotujemy animowane mapki temperatury dla 2017 roku
A kiedyś to było…
- Boże Narodzenie ze śniegiem
- w Lany Poniedziałek było cieplej

Pobranie danych

Zanim przejdziemy do analizy potrzebujemy danych o pogodzie. Zgodnie z ustawą o dostępie do danych publicznych IMGW udostępnia dane historycznie na stronie https://dane.imgw.pl/. Dane aktualne są dostępne poprzez API, ale dane historyczne spakowane już niestety nie. Dostępne są w postaci spakowanych plików CSV, podzielone na kilkanaście katalogów. Do wszystkiego da się jednak dobrać. Aby skorzystać z tych zasobów należy każdy plik (archiwum) pobrać, rozpakować i wyciągnąć z niego dane. Aby nie operować na dużej liczbie plików przepiszemy je do bazy danych (w tym przypadku będzie to plikowa baza SQLite, chociaż może być dowolna - mySQL, PostgreSQL). Skrypt przepisujący dane znajdziecie na moim githubie (jak i pozostałe poniżej zaprezentowane kody).

Jak zrobić twitterowego bota?

Wed, 21 Mar 2018 09:52:09 +0000

Automaty rządzą naszym życiem. Czy tego chcemy czy nie. Szczególnie w sieciach społecznościowych, nawet podobno wygrały wybory prezydenckie w USA (ciekawe czy w Rosji też). Spróbujmy zatem samodzielnie napisać jakiś automat działający w social mediach. W R, chociaż można w czymkolwiek innym.

Przygotujemy automat (bota), który będzie na Twitterze publikował wybrane przez nas treści. Taki bot już istnieje - to @rstatspl. W tym wpisie znajdziecie informacje jak powstał. Bot @rstatspl robi trzy rzeczy:

Co grało radio?

Mon, 12 Mar 2018 15:39:04 +0000

Uwielbiam muzykę, lubię radio (chociaż słucham go właściwie tylko w samochodzie), kiedyś przez chwilę uczyłem się w krakowskich stacjach radiowych realizacji dźwięku. Po Więcej czadu miałem wieloletnią fazę, żeby zostać radiowcem. Radiowcem nie zostałem, ale nad stacjami radiowymi można się trochę poznęcać. Według badania Radio Track Millward Brown (ostatnie zestawienia można znaleźć na Wirtualnych Mediach) najpopularniejsze (top 5) w Polsce stacje radiowe to: RMF FM, Radio ZET, Jedynka, ESKA i Trójka. A że istnieje sobie taki serwis jak Radiospis.pl zawierający listę piosenek granych na antenie z ostatnich siedmiu dni to sobie porównamy kto co gra. Na początek przygotujemy funkcję, która zbierze nam dane ze strony:

LSTM - przewidywanie tekstu (sieci neuronowe, część 4)

Mon, 05 Mar 2018 12:52:35 +0000

Czy da się napisać tekst za pomocą sieci neuronowych? Skorzystamy (podobnie jak w przypadku sieci CNN w poprzednich częściach) z TensorFlow opakowanego w Keras. Załadujmy wiec potrzebne pakiety i ustalmy kilka stałych dla kolejnych elementów kodu:

library(tidyverse)
library(keras)
library(stringr)
library(tokenizers)

## stałe

# tekst źródłowy
book_path <- "Mroz-Kasacja.txt"

# sterowanie poniższymi parametrami może poprawić model (im więcej tym lepiej),
# na pewno ma wpływ na zapotrzebowanie na pamięć i czas

# parametry zbioru treningowego
maxlen <- 30 # wielkość okna
max_lines <- 2000 # ile linii tekstu bierzemy do treningu?

# parametry sieci
# co najmniej 20 epochów daje sensowne wyniki
EPOCHS <- 20
# liczba neuronów w sieci LSTM - co najmniej 128 daje fajne wyniki, 256 jeszcze fajniejsze
lstm_neurons <- 128

Za dane treningowe posłuży nam tekst jednej z książek Remigiusza Mroza o Chyłce i Zordonie (o poprzedniego wpisu gdzie analizowałem te książki zdążyłem przeczytać wszystkie części, a już za chwile kolejna część :) - Kasacja. Aby przyspieszyć cały proces wybierzemy tylko cześć tekstu (max_lines powyżej), co jednocześnie pozwoli na ograniczenie potrzebnej ilości pamięci.

MNIST dataset – sieci neuronowe, część 3 (sieć CNN)

Tue, 20 Feb 2018 11:19:42 +0000

Ciąg dalszy rozpoznawania pisanych ręcznie liczb. Potraktujemy obrazki jak obrazki (a nie jak wektory). Dla przypomnienia:

w zerowej części przygotowaliśmy zbiór danych (aby finalnie korzystać i tak z tego z Kaggle ;) i zobaczyliśmy jak wyglądają przykładowe liczby
w części pierwszej przygotowaliśmy modele w oparciu o XGBoost (najlepszy osiągnięty wynik to 87.1% trafności przewidywań) oraz o prostą sieć neuronową (FF, feed-forward) z wykorzystaniem pakietu nnet (najlepszy wyniki to 71.7%, ale liczone to było na fragmencie danych)
w części drugiej zainstalowaliśmy bibliotekę Keras wraz z back-endem w postaci tensorflow, poznaliśmy znaczenie współczynników loss, val_loss, acc oraz val_acc oraz przygotowaliśmy kilka modelów, z których najlepszy dał wynik około 97% poprawności rozpoznania liczb. Zrozumieliśmy (mam nadzieję) również logikę stojącą za budowaniem architektury sieci polegającą na składaniu kolejnych warstw jedna za drugą. Zobaczyliśmy również skąd mogą wynikać błędy klasyfikacji (te różne rodzaje czwórek rozpoznane jako dziewiątki na końcu tekstu)

W ostatniej dotychczas części cyklu traktowaliśmy dane o każdej z liczb w zbiorze uczącym jako wektor (czyli ciąg 784 liczb). Dzisiaj każdą liczbę potraktujemy poprawnie - jako obraz. Zaczniemy od wczytania pakietów oraz danych:

MNIST dataset – sieci neuronowe, część 2 (Keras)

Tue, 13 Feb 2018 10:34:35 +0000

Tym razem przygotujemy środowisko do pracy z Keras i rozpoznamy kilka liczb (ponownie jak poprzednio).

Instalacja Keras

Zaczniemy od instalacji. Potrzebujemy zainstalowanego Pythona na maszynie. W unixach (w tym odcinku korzystam z serwera EC2 w AWS) nie jest to problem, pod Windowsem można zainstalować go na przykład instalując Anacondę. Kolejny krok to przygotowanie R do pracy z Keras. Najpierw instalujemy bibliotekę keras:

install.packages("keras")

a następnie sam silnik:

library(keras)
install_keras()

Ta ostatnia funkcja ma trochę parametrów - między innymi odpowiedzialnych z zainstalowanie TensorFlow skompilowanego pod korzystanie z GPU (wykorzystanie kart graficznych do obliczeń - znacznie przyspiesza to cały proces, ale potrzebny jest stosowny sprzęt). Odpowiedni ich opis znajdziecie w dokumentacji. Szczegółową dokumentację Keras znajdziecie na stronie Keras.io. Proces instalacji nieco trwa za pierwszym razem, później jest już z górki. Przy instalacji na Windowsie może się coś pogryźć w Anacondzie (mi powstało drugie środowisko i trochę z tym trzeba powalczyć). Na maszynie EC2 (szczególnie t2.micro) może być okazać, że zabraknie pamięci (tak się stało dla sieci opisywanych poniżej). Rozwiązaniem jest zwiększenie wielkości tzw. swapu czyli wirtualnej pamięci, która tak na prawdę jest miejscem na dysku. Znalazłem odpowiednie obejście na niezastąpionym Stackoverflow. Stosujemy więc zwiększenie swapu, po resecie maszyny wszystko wraca do normy (chyba, że potrzebujemy pozostać przy powiększonym miejscu - odpowiednia zmiana opisana jest też na SO).

MNIST dataset – sieci neuronowe, część 1 (xgboost i nnet)

Thu, 01 Feb 2018 11:30:10 +0000

Budujemy pierwszą sieć neuronową oraz porównujemy jej wyniki z XGBoost. W pierwszej części przygotowaliśmy dane, a i tak będziemy korzystać z gotowych z Kaggle.com. Zanim wkroczymy w sieci neuronowe zobaczmy dla przypomnienia jaki mamy rozkład liczb (ile jest jakich)?

library(tidyverse)

# wczytujemy zestaw danych
data <- read_csv("data/train.csv")

data %>%
 count(label) %>%
 ggplot() +
 geom_col(aes(as.factor(label), n, fill = as.factor(n)), color = "gray50", show.legend = FALSE) +
 labs(x = "Liczba", y = "Liczba obrazków")

Żeby całość działa się szybciej i potrzebowała mniej pamięci wybierzemy po 250 próbek dla każdej liczby:

Sprzedam Opla

Tue, 23 Jan 2018 09:17:27 +0000

Auta na sprzedaż - czego można dowiedzieć się z ogłoszeń? Jak ustrzelić okazję? Tak się zdarzyło, że rozglądam się za samochodem. Ale też na bazie sukcesu analizy ogłoszeń mieszkań na wynajem z poprzedniego roku postanowiłem przygotować podobny materiał, tym razem o samochodach. Przez ponad dobę maszyna zbierała informacje z ogłoszeń z serwisu Otomoto.pl. Po kolei, ogłoszenie po ogłoszeniu, skrypt zapisywał dane do lokalnego pliku. Teraz użyjemy tych danych.

library(tidyverse)
library(lubridate)
library(stringr)
library(forcats)
library(ggrepel)

# wczytujemy nasze zgromadzone dane
auta_otomoto <- readRDS("auta_otomoto.RDS")

n_offers <- auta_otomoto %>% count(OfferID) %>% ungroup() %>% nrow()

Udało się zebrać 40747 ogłoszeń. Niektóre są już nieaktualne (bardzo szybko auta znikają), niektóre z różnych powodów nie nadają się do analizy. Jak wyglądają zgromadzone dane?

MNIST dataset - sieci neuronowe, część 0 (przygotowanie)

Tue, 16 Jan 2018 15:24:16 +0000

Zaczynamy cykl związany z sieciami neuronowymi. Zaczniemy od przygotowania danych. W kilku kolejnych postach posłużymy się danymi z ręcznie pisanymi liczbami. Zbiór ten nazywa się MNIST i jest bardzo popularny w świecie datalogów. Można go pobrać z tego miejsca. Klasyfikacja ręcznie pisanych liczb to takie hello world w sieciach neuronowych. W kolejnych częściach:

zbudujemy narzędziownię w R (w oparciu o bibliotekę Keras)
zbudujemy prostą sieć neuronową i sprawdzimy jakie daje efekty
zbudujemy sieć konwolucyjną (CNN) i sprawdzimy czy daje lepsze efekty, spróbujemy ją również rozbudować

Pliki jednak nie są w super przyjaznej formie (na przykład w Excelu nie da się ich otworzyć) - na początek więc przetworzymy je na czytelną formę. Zgodnie z opisem zbiór dzieli się na cztery pliki. Mamy więc dwie (dane treningowe i testowe) paczki: plik określający literki oraz dane opisujące ich wygląd. Pliki są binarne, przetworzymy je na pliki CSV.

2017 na blogu

Thu, 04 Jan 2018 13:40:32 +0000

Koniec jednego roku i początek drugiego to zazwyczaj czas różnych zestawień, podsumowań i planów. To podsumujmy 2017. Tym razem obędzie się bez kodów źródłowych, bo powtarzałbym posty o pobieraniu danych z Google Analytics (było o tym tu) i Facebooka (o tutaj było). Mam jednak nadzieję, że zainteresuje Was takie spojrzenie na analitykę strony - odrobinę szersze niż same odsłonki (chociaż oparte głównie o odsłonki). Tak się dobrze składa, że regularne pisanie (powrót do niego) zacząłem pod koniec lutego 2017 więc w sumie cała aktualna zawartość mieści się w 2017 roku. W sumie było to 58 postów (to częściej niż raz na tydzień). Najwięcej w marcu (9 postów), od sierpnia po 5 sztuk na miesiąc. Jeśli zaś chodzi o dni tygodnia - wygrywają ex aequo czwartek i piątek. Pierwszy wykres mówi nam kiedy (w jakich porach dnia) jest ruch na stronie. Każdy, kto chociaż raz analizował takie dane zna doskonale ten kształt: Zacznijmy od najpopularniejszych stron. Dane na wykresach i w tabelach poniżej będą prezentowane w postaci ścieżki do postu - dzięki temu zobaczymy zarówno datę jak i tytuł wpisu. Najpopularniejszym postem był ten o analizie cen wynajmowanych mieszkań z początku kwietnia. Popularność zrobiła się dzięki Wykopowi. Co ciekawe - wpisując w Google “mieszkanie do wynajęcia” trafić można na stronę Wykopu z linkiem do mojego postu. Wciąż mam kilka po kilka wejść dziennie na ten post. Swoją drogą kilka dni temu zrobiłem coś podobnego dla ogłoszeń dotyczących samochodów - może też opublikuję? Drugie miejsce zajmuje strona główna bloga (co nie jest dziwne), a trzecie - post, który mógł wzbudzić poruszenie w niektórych redakcjach portali. Ruch głównie z walla niejakiego Olsa. Oto lista (tym razem klikalna ;) najpopularniejszych (41) postów spośród 50 najpopularniejszych stron:

Diagnoza, Wataha czy Belfer?

Fri, 29 Dec 2017 10:32:30 +0000

Który jesienny serialowy hit był najczęściej komentowany w 2017 roku? Jakie to były komentarze? Dzisiaj, w ostatnim poście w tym roku, zajmiemy się polskimi serialami z jesiennej ramówki. Na warsztat weźmiemy trzy tytuły: Diagnozę od TVN, Belfra od Canal+ oraz Watahę od HBO. Zobaczymy jak wyglądała obsługa seriali na Facebooku i jakie towarzyszyły im komentarze. Uwaga: post (lub informacje na wykresach) mogą zdradzać fabułę seriali! Kod jest na tyle uniwersalny, że wystarczy podać inne nazwy fanpage’y w części wczytującej dane aby uzyskać podobną analizę dla innych facebookowych stron - na przykład dla partii politycznych.

Mapy, mapy raz jeszcze

Fri, 22 Dec 2017 13:42:57 +0000

W jakim województwie leży wskazany punkt? Dzisiaj zajmiemy się obszarami, głównie w oparciu o pakiet rgeos. Wpis raczej techniczny. Po załadowaniu poniższych pakietów:

library(rgdal)
library(rgeos)
library(tidyverse)
library(broom) # for tidy=fortify

przygotujemy sobie dwa testowe obszary, na których przykładzie zobaczymy jak działają wybrane funkcje z pakietu rgeos.

poly1 <- SpatialPolygons(list(Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 0, 1, 1, 0),
 ncol=2, byrow=FALSE))), ID=c("a")),
 Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 2, 3, 3, 2),
 ncol=2, byrow=FALSE))), ID=c("b"))))

poly2 <- SpatialPolygons(list(Polygons(list(Polygon(coords=matrix(c(0, 0, 2, 2, 1, 1, 0.5, 3, 3, 0, 0, 2),
 ncol=2, byrow=FALSE))), ID=c("c"))))

Szczerze powiedziawszy mechanika budowania polygonów jest koszmarna, ale korzystając z przykładów w sieci udało się je przygotować :) Zobaczmy jak wyglądają nasze obszary:

Parsowanie XMLa w R

Thu, 14 Dec 2017 10:14:17 +0000

Jak w R obsłużyć dane zapisane w XML? Do redakcji ;-) przychodzą dziesiątki, jeśli nie setki ;-)) maili w których pytacie jak pobrałem dane z Veturilo, które wykorzystałem wiosną tego roku we wpisach jeden oraz dwa. Pobrałem je z pliku XML. Było to w PHP, ale da się też w R. Do obsługi XMLa jest oczywiście odpowiedni pakiet o jakże zaskakującej nazwie XML.

library(tidyverse) # tibble(), %>%
library(lubridate) # obsługa dat

library(RCurl) # pobranie plików XML z internetu
library(XML) # obsługa XMLa

Zanim dojdziemy do Veturilo przećwiczymy obsługę XMLa na przykładzie kanału RSS (plik dla czytnika RSS jest również XMLem). Jeśli nie znasz składni XMLa warto o niej doczytać. Za przykład niech posłuży RSS niniejszego bloga. getURL() z pakietu RCurl pobierze nam zawartość pliku (może to być też plik z dysku - wtedy można go wczytać na przykład przez read_lines() i skleić linie w jeden ciąg na przykład poprzez paste() z parametrem collapse = ""):

Przez losowy las Spotify

Sun, 10 Dec 2017 10:16:32 +0000

Czy machine learning może pomóc w poszukiwaniu ulubionej muzyki? Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Już kiedyś o tym było w oparciu o LastFM, dzisiaj będzie w oparciu o Spotify. Taki szybki wpis. Na początek potrzebujemy kilku elementów:

własnej aplikacji współpracującej z API Spotify - zbudować ją można zaczynając z dashboardu Spotify, potrzebujemy numerku client_id i client_secret
te numerki wpisujemy do zmiennych o tych samych nazwach i zapisujemy sobie lokalnie (żeby nie przechowywać ich w kodzie) w pliku spotify_cred.rda. W bardzo prosty sposób: save(client_id, client_secret, file = "spotify_cred.rda")
następnie budujemy kilka funkcji, których będziemy używać. Kod jest długi, nie warto go tutaj zamieszczać - znajdziecie go na GitHubie (swoją drogą jest tam nieco więcej funkcji niż potrzeba, ale nie wszystkie skończone i działające)

Uzbrojeni w taki zestaw zaczynamy od pozyskania tokenu:

Analiza procesów

Sat, 02 Dec 2017 09:27:35 +0000

W którym miejscu można skrócić proces, na której fazie trwa on najdłużej? Dzisiaj zajmiemy się analizą dowolnego procesu, w którym można wskazać jakieś fazy. Zadanie wzięło się z pracy, którą wykonuję na co dzień: który element procesu wytwórczego oprogramowania trwa najdłużej? Czy to, że przygotowanie systemu IT trwa tak długo to wina IT (analiza wymagań, przygotowanie dokumentacji dla programistów, samo programowanie, testy) czy biznesu (przygotowanie wymagań biznesowych, oceny opłacalności rozwiązania, przygotowanie dokumentacji do decyzji wszelakich komitetów sterujących)? Czy jak zamówię przesyłkę dzisiaj to dotrze ona do mnie w krótszym czasie niż przy zamówieniu za miesiąc? Ile czasu będę czekał na pizzę? Dlaczego klient w sklepie (urzędzie, banku, placówce służby zdrowia) obsługiwany jest tak długo? Dlaczego w przychodni zapisuje się na wizyty co 15 minut, jak i tak są opóźnienia? Weźmy przykład teoretyczny, chociaż dość realny - zakupy przez internet. Możemy wyróżnić kilka podstawowych faz:

Wino

Thu, 23 Nov 2017 09:01:52 +0000

Jakie wina sprzedają się najlepiej? Czy Polacy lubią wino czerwone czy białe? Słodkie czy wytrawne? Jak wybrać wino dobre i tanie? Dane na potrzeby analizy pobierzemy ze sklepu internetowego. Odpowiedni skrypt (i pobrane dane) znajdziecie w repo na GitHubie, w pliku get_data.R. Skrypt jest dość długi, nie wnosi niczego ciekawego do samej analizy. Po zebraniu danych możemy przystąpić do EDA (eksploracji danych). Potrzebujemy właściwie tylko pakietu tidyverse (od zaktualizowanej kilka dni temu wersji w skład ekosystemu wchodzą stringr i forcats; w przyszłości przydałoby się jeszcze lubridate dla kompletu). Wczytujemy więc zapisane dane, lekko je modyfikujemy (ze względu na późniejszą kolejność i porządek na wykresach).

Sondaże przedwyborcze

Fri, 17 Nov 2017 14:36:51 +0000

Komu rośnie, a komu spada? Czy PSL przekroczy próg 5% i załapie się do Sejmu? Czy “totalna opozycja” już przegrywa z partią rządzącą czy jeszcze nie? Takie pytania rozgrzewają komentatorów polskiej sceny politycznej mniej więcej raz w tygodniu, przy okazji publikacji kolejnych sondaży przedwyborczych. Zajmiemy się więc tymi sondażami. Długo szukałem archiwalnych danych sondażowych, aż w końcu na Twitterze ktoś podrzucił linka do serwisu ewybory.eu. Przeglądając stronę znalazłem tabelę z tym co mnie interesowało - pełną historią sondaży. Po zerknięciu w kod strony okazuje się, że jest to osadzony arkusz Google Spreadsheets i wystarczy się do niego dobrać. Do samego arkusza się nie dostałem (więc nie udało się wykorzystać mechanizmów jak w poście z podsumowaniem wyników mojej ankiety), ale dane można pobrać z publicznego widoku HTML tego arkusza:

Urodziny w Wikipedii

Thu, 09 Nov 2017 16:21:41 +0000

Przedstawiciele jakiego zawodu są najczęściej opisywani w Wikipedii? Czy miesiąc urodzenia predysponuje do wykonywania danego zawodu? Czy w polskiej Wiki więcej jest o Polakach czy innych nacjach?

Pomysł

Któregoś dnia, siedzimy w knajpie z J.P. a właściwie z J.A., z okazji jego urodzin. I tak od słowa do słowa pada “a dzisiaj urodziny ma też Putin”. Sprawdzamy w Wikipedii - faktycznie. A oprócz J.A. i Putina urodziny ma cała masa piłkarzy. I aktorów. I to mnie natchnęło - czym zajmują się (albo zajmowali) osoby opisane w Wikipedii? Którego zawodu jest najwięcej? Wydawałoby się, że ludzi kultury, sztuki i polityki - tak by wypadało, bo tak było zawsze w encyklopedii. Sprawdzimy jak jest naprawdę.

Jaki film obejrzeć?

Fri, 27 Oct 2017 10:54:39 +0000

Kiedyś już pisałem o filmach i danych jakie dawno temu zgromadziłem z Filmwebu. Dzisiaj zajmiemy się polecaniem filmów do obejrzenia. Czyli - systemy rekomendacji.

Dlaczego rekomendacje są ważne

W najprostszym ujęciu chodzi o sprzedaż. Albo dosłowną sprzedaż towarów, albo odsłony (czy też odtworzenia) w serwisach internetowych (i tym samym odsłony reklam). Im więcej ludziom polecisz, tym bardziej będą klikać, z tym większym prawdopodobieństwem kupią coś, czego nie mieli zamiaru kupować. O nic innego nie chodzi. Znalazłem gdzieś informację, że tego typu systemy odpowiadają za

Ankieta - wyniki (i jak je podsumować w R)

Tue, 17 Oct 2017 16:38:17 +0000

Wyniki ankiety to jedno, a drugie to narzędzie do ich uzyskania i przedstawienia. Łączymy przyjemne z pożytecznym. Ankietę przygotowałem korzystając z Google Forms - to jedna z najwygodniejszych opcji (systemów do ankiet jest wiele), szczególnie jeśli chcemy mieć od razu dane (odpowiedzi) w postaci tabeli (w tym przypadku arkusza Google Sheets). Kiedy ankieta jeszcze trwała przygotowałem poniższe skrypty i na bieżąco mogłem śledzić zarówno liczbę oddanych głosów jak i rozkład poszczególnych odpowiedzi. To bardzo przydatne jeśli z jakiegoś powodu chcielibyście wiedzieć jak wpływają różne akcje zarówno na wypełnienie (liczbę odpowiedzi) jak i same odpowiedzi. Jeśli interesują Cię tylko wyniki ankiety, a nie sposób ich wyciągnięcia i pokazania - przejdź do odpowiedniej sekcji.

Kalendarz z Policją

Sat, 14 Oct 2017 09:54:47 +0000

W jednym z ostatnich odcinków “Ucha prezesa” było coś o tym, że teraz rząd ma mówić o tym, że jest bezpiecznie (zamiast “Przez osiem lat Polki i Polacy…”). Sprawdzimy zatem bezpieczeństwo na polskich drogach. Ale punktem wyjścia będzie specyficzny sposób pokazania danych dziennych.

Widok kalendarza

Dane dzienne (takie, które mają jedną wartość dla każdego dnia - na przykład średnia temperatura, liczba osób robiących zakupy w sklepie) można pokazać na różne sposoby. Można pokazać je jako wykres punktowy (lub liniowy, kiedy punkty są połączone) - wówczas widać na przykład “falkę” (o ile są cykliczne, na przykład w weekendy jest mniej kupujących niż w tygodniu). Można policzyć średnie (lub zastosować inne miary agregujące) dla każdego dnia tygodnia i wykorzystać najprostszy (i często najlepszy) wykres słupkowy. A można pokazać to samo w formie swego rodzaju heat-mapy rozpiętej na kalendarzu. Wykres taki ma sens jeśli chcemy pokazać, że w danym dniu tygodnia (i być może poszczególnych tygodniach roku) coś odbiega od normy z całego tygodnia (albo innych miesięcy). Czyli przykładowe weekendy są inne niż dni od poniedziałku do piątku. Jeśli interesują Cię tylko wyniki przeglądu statystyk policyjnych - przejdź do analizy.

Kto pracuje najbardziej efektywnie w Europie?

Mon, 09 Oct 2017 13:41:04 +0000

Czy wydajność pracy w różnych krajach Europy jest jednakowa? Jak skorzystać z danych Eurostatu w R? Jestem fanem facebookowej strony z różnymi mapkami. Na stronie tej pokazał się ostatnio obrazek z informacją o średniej liczbie godzin jaką w pracy spędzają mieszkańcy poszczególnych krajów (linkował do tego postu). Ale szczerze powiedziawszy co to za informacja? To czy siedzisz w pracy długo czy krótko nie ma (bezpośrednio) związku z tym ile wartości wypracujesz. Sprawdźmy ile warta (w rozumieniu produktu krajowego brutto) jest godzina pracy mieszkańca poszczególnych krajów Europy. Do tego celu skorzystamy z danych Eurostatu, tym bardziej że istnieje bardzo wygodny pakiet R, z którym takie działanie jest banalnie proste. Na początek musimy znaleźć odpowiednie dane. Pakiet eurostat dostarcza nam odpowiednich funkcji:

Ankieta!

Wed, 04 Oct 2017 16:33:09 +0000

Czytasz tego bloga? Jesteś fanem Dane i Analizy na Facebooku? (dlaczego nie?!) Wypełnij koniecznie ankietę! Zajmie Ci to góra pięć minut.

Kulki w Monte Carlo

Wed, 04 Oct 2017 08:01:23 +0000

Symulacje to coś, do czego komputery nadają się najlepiej. Zamiast liczyć na kartce wykorzystujemy maszynę i dostajemy wynik. Dzisiaj policzymy liczbę Pi i przeanalizujemy pewien teleturniej telewizyjny.

Liczba Pi i metoda Monte Carlo

Policzymy wartość liczby Pi… upuszczając ołówek na kartkę. Możecie zrobić to samodzielnie, albo wykorzystując metodę Monte Carlo. Metoda Monte Carlo to numeryczny sposób rozwiązywania problemów. Wykonujemy bardzo dużo obliczeń (opartych o losowe symulacje) i na podstawie ich wyniku coś określamy. Metoda została opracowana przez Stanisława Ulama, który należał do tak zwanej lwowskiej szkoły matematycznej i był między innymi współtwórcą amerykańskiej bomby termojądrowej (co akurat powinno wzbudzić szacun a nie jakiś postrach). Ulam był też jednym z pierwszych naukowców, którzy wykorzystywali w swych pracach komputer. Możecie (zachęcam!) obejrzeć film o lwowskiej szkole matamatycznej pochodzący z kanału Historia Bez Cenzury - mam nadzieję, że wzbudzi Wasz podziw (i odkrycie ludzkich cech u matematyków) dla polskich przedwojennych matematyków. Każdy kto miał na studiach matematykę (wszystkie uczelnie techniczne) zapewne słyszał o przestrzeni Banacha. Tak, ma to związek z lwowską szkołą, a Banach zresztą pochowany jest na Cmentarzu Łyczakowskim, podobnie jak wielu innych znanych Polaków (ze znanych ze szkoły nazwisk: Maria Konopnicka i Gabriela Zapolska). Wróćmy jednak do naszego eksperymentu. Polega on na losowym upuszczeniu (na przykład) ołówka, tak aby zaznaczył punkt na kartce. Wcześniej na tej kartce rysujemy koło i opisany na nim kwadrat. Ołówkiem rzucamy z góry tak, aby trafić w kwadrat. Liczymy liczbę rzutów i liczbę trafień w koło. Zamiast robić to ręcznie wykorzystamy komputer (i oczywiście R). Zamiast rzucania wylosujemy punkt:

Pablo Picasso - życie i twórczość... w liczbach

Fri, 29 Sep 2017 14:43:13 +0000

Co prawda nie jest to teleturniej Wielka Gra, ale tytuł przywodzi na myśl temat “Pablo Picasso - jego życie i twórczość”. Zajmiemy się obrazami i ich analizą. Oczywiście tytuł nie jest przypadkowy i (starszym) Czytelnikom powinien się z Wielką grą skojarzyć. Ale ilu z Was pamięta ten program? Pięcioro? Myślę nad ankietą, a teraz w planie, mamy badanie!… Celem dzisiejszego wpisu jest sprawdzenie czy “okres czerwony” w malarstwie Picassa rzeczywiście był czerwony. Oczywiście sprawdzimy to przy pomocy R, w pewnym sensie oglądając obrazy (automatycznie). Dowiemy się też kilku rzeczy o strukturze obrazu komputerowego (totalne przedszkole). Zaczniemy od początku, czyli krok pierwszy:

Migracje Polaków w 2016 roku (część druga)

Tue, 26 Sep 2017 15:59:18 +0000

W pierwszej części przygotowaliśmy zestaw narzędzi do uzyskania informacji skąd przyjechali mieszkańcy danej gminy oraz dokąd wyjechali. Oparliśmy się o dane GUSu o migracjach z 2016 roku. Obiecałem, że there is an app for this - dzisiaj taką aplikację przygotujemy. Uwaga wpis jest mocno techniczny (i w dodatku dla co najmniej średnio zaawansowanych pRogramistów). Jeśli interesuje Cię wynik (gotowa aplikacja) najlepiej przejdź na stronę aplikacji i się nią pobaw do woli. Powinna być zrozumiała :) Skorzystamy z pobranych wcześniej danych, ale rozważania prowadzić będziemy na poziomie powiatów. Zatem potrzebujemy zagregować dane o migracjach do powiatów oraz wykorzystać mapę powiatów (zamiast gmin). Zgodnie z wcześniejszymi uwagami - zobaczymy względny ruch, a nie bezwzględną liczbę osób zmieniających miejsce zamieszkania (stałego zamieszkania, bo dane GUSu dotyczą osób zmieniających meldunek). Większość danych mamy już przygotowanych i cała droga będzie krótsza. Z poniższych pakietów

Migracje Polaków w 2016 roku (część pierwsza)

Thu, 21 Sep 2017 16:16:18 +0000

Chcesz wiedzieć skąd pochodzą mieszkańcy Twojej gminy? Albo jak narysować mapę dowolnej wartości na poziomie gmin, powiatów lub województw? Coś podobnego zrobiło jakiś czas temu BIQdata, po sieci krążyło ostatnio to samo dla Stanów Zjednoczonych. Dzisiaj nauczymy się jak to zrobić samodzielnie. A w następnej części przygotujemy aplikację (wow!). Jedziemy zatem z pakietami, a później szczegółową instrukcją na zdobycie danych.

library(tidyverse)
library(broom)
library(rgdal)

Baza nazw gmin, powiatów i województw

Potrzebujemy danych o nazwach gmin, powiatów i województw przyporządkowanych do kodów TERYT. Takie dane znajdziemy w GUSie na odpowiedniej stronie, z której pobieramy archiwum TERC / podstawowa i rozpakowujemy ZIPa, z którego potrzebny nam plik CSV.

Analiza tekstów z wiadomości

Thu, 14 Sep 2017 09:09:09 +0000

O czym w wiadomościach piszą serwisy internetowe? Czy da się jakoś pogrupować teksty? Wszystko to (i więcej) na bazie ponad roku tekstów z serwisu Wiadomości Gazeta.pl. Zanim przejdziemy do analizy potrzebujemy danych. Jeśli interesują Cię wyniki to przejdź od razu do części Analiza. Pierwsza część to obszerny opis tego jak uzyskać dane. Pojawiają się w komentarzach (tutaj albo na fanpage’u Dane i analizy czy też mailach do mnie) o to jak pobierać dane z WWW - poniżej znajdziecie wystarczająco szczegółowy algorytm postępowania. Wiedza na temat HTMLa i CSSa jest przydatna i do zdobycia samodzielnie.

Liczba bezrobotnych a liczba mieszkańców

Fri, 08 Sep 2017 10:37:26 +0000

Bezrobocie spada, bo wszyscy wyjechali - czy to prawda? Z miesiąca na miesiąc spada bezrobocie w Polsce. I co więcej - spada zgodnie z przewidywaniami, zgodnie z najprostszym modelem predykcji szeregów czasowych, co opisywałem pod koniec kwietnia. Różne mogą być przyczyny spadku bezrobocia. Może to być prozaiczne jest więcej pracy (bo gospodarka przyspiesza, firmy mają pieniądze na nowych pracowników). Ale złe ludzkie języki mogą krytykować rządzących mówiąc, że wszyscy już wyjechali do Anglii czy Irlandii, więc nie ma bezrobotnych. Sprawdźmy czy to może być prawda. W rozważaniach skorzystamy z danych publikowanych przez GUS i porównamy czy zmiana stopy bezrobocia jest równa (lub porównywalna) zmianie liczby mieszkańców. Jeśli bezrobocie spadło o na przykład 5 punktów procentowych (z 10% na 5%) to czy liczba mieszkańców też spadła o 5% (z 1000 do 950 osób)? Jeśli tak by było to oznaczałoby, że:

Jak nauczyć się R? Co czytać?

Wed, 30 Aug 2017 14:09:36 +0000

W listach pytacie o źródła wiedzy dotyczącej R. Dzisiaj kilka linków. Na początek agregaty, które mogą okazać się wystarczające:

R Bloggers - platforma zbierająca treści z wielu blogów
Revolution Analytics
Data Science Central - platforma blogowa dla dłubiących w BigData

Warto śledzić też blogi poszczególnych osób:

Julia Silge to współautorka pakietu tidytext (i jednocześnie data scientist w Stack Overflow)
Variance Explained - blog drugiego współautora tidytext
blog Maëlle Salmon, który kiedyś dodałem do RSSów (trafiłem pewnie w poszukiwaniach czegoś konkretnego albo z r-bloggers)

Jednym z lepszych miejsc jest cała domena związana z RStudio i poszczególne jej subdomeny, przede wszystkim blog RStudio oraz RViews. W ramach RStudio znajdziecie też dużo informacji o poszczególnych pakietach - strona zbiorcza jest tutaj. Z polskich blogów szczególnie polecam dwa:

Lista Przebojów Trójki

Fri, 25 Aug 2017 22:05:45 +0000

Lista Przebojów Trójki to chyba najpopularniejsza lista przebojów w Polsce, a z pewnością najstarsza. Zobaczmy czego możemy się dowiedzieć z całej jej historii. Potrzebne będzie kilka pakietów R (do pobrania danych dodatkowo rvest):

library(tidyverse)
library(lubridate)

library(ggrepel) # dla ładnego umiejscowienia labelek na wykresach

Pobranie danych

Skorzystamy z archiwum Listy Trójki zebranym na stronie LP3.pl - klikając w kolejne numery notowań po prawej stronie widzimy, że zmienia się adres strony według schematu http://www.lp3.pl/alpt.phtml?m=1&nn=XXX gdzie XXX to kolejny numer (niekoniecznie notowania). Trzeba znaleźć największy numer (najnowsze notowanie) i przejść przez kolejne strony (kolejne XXX od jeden do tej największej liczby). Analiza kodu HTML strony pozwala na wybranie odpowiednich jej fragmentów i tym samym zgromadzenie danych. Szczegółowym kodem nie będę zamęczał - znajduje się na GitHubie. Pojawiają się pytania od Was jak scrappować strony - być może przygotuję o tym kiedyś dedykowany wpis techniczny (choć wolę przygotowywać analizy :). Dane zapisałem w pliku lokalnym. Swoją drogą na LP3.pl znajdziecie część z poniższych analiz.

Zmiany temperatury w czasie - animowany wykres kołowy

Thu, 10 Aug 2017 08:12:44 +0000

Kilka dni temu karierę na stronach poświęconych wizualizacji danych robił filmik obrazujący zmiany temperatury na przestrzeni lat. Na stronie Dane i Analizy obiecałem, że opiszę jak można coś takiego zrobić. Wspomniany filmik to

Jakiś czas zastanawiałem się jakie dane pokazać i zdecydowałem, że będzie to liczba odsłon najpopularniejszych tekstów z bloga który czytasz. Przy okazji dowiemy się jak za pomocą R dostać się do statystyk zebranych w Google Analitycs. Oczywiście jest do tego stosowny pakiet, ale wcześniej potrzebna jest pewna konfiguracja konta googlowego. Jak zwykle w przypadku API potrzebny jest klucz - w tym przypadku jest to para Client ID i Secret ID. Aby je uzyskać wystarczy wykonać kroki opisane chociażby tutaj. Dodatkowo instalujemy pakiet RGoogleAnalytics:

Najbardziej aktywni użytkownicy na stronach partii

Tue, 08 Aug 2017 14:43:11 +0000

Kim są osoby najbardziej aktywne na fanpage’ach poszczególnych partii? Po artykule Anny Mierzyńskiej a jeszcze bardziej (i wcześniej) po publikacji wyników analizy naukowców z Oxfordu na temat fake-newsów i kont-botów zapragnąłem zrobić dokładnie to samo. Sprawdzić jak bardzo prawdopodobne jest, że konta które są najbardziej aktywne są botami. Metodologia jest stosunkowo prosta: trzeba wytypować najbardziej aktywne konta, sprawdzić ile osób mają w znajomych, co lajkują (jak często) i co podają dalej, jak dużo napisały postów i w jakim czasie (czy są młode czy stare). Na podstawie kilku wskaźników można określić z jakimś prawdopodobieństwem czy konto jest botem. Niestety, o ile na Twitterze większość informacji można pobrać, o tyle z Facebookiem jest już gorzej i niewiele się da wyciągnąć z API. Anna Mierzyńska swoją analizę przeprowadziła ręcznie. Ja nie lubię takiej dłubaniny, szczególnie jeśli są narzędzia. Podczas prób moja analiza obrała nieco inny kierunek (nie Czy konto jest botem? a Kim jest użytkownik?). Zobaczmy co wyszło. Na początku potrzebujemy danych. Wytypowałem osiem facebookowych stron partii pokazywanych w sondażach:

Analiza koszykowa - przepisy kulinarne

Thu, 03 Aug 2017 14:00:14 +0000

Dzisiaj zajmiemy się zagadnieniem zwanym analizą koszykową, która jest jednym z podstawowych narzędzi do badania preferencji zakupowych klientów. Na podstawie wyników można odpowiednio ułożyć produkty w sklepie albo przygotować promocje. Można również przygotować algorytm rekomendacji (“klienci, którzy kupili X kupili też Y”). Zobaczymy też, że polska kuchnia cebulą stoi. I pieprzem. Do analizy koszykowej w R wykorzystamy pakiet arules.

library(tidyverse)
library(stringr)
library(reshape2)
library(arules)
library(arulesViz)

Teoria

Przed przystąpieniem do analizy potrzebujemy trochę teorii. Wcześniejsze wpisy mówiły o zagadnieniach dość intuicyjnych, ale analiza koszyków wymaga wprowadzenia kilku pojęć. Ale jeśli nie interesuje Cię teoria, jakieś wskaźniki i całe to programowanie to możesz od razu przeskoczyć do analizy przepisów klikając tutaj.

Taksówką po Nowym Jorku - konkurs Kaggle.com

Fri, 28 Jul 2017 21:01:32 +0000

Jest sobie taka strona - Kaggle.com - na której badacze danych mogą próbować swoich sił w różnych konkursach. Najczęściej chodzi o to, żeby z opublikowanych danych treningowych przewidzieć wyniki dla danych testowych. Tak jest w przypadku konkursu NYC Taxi Trip Durration w którym uczestniczę. Chodzi pokrótce o to, żeby na podstawie informacji o kursach taksówek przewidzieć czas trwania podróży. Do dyspozycji mamy dane z pierwszego półrocza 2016 roku - prawie półtora miliona wierszy. Jeśli chcesz spróbować swoich sił albo po prostu sprawdzić opublikowany niżej kod - ściągnij dane ze strony konkursu (do tego wpisu wystarczy plik train.csv). W tym poście nie pokażę rozwiązania i nie zbuduję modelu (można kilka zobaczyć na stronie konkursu, moje też), ale przejdziemy przez cały proces analizy danych, odpowiedniego ich czyszczenia (w nieco skróconej formie) i szukania ukrytych w nich informacji. Wpis raczej mało popularnonaukowy, ale może interesuje Cię gdzie nowojorczycy jeżdżą taksówkami? Potrzebujemy tylko kilku pakietów, z czego większość dla jednej czy dwóch funkcji.

The Rolling Stones Tour

Tue, 25 Jul 2017 10:39:50 +0000

Po wolnej musi być szybka, takie są zasady muzykowania pada na koncertowej płycie Bolilol Tour zespołu Illusion. Sprawdźmy czy tak jest na koncertach… …ale nie dokładnie to sprawdzimy. Inspiracją dla niniejszego postu jest wpis z 2011 roku o utworach granych przez Metallicę na koncertach, szczególnie infografika, o której ów wpis jest. Infografika przedstawia popularność piosenek granych na koncertach. Skoro ktoś mógł to zrobić, to dlaczego nie ja? Instrukcja jak zrobić to samo poniżej. Za źródło danych posłuży serwis Setlist.fm, w którym znaleźć można całą masę informacji o koncertach - przede wszystkim datę, miejsce i to co najbardziej interesująca - lista utworów. Dane pobierać będziemy przez API, do którego potrzebny jest klucz. Po założeniu konta w serwisie możemy sobie taki wygenerować. Z API rozmawiamy JSONem - dlatego poniżej biblioteka jsonlite oraz RCurl do odpytywania tegoż API.

Popularność literek w polskich słowach

Tue, 18 Jul 2017 13:43:25 +0000

Zainspirowany grafiką obrazującą rozkład położenia liter w słowach (angielskich) znalezioną na reddicie postanowiłem sprawdzić jak to samo wygląda w języku polskim. Aby sprawdzić na których miejscach w słowach występują poszczególne litery alfabetu potrzebujemy przede wszystkim słów. Bo alfabet znamy. Skąd wziąć słowa? Ze słownika, ktoś powie. Oczywiście to najlepsze miejsce - w słownikach są słowa, po to właśnie są słowniki. Ale słowniki mają jedną wadę - zawierają podstawowe formy słów (rzeczowniki w mianowniku, czasowniki w bezokoliczniku), co znacząco ogranicza liczbę dostępnych słów. A język polski jest bardzo bogaty w różne formy fleksyjne. Spróbujcie wymienić wszystkie możliwe wariacje na temat jakiegoś czasownika - najwięcej zabawy i rubasznego śmiechu będzie przy wulgaryzmach. Do każdego właściwie można dodać na początek wy-, przy-, za-, pod-, s-, roz-. Można dodać też się. Można odmienić czasownik przez osoby i liczby. Podobnie z rzeczownikami, przymiotnikami i innymi częściami mowy. Wystarczy spojrzeć na pierwszy z brzegu link znaleziony w Google. I właśnie na taki worek słów (bardzo lubię angielskie określenie bag of words) się nastawimy. Bo im więcej kombinacji tym bliższe życiu wyniki użycia literek. Dlatego nie skorzystamy ze słownika, a z gotowych tekstów - w tym przypadku z ośmiu książek, które już analizowaliśmy w odcinku poświęconym sprawie kryminalnej poszukiwania autora. Im więcej tekstów, najlepiej różnych autorów i z różnych dziedzin, tym większy zbiór słów. W poszukiwaniu danych do dzisiejszego postu natrafiłem na stronę PWN o korpusie języka polskiego - mowa tam o stu milionach słów! Na pewno z uwzględnioną fleksją, bo słów w naszym języku jest zapewne mniej (w formach podstawowych). Ale nie mamy tych 100 milionów słów, musimy polegać na tym co mamy. Zaczniemy od potrzebnych pakietów:

Ekstraklasa 2017/18 - przewidywania wyników

Fri, 14 Jul 2017 11:14:37 +0000

Ostatni post cyklu związanego z Ekstraklasą to przewidywania wyników w nadchodzącym sezonie. Szykujcie kasę na bukmacherów! Dla przypomnienia cykl postów o Ekstraklasie do tej pory składał się z dwóch części:

w pierwszej przeprowadziliśmy prostą analizę historycznych rozgrywek z sezonów 2008/2009 do 2016/2017
w drugiej części omówiłem ranking Elo i zbudowany został model na nim oparty. Sprawdziliśmy jaką sprawdzalność dał model w zderzeniu z rzeczywistością (było to 47.36%)

Tym razem wytypujemy wyniki na rozpoczynający się za chwilę sezon 2017/18 - korzystając ze zbudowanego modelu. Uwaga, potrzebny jest disclaimer: nie odpowiadam za Twoje pieniądze. Jeśli zechcesz wykorzystać opublikowane niżej dane lub sam model aby obstawiać wyniki w zakładach bukmacherskich to robisz to na własną odpowiedzialność. Dane jakich potrzebujemy do symulacji to lista kolejnych meczy, przy czym ważna jest kolejność spotkań dla każdej z drużyn - na tej podstawie aktualizowany jest ranking Elo (szczegóły znajdziesz w drugiej części cyklu) oraz początkowe wartości Elo dla grających drużyn. Te wartości początkowe, podobnie jak poprzednio, zaczerpnąłem ze strony ClubELO.com. Pochodzą one sprzed ostatnich meczy Legii (z Mariehamn), Jagiellonii (z Gabala) i Lecha (z Haugesund), więc są delikatnie nieaktualne. Tak to wygląda:

Ekstraklasa - ranking Elo i symulacje

Thu, 13 Jul 2017 09:56:15 +0000

Kontynuujemy cykl związany z Ekstraklasą. Przyszła pora na zbudowanie bardzo prostego modelu symulującego rozgrywki. Zgodnie z zapowiedzią:

w pierwszej przeprowadziliśmy prostą analizę historycznych rozgrywek
w niniejszej - drugiej - części spróbujemy znaleźć model, który pozwoli na symulację rozgrywek oraz sprawdzimy jego skuteczność. Będzie dużo teorii.
w ostatniej części przygotowanym modelem wytypujemy wyniki na sezon 2017/18

Do dzieła! Model oprzemy na popularnym rankingu Elo. Tego typu model wykorzystywany jest często przy symulacji rozgrywek podczas futbolowych Mistrzostw Europy lub Świata, a także w ligach innych dziedzin sportowych - chociażby NBA, NFL czy MBL. Polecam przewidywania w serwisie FiveThirtyEight, w szczególności Elo w NBA oraz Elo w NFL. Ranking ELO został wymyślony na potrzeby rozgrywek szachowych - miał umożliwić ocenę własnych postępów w porównaniu z innymi szachistami. Nazwa wbrew pozorom nie pochodzi od Elo, ziom! a od nazwiska Arpada Elo - fizyka węgierskiego pochodzenia, który opracował system oceny umiejętności szachistów na prośbę Federacji Szachowej Stanów Zjednoczonych. Ranking opracowany został w 1960 roku, a jego główną ideą jest nie tyle porównanie graczy po rozgrywce (bo to nie jest trudne), co przed nią razem z przewidywaniem zwycięzcy. Porównanie przed turniejem rankingu zawodnika i jego przeciwników powinno określić oczekiwany rezultat tego zawodnika. Jeśli w turnieju uzyskał wynik lepszy od oczekiwanego to jego ranking powinien wzrosnąć, jeśli gorszy – zmaleć. Elo zaproponował potraktowanie oczekiwanego wyniku jako zmiennej losowej o rozkładzie normalnym. Istnieje kilka modyfikacji rankingu, smaczku dodaje ciekawostka wspomniana w angielskojęzycznej Wikipedii (polecam zajrzeć - ładnie tam wszystko wyjaśnione). Otóż jest jedna scena w filmie The Social Network (taki film o powstaniu Facebooka), gdzie między wierszami przemycona jest informacja, że w Facemash (prototyp Facebooka) do oceny dziewczyn użyty został właśnie Elo. Ale ranking Elo, a nie Arpad Elo.

Ekstraklasa - analiza

Tue, 11 Jul 2017 14:50:21 +0000

Zaczynamy nową serię - analizę i przede wszystkim przewidywania dotyczące rozgrywek w ramach piłkarskiej Ekstraklasy. Cykl będzie składał się z trzech części:

w pierwszej przeprowadzimy analizę danych z historycznych rozgrywek na podstawie wyników meczów z sezonów 2008/09 do 2016/17
w drugiej części spróbujemy znaleźć model, który pozwoli na symulację rozgrywek oraz sprawdzimy jego skuteczność
zaś w ostatniej części - przygotowanym modelem wytypujemy wyniki na nadchodzący sezon 2017/18

Zapowiada się ciekawie, zatem do dzieła! Tym razem będzie bez kodów R w treści posta, wszystkie zaś dostępne są na moim GitHubie. Historyczne dane pobrałem ze strony Historia Polskiej Piłki Nożnej, stosowny skrypt na GitHubie nazywa się load_table.r. Dane zawierają informację o dacie meczu (i sezonie w którym mecz został rozegrany), drużynach i wyniku. Niestety nie znalazłem łatwych do zaadoptowania wyników z np. minutami meczu w których padają bramki - przez to analiza będzie nieco uboga. Ale może ciekawa? Na początek zobaczmy czy własne boisko sprzyja wygranej? Uwaga - są to dane uśrednione ze wszystkich sezonów, jeśli Legia grała z Wisłą Kraków u siebie (grała 13 razy) to liczymy średnią liczbę bramek zdobytą przez oba zespoły i to traktujemy jako wynik takiego super-meczu.

Analiza twórczości J.K.Rowling

Mon, 03 Jul 2017 15:40:10 +0000

W ostatnich dwóch wpisach analizowaliśmy oceny książek na podstawie bazy z serwisu z recenzjami książek a także prowadziliśmy śledztwo polegające na szukaniu autora książki. Tym razem zajmiemy się twórczością jednej autorki. Tą autorką będzie J.K. Rowling, autorka bestsellerowej serii o Harrym Potterze oraz kilku książek dla dorosłych wydanych pod pseudonimem Robert Galbraith. Podobnie jak w poprzedniej części potrzebujemy książek w plikach tekstowych. Analizować będziemy angielskie wersje książek (ze względu na analizę wydźwięku - ang. sentiment. W przypadku języka polskiego trudno o słowniki tegoż wydźwięku). Na początek sprawdźmy jakie słowa w poszczególnych książkach są najbardziej popularne: Nie jest dziwnym, że w serii o Potterze najpopularniejsze słowo to “Harry”. Później kolejno imiona poszczególnych bohaterów (Ron, Hermione) ale też na przykład różdżka (wand) Zobaczmy teraz jak długie są poszczególne książki - sprawdźmy liczbę zdań w każdej z nich: oraz liczbę słów: Słupki w obu przypadkach są podobne, co może prowadzić do wniosku, że średnio każde zdanie składa się z podobnej ilości wyrazów: Na powyższym wykresie pionowa czerwona linia oznacza medianę (połowa zdań ma więcej słów, a druga połowa - mniej) zaś niebieska - średnią. Jak widać Rowling właściwie w każdej książce pisze zdania o podobnej długości. Niektóre “kopy” są wyższe - to wynik objętości książki. Powyższa seria wykresów nie pozwala na szybkie i łatwe porównanie parametrów (średniej i mediany) pomiędzy poszczególnymi książkami. Ale wykres jak poniżej już tak: Tutaj wyraźnie widać, że zdania są właściwie prawie zawsze tej samej długości. Przeanalizujmy na razie samego Pottera. Zobaczmy kiedy (w których momentach książki i w których książkach z serii) pojawiają się poszczególni bohaterowie. Na podstawie chmurki popularnych słów (za chwilę wyjdzie też to w parach słów - bigramach) wytypowałem kilkanaście osób: Harry, Ron, Hermione, Hagrid, Malfoy, Snape, Dumbledore, Voldemort, Vernon, McGonagall, Trelawney, Umbridge, Petunia, Lupin. Zobaczmy: Harry oczywiście występuje cały czas. Ale na przykład Ron i Hermoine pojawiają się gdzieś w 1/3 pierwszej części - wtedy zapewne Harry przybywa do szkoły czarodziei. Tak na przykład Umbridge największy udział ma w części Harry Potter i Zakon Feniksa, w której się pojawia. Petunia z kolei pojawia się na początku każdej z części, podobnie jak Vernon. Być może coś ich łączy? Na pewno coś łączy Hermonię, Rona, Snape’a czy Mafloy’a lub Hagrida. Sprawdźmy jak często pojawiają się poszczególne imiona (8 najczęściej występujących). Poniższy wykres obrazuje udział procentowy popularności określonego imienia wśród ósemki najpopularniejszych imion. Czyli - im częściej dane imię pojawia się w części tym wyżej ono znajduje się na wykresie. Bez zaskoczenia Harry dominuje całą serię - połowa należy do niego. Ciekawe jest coś innego - udział Rona spada w kolejnych częściach, a delikatnie rośnie udział Hermoine. Z kolei Dumbledore najbardziej aktywny jest w części Harry Potter i Książę Półkrwi. Widać to też na wcześniejszym wykresie Sprawdźmy teraz gdzie odbywa się akcja (albo o jakich miejscach mowa). Do wyboru mamy (angielskie nazwy): privet drive, diagon alley, hogwarts, azkaban, ministry of magic, grimmauld place. Ciekawostka - “privet drive” pojawia się w tych samych miejscach co Petunia. Coś Wam to mówi? Na koniec sprawdźmy jakie i jak często występują klątwy i zaklęcia (jak na książkę o magii przystało)? Początkowo zbyt wiele nie czarują, ale im dalej w las tym sprawa wygląda poważniej. Czas na ciekawsze sprawy - czy książki (już wracamy do całej twórczości Rowling) są coraz bardziej “pozytywne” czy wręcz przeciwnie? “Pozytywne”, bo wydźwięk może być pozytywny lub negatywny (w skali -5 dla negatywnych do +5 dla pozytywnych). Miara polega na przypisaniu każdemu ze słów określonej wartości liczbowej wyrażającej emocje i ich zabarwienie jakie niosą ze sobą słowa. I tak najbardziej negatywne to m.in. bastard, cock, cocksucker i tym podobne, wszystkie mają po -5 punktów. ass jest już ładogniejsze - ma -4 punkty. Te pozytywne to na przykład breathtaking czy outstanding (po +5 punktów), albo amazing (+4 punkty). Neutralne (0 punktów) to some kind. W słowniku AFINN zawartym w pakiecie tidytext jest 2476 słów. Nie za dużo, ale wystarczająco. Każde ze słów (w ramach konkretnego zdania) mamy opisane “punktem czasowym” - w którym zdaniu (lub inaczej mówiąc - w którym procencie) książki występuje. Możemy więc policzyć średnią z wydźwięku dla kolejnych “chwil” w książce i je narysować na wykresie. Pisałem o tym trochę w drugiej części tekstu o Pulp Fiction, tam też znajdziecie ciekawy film z krótkim wykładem Kurtem Vonneguta. Polecam poszukać czegoś na temat “Arc of Story”, chociażby tekst 6 Story Arcs Define Western Literature, Data-Mining Study Reveals (gdzie nota bene jest wykres mniej więcej przypominający to co mamy tutaj - dotyczy książki Harry Potter i Insygnia Śmierci). Zobaczmy jeszcze czy wraz z postępem czasy pani Rowling używa w swoich książkach słów coraz bardziej pozytywnych czy negatywnych? W bardzo dużym uproszczeniu - jest coraz bardziej mrocznie. Ale różnice są na poziomie ułamków punktów. Teraz - podobnie jak w przypadku śledztwa dotyczącego Remigiusza Mroza i Zygmunta Miłoszewskiego - sprawdźmy czy statystycznie rzecz biorąc wszystkie badane książki napisała Rowling? Na początek podzielimy książki na dwie grupy - o Harrym Potterze (podpisanych jako J.K.Rowling) i pozostałe (podpisanych pseudonimem Robert Galbraith). Dla każdego ze słów w ramach tych grup policzymy udział procentowy w całej grupie. Na koniec weźmiemy po 10% najbardziej popularnych słów z grup i policzymy współczynnik korelacji pomiędzy częstościami wystąpienia. Podobieństwo liczone w ten sposób daje nam wartość 0.76. To całkiem sporo, chociaż dla porównania w poprzednim poście autorstwo Enklawy przypisaliśmy Mrozowi na podstawie współczynnika równego 0.88 a Bezcennego przypisaliśmy Miłoszewskiemu ze współczynnikiem 0.83. Spróbujmy zatem inaczej - nie ma co się ograniczać do najpopularniejszych słów (tym bardziej, że bez filtrowania są to głównie imiona bohaterów i miejsca akcji), skoro można porównać każdą książkę z każdą na podstawie wszystkich wspólnych słów (i ich częstości występowania): Widać tutaj wyraźnie trzy obszary:

Kto napisał tę książkę?

Fri, 30 Jun 2017 12:36:46 +0000

Czy da się rozpoznać kto jest autorem książki na podstawie jej treści? Są tacy badacze, którzy to robią (i na przykład podważają autorstwo niektórych dramatów Szekspira), my zrobimy to samo z kryminałami (bo jest to takie zadanie śledcze).

Na warsztat weźmiemy dwóch poczytnych polskich autorów, tak żebyście mieli szansę sprawdzić czy to co wychodzi jest zgodne z tym co znacie z książek. Oczywiście czytaliście je, prawda? Mowa o Zygmuncie Miłoszewskim i jego trylogii o Teodorze Szackim oraz Remigiuszu Mrozie i jego trzech książkach o Joannie Chyłce. Do tego dorzucimy dwie książki - “Bezcennego” oraz “Enklawę”. Udamy, że nie wiemy kto je napisał. Żeby było trudniej - “Enklawa” podpisana jest przez Ove Løgmansbø, ale nawet sam Mróz na swojej stronie przyznaje się, że to jego pseudonim, zaś “Bezcenny” nie jest o Szackim. Żeby było jeszcze zabawniej - ja (jeszcze, czeka właśnie w kolejce) nie czytałem żadnej książki Remigiusza Mroza, więc nie wiem o czym i o kim są (ta Chyłka to wynik tego co poniżej). Czego potrzebujemy? Oczywiście tekstów książek. Powinny być w plikach tekstowych. Najprościej przenieść je do takiego formatu z plików .mobi przy pomocy oprogramowania Calibre - wczytujemy MOBI i konwertujemy na TXT. Wszystkie pliki TXT nazwałem odpowiednio i umieściłem w jednym folderze. Kilka operacji i wczytujemy wszystko do jednej dużej tabeli, w której kolumny to: autor książki, jej tytuł i w kolejne wiersze tekstu.

Lubimy czytać - coś o książkach

Wed, 28 Jun 2017 13:49:14 +0000

Jakiś czas temu była analiza ocen filmów (na podstawie bazy Filmwebu), obiecałem w różnych miejscach, że będzie też o książkach. Zatem sprawdźmy czego możemy się dowiedzieć z danych pobranych z serwisu LubimyCzytać.pl. Przez kilka tygodni skrypt działający sobie grzecznie na serwerze pobierał stronę po stronie z serwisu, analizował zapisane na niej dane i przepisywał je sobie do lokalnego pliku (dane zgromadziłem w pliku books_total.RDS, z którego za chwilę je wczytamy). I tutaj ciekawostka. Poprosiłem redakcję serwisu o przesłane danych, tak aby nie zapychać im serwerów. Poprosiłem jednocześnie zaznaczając, że chcę przygotować niniejszą analizę, a jeśli nie otrzymam danych - pobiorę je samodzielnie. Odmówiono mi. Żeby być miłym oszczędziłem serwery (swoje i cudze) i przed kolejnymi hitami w stronę czekałem losową liczbę sekund (od 1 do 3). Warto to robić, warto być przyzwoitym. Ale mimo wszystko nie udało się pobrać wszystkich danych (a ileż możecie czekać na nowy post?). Tak czy inaczej - mamy ponad 330 tysięcy wierszy. Wiersze zawierają informację o tytule książki, jej autora, wydawnictwo, datę wydania (skorzystamy tylko z roku), liczbie stron i kategorii do której dana książka została przypisana w serwisie. Dodatkowo - to co najbardziej ciekawe - mamy średnią ocenę, liczbę ocen oraz liczbę każdej z ocen przyznanych przez użytkownika (od 1 do 10 gwiazdek). Gdzieś jest też znacznik w jakim języku jest książka. Fajne dane, można sobie porobić różne przekroje. I tak zrobimy. Zaczynamy oczywiście od przygotowania środowiska - wczytanie pakietów i danych:

Maszynka do czytania Twittera

Tue, 20 Jun 2017 12:57:10 +0000

Bardzo lubię Twittera, który w Polsce jest trochę niedowartościowany. Według mnie to najszybsze źródło informacji, a przy okazji - przyjemne i wygodne w zdobywaniu danych do przeróżnych analiz. Najnowsze dane do jakich dotarłem (nie szukałem długo - jakieś 2 minuty) mówią o tym, że w Polsce z FB korzysta jakieś pięć razy więcej użytkowników niż z Twittera. Niby mało, ale jak zobaczymy jest to wystarczająco. Analizowaliśmy już w oparciu o dane z Twittera wyniki Oscarów oraz aktywność podczas meczu piłki nożnej. Nie ma jednak prostego sposobu (nie znam, może raczej tak), aby w krótkim czasie dotrzeć to tego co aktualnie dzieje się na Twitterze. Przygotujemy sobie więc odpowiednie narzędzie.

Mecz Polska - Rumunia na Twitterze

Mon, 12 Jun 2017 11:00:36 +0000

Wydarzenia sportowe (lub inne dziejące się tu i teraz) są bardzo wdzięcznym tematem analizy tego, co dzieje się w mediach społecznościowych. Jak wyglądał Twitter podczas meczu Polska - Rumunia?

Przygotowanie tokenu

Aby zebrać dane z Twittera potrzebujemy zbudować aplikację, która wykorzysta API Twittera i jej tokenu. W samym R wykorzystamy pakiet rtweet. Koniec końców potrzebny nam jest klucz API (para Consumer Key i Consumer Sectet) - jak je zdobyć można przeczytać tutaj (z obrazkami). Odpowiednie wartości należy przypisać do zmiennych poniżej. Kod przygotuje nam token i zapisze w lokalnym pliku, dzięki temu w przyszłości będziemy mogli taki token wykorzystać:

Przewidywanie oceny filmu - wybór modelu

Fri, 09 Jun 2017 15:29:42 +0000

Jak będzie oceniony film, który dopiero powstaje? Czyli o wybieraniu i poprawianiu modeli predykcyjnych. W poprzednim wpisie pokazałem dane zgromadzone z Filmwebu w różnych przekrojach, a na koniec zaproponowałem model, który na podstawie informacji o ocenach filmów twórców (reżyseria, scenariusz, autorzy muzyki oraz zdjęć) i aktorów próbuje przewidzieć ocenę nowego filmu (wyprodukowanego w tym samym składzie). Nurtował mnie ten pomysł, postanowiłem go więc nieco lepiej przeanalizować. A przy okazji - nauczyć się budować modele predykcyjne (chociaż o nich trochę już wiem - był wpis o klasyfikacji). Jeśli nie znasz poprzedniego wpisu - zachęcam do lektury! klik, klik Na początek przygotujemy środowisko, wczytamy zgromadzone dane i ustalimy jaka jest minimalna liczba głosów na film, żeby w ogóle się nim zajmować.

Oceny filmów i ich przewidywanie

Thu, 08 Jun 2017 13:59:55 +0000

Od czego zależą oceny filmów? Jak będzie oceniony film, który dopiero powstaje? Dawno temu, czyli gdzieś około roku, może nawet półtora temu, zebrałem z Filmwebu prawie całą ówczesną bazę danych o filmach. Wykorzystałem biblioteki napisane w PHP korzystające z (nie)oficjalnego API Filmwebu budując skrypt, który dla kolejnych ID “produktów” (produktów, bo Filmweb ma nie tylko filmy, ale również seriale i gry) i pobierał odpowiednie informacje (do ID bodaj 770 tys.): rok produkcji filmu, jego polski i oryginalny tytuł, czas trwania, gatunki, twórców i obsadę oraz liczbę ocen i średnią ocenę (na moment pobrania danych). Powstało kilka plików CSV (pliki relacyjne) z dużą ilością danych. Dzisiaj z tego skorzystamy i pooglądamy jak zmieniał się przemysł filmowy. Pliki zgromadzone zostały w formie CSV, po wyczyszczeniu danych wpakowałem wszystko w jeden plik z danymi. Wczytajmy sobie te dane:

Partie polityczne i sport

Thu, 25 May 2017 12:32:43 +0000

Czy preferencje polityczne mają jakiś związek z preferencjami sportowymi? Innymi słowy: czy jeśli lubię PSL to wolę piłkę nożną czy jednak bieganie? Stereotypowo mogłoby to wyglądać tak: Nowoczesna to biegi, PiS - piłka nożna i podnoszenie ciężarów (przed tv, ciężary 500ml w puszce), Kukiz - wędkarstwo, PSL - wypas owiec. Koniec żartu, można się śmiać. A jak jest? Zrobimy eksperyment z dużą ilością danych. Facebook ma to od ręki, dlatego wykorzystamy publiczne informacje z tego właśnie źródła. Poza tym - te 2 miliardy użytkowników zostawia bardzo dużo informacji o sobie. Według badania Gemius/PBI za kwiecień 2017 w Polsce z Facebooka korzysta 22.6 mln internautów (81.4% wszystkich, co ciekawe - zanotowano spadek o ponad 200 tys. m/m). Jak to zrobić? Po pierwsze trzeba wytypować listę fanpage’y na podstawie których będziemy wyciągać wnioski. Skorzystałem z dwóch źródeł: własnej głowy (i sondaży poparcia) aby wytypować partie i z własnych rąk aby wyszukać ich fanpages na Facebooku. Druga strona równania to lista fanpage’y sportowych (dla mnie trudniejsze) - tutaj skorzystałem z raportów Sotrender. Teraz metodologia. Można na kilka sposobów. Na przykład biorąc listę fanów poszczególnych stron i szukając części wspólnych tych zbiorów. Tak będziemy działać. Problemem jest tylko jak uzyskać listę fanów? Kiedyś Facebook udostępniał poprzez API możliwość wywoływania zapytań FQL (to taki podobny do SQL język dla FB). Ale ograniczenia prywatności spowodowały, że to nie działa. Trzeba więc inaczej, co nieco zaburzy wyniki (trudno mi jednocześnie na szybko oszacować jak bardzo). Posty na stronach są publiczne, ludzie lajkują i komentują. Facebook udostępnia poprzez API dane o tych komentarzach i lajkach, w tym ID (oraz imię i nazwisko) użytkowników, którzy taką interakcję poczynili. Zatem weźmiemy posty każdej ze stron, dla każdego postu listę osób reagujących (policzymy tylko like i comment - bez share oraz innych reakcji) na post. Tym sposobem nie będziemy mieć fanów (jest ich zapewne więcej niż wchodzących w interakcję - jaka to różnica wyjdzie po drodze; a jednocześnie na tych stronach można komentować i lajkować nie będąc jednocześnie fanem strony), ale coś podobnego. Może nawet lepszego (użytkownik zaangażowany jest cenniejszy niż bierny obserwator).

Tramwajem po grafie

Wed, 17 May 2017 15:09:13 +0000

Dzisiaj trochę o grafach. Po drodze na nie się powoływałem, czasem nawet jakieś można było zobaczyć. Ale co to są te grafy? Był wpis “edukacyjny” o metodach klasyfikacji, czas na kolejny. Grafy to stwory matematyczne, które przydatne są na przykład w analizie sieci społecznych (wykrywanie “grup wzajemnej adoracji” albo ważnych osób wokół których skupiają się inni), logistyce (planowanie tras transportu). My zajmiemy się warszawskimi tramwajami. Bo to sieć, jakby nie było. Dane o trasach pobrałem ze strony Warszawa.wikia.com ręcznie przepisując (Ctrl-C + Ctrl-V plus trochę Ctrl-H oraz USUŃ.ZBĘDNE.ODSTĘPY() w Excelu) do tabeli, w której w pierwszej kolumnie jest numer linii, a w drugiej - kolejne przystanki na tej linii (ich nazwy).

Rowery Veturilo - część druga

Fri, 12 May 2017 13:49:07 +0000

Jakimi trasami poruszają się rowery Veturilo? Czy ludzie dojeżdżają rowerem do metra? Jak szybko jeżdżą rowery? Czy to od czegoś zależy? W pierwszej części opisałem skąd pobrać dane, pokazałem jak wygląda liczba rowerów Veturilo poruszających się po Warszawie (w ciągu dwóch miesięcy, ale także średnio w poszczególnych dniach tygodnia). Zderzyliśmy dane o ruchu rowerowym z pogodą, co w efekcie pozwoliło dojść do wniosku (chyba mało zaskakującego), że jak jest cieplej i nie pada to jeździmy więcej. Dzisiaj będzie o tym skąd i dokąd jeżdżą sobie rowery Sprawdzimy też czy teza postawiona w poprzedniej części (na podstawie ruchu w poszczególnych porach dnia) o dojazdach do i z pracy jest prawdziwa. A przynajmniej zbliżymy się do jej weryfikacji. Zaczniemy od podłączenia się do źródła danych:

Rowery Veturilo - część pierwsza

Mon, 08 May 2017 15:54:27 +0000

Czy popularność rowerów Veturilo w Warszawie od czegoś zależy? Dzisiaj, po majowej przerwie (spędzonej między innymi na rowerze) zajmiemy się nieco większymi zbiorami danych. Na początek kilka słów o przygotowaniu danych.

Rowery Veturilo

Od początku marca (od bodaj 11) zbierałem dane wystawione przez NextBike (operatora rowerów m.in. Veturilo) dla kilkudziesięciu miast. Ograniczyłem się tylko do Warszawy, dane były pobierane co 5 minut. Jak wyglądają te dane możecie sprawdzić sami - to dostępny online plik XML. W pliku znaleźć można wszystkie potrzebne nam informacje:

Nowe pojazdy w Polsce po roku 2010

Sat, 29 Apr 2017 09:57:58 +0000

Gdzie rejestruje się najwięcej nowych samochodów? Jak to porównywać i pokazywać?

Dzisiaj proste zadanie, ale wymagające nieco gimnastyki. Otóż sprawdzimy gdzie przybywa najwięcej nowych samochodów. Skorzystamy z danych GUSu (precyzyjniej jest to Kategoria: TRANSPORT I ŁĄCZNOŚĆ, Grupa: POJAZDY, Podgrupa: Zarejestrowane nowe pojazdy samochodowe (dane kwartalne)). Pobieramy ręcznie plik CSV (dane dla wszystkich okresów i wszystkich lat, tylko samochody osobowe), pamiętając żeby przed pobraniem pliku przełączyć układ danych na “według TERYT” (klucz TERYT jest najlepszy do łączenia danych z mapami - pobranymi w plikach SHP z CODGiK - zdaje się, że było już o tym).

Prognoza stopy bezrobocia na 2017-2018

Wed, 26 Apr 2017 12:28:23 +0000

Jakie będzie bezrobocie za dwa lata? A właściwie - jak wyznaczyć przyszłe dane na podstawie historii? Dzisiaj zajmiemy się prostą (automatyczną) predykcją szeregów czasowych. Co to jest szereg czasowy? Ano, zbiór danych przypisanych do kolejnych dat (chwil w czasie - będąc bardziej precyzyjnym). Może to być wartość akcji dzień po dniu, może to być temperatura (czy dowolne inne wartości opisujące pogodę) lub cokolwiek innego, co ma swoje wartości w kolejnych momentach czasu. My zajmiemy się stopą bezrobocia w Polsce. Skorzystamy z miesięcznych danych publikowanych przez GUS. Dane są w ładnej tabelce na stronie, można więc je łatwo z niej wyciągnąć.

Sejm VII kadencji

Sat, 22 Apr 2017 14:19:27 +0000

Jak znaleźć posłów do przejęcia z jednego klubu do drugiego? Czy posłowie głosują zgodnie z głosem lidera? Sprawdzimy dzisiaj jak wygląda rozkład sił w polskim Sejmie. Jak bardzo partie różnią się od siebie, komu z kim po drodze i czy są posłowie, którzy głosują inaczej niż lider? Wszystkie te informacje wydobędziemy moim ulubionym sposobem, czyli bez czytania. A tak na prawdę to bez wnikania w politykę, bez oglądania wiadomości. Jedynie na podstawie tego jak poszczególne osoby głosują w kolejnych głosowaniach. Jeśli nie interesują Cię technikalia - przejdź od razu do wyników:

Nowa Europa (według k-means)

Wed, 19 Apr 2017 13:53:09 +0000

Czy granice państw europejskich są wyznaczone poprawnie? Jak wyglądałyby gdyby użyć algorytmów?

Tak zrobimy - sprawdzimy jak algorytm k-średnich “rozdzieli” na poszczególne kraje miasta biorąc pod uwagę ich położenie geograficzne. I zobaczymy co się stanie jak w Europie będzie mniej państw (oczywiście hipotetycznie, oczywiście na podstawie algorytmu, a nie wojny o ziemię). Trochę o algorytmach pisałem już wcześniej, tutaj użyjemy najprostszego z algorytmów - k-średnich. Metoda będzie prosta - dla każdego miasta znajdziemy jego współrzędne, później na podstawie współrzędnych dokonamy klasyfikacji do nowych grup. Na początek tej samej ilości grup (państw) jaką mamy obecnie - sprawdzimy czy granice są “odpowiednie”. Później będziemy zmniejszać ilość “nowych państw”.

CSI: Lemur

Fri, 14 Apr 2017 12:41:04 +0000

Gdzie mieszkasz? I gdzie pracujesz? Daj mi dane z Google Takeout i powiem Ci wszystko! Google nas śledzi. Wie jakie strony oglądamy, jakie filmy. Jeśli używamy Google Maps i mamy włączone śledzenie lokalizacji w telefonie - wie gdzie jesteśmy. I jeszcze do tego zarabia na tym pieniądze. Ja mam (i wcale się tego nie boję). Dzięki temu za darmo mam dane, którymi mogę się pobawić, a co więcej - wiem dlaczego te dane są takie a nie inne, rozumiem je najlepiej jak tylko się da. Bo to moje życie. Ale gdyby tak ktoś chciał na podstawie tylko jednej porcji danych (tych o lokalizacji) dowiedzieć się czegoś o nas… co może zobaczyć? W bardzo prosty sposób bardzo dużo. Odsłonię trochę siebie. Na początek potrzebujemy pliku JSON z historią lokalizacji. Wchodzimy na Google Takeout i zlecamy przygotowanie danych zaznaczając Location History w formacie JSON. Po jakimś czasie (do kilkudziesięciu minut) dane trafią we wskazane w kolejnych krokach miejsce. Teraz bierzemy je na waRsztat.

Tramwaje warszawskie

Wed, 12 Apr 2017 08:54:46 +0000

Dzisiaj zajmiemy się ruchem tramwajów w Warszawie. Jak zmienia się ruch w ciągu dnia? Jakie i ile tramwajów jeździ po warszawskich torach? Inspiracją do tego wpisu jest filmik obrazujący podobne dane z Nowego Jorku.

Ekstra, co nie? Zrobimy to samo. Bo możemy, bo chcemy, bo potrafimy.

Źródło i pobranie danych

Skorzystamy z otwartych danych, jakie dostępne są na stronie Otwarte dane po warszawsku. Na początek potrzebna będzie rejestracja na tej stronie i uzyskanie klucza API, który pozwoli na dostęp do różnych ciekawych danych jakie udostępnia Miasto Stołeczne Warszawa. Po uzyskaniu klucza API koniecznie będzie wpisanie jego wartości w miejsce NUMER_APIKEY w poniższym kodzie.

Ceny mieszkań do wynajęcia

Thu, 06 Apr 2017 15:43:37 +0000

Znacie to nagranie?

No, ja mam M1 do wynajęcia…
To już nie jest aktualne, wie pan?

Pytanie brzmi za ile wynająć takie M1? Albo ile zapłacić? W zależności od lokalizacji.

Skąd wziąć dane?

Sprawdzimy jakie są rynkowe ceny najmu mieszkań, korzystając jak zwykle z dostępnych źródeł. Popatrzymy globalnie, na cały kraj. Popatrzymy też statystycznie (bez dużej ingerencji w dane)., a skoro statystycznie to potrzebujemy dużo danych, żeby statystyka miała sens. Tym bardziej że będziemy głównie uśredniać (albo precyzyjniej - opierać się na medianach, czyli wartościach środkowych). Skąd weźmiemy dane? Z serwisów ogłoszeniowych. Jest kilka specjalizujących się w nieruchomościach (np. otodom.pl), ale są też inne gdzie przewija się znacznie więcej ogłoszeń - OLX.pl, gumtree.pl czy gratka.pl. Ta ostatnia okazała się najbardziej przydatna. Z prostego powodu - na liście wyników wyszukiwania znajdujemy potrzebne dane (dzięki temu wystarczy przeskanować kolejne strony indeksu zamiast wchodzić na każde ogłoszenie - jest szybciej), ułożone dodatkowo w sensownym HTMLu. Jeśli chcesz pominąć technikalia - skroluj dalej, albo kliknij sobie tutaj i przejdź do analizy, a jeśli interesują Cię ceny mieszkań w Warszawie - to też jest, a nieco dalej w innych miastach. Już możecie się domyślić, że metodą “czołgową” przejedziemy po kolei wszystkie strony i sobie pobierzemy to co nam potrzebne. Potrzebujemy kilku bibliotek, przy okazji zdefiniujemy “standardowy” wygląd wszystkich wykresów (żeby nie dodawać za każdym razem moje ulubione “+ theme_minimal()”).

Szybka mapka z miastami

Thu, 30 Mar 2017 13:12:19 +0000

Jak szybko przygotować mapkę z (mniejszymi) miastami Polski? Szybki temat, bo i potrzeba była szybka. Żona zapytała jak ma zrobić mapkę z lokalizacją oddziałów jej firmy w poszczególnych miastach Polski. I nie były to miasta wojewódzkie (to znaczy takie też), ale też powiatowe. Szukanie mapy konturowej naszego kraju, a później szukanie gdzie na owej mapie zaznaczyć jakiś przysłowiowy Pcim Dolny to nie jest zadanie na godzinę dwudziestą trzecią. Zajęłoby (mi) to jakieś dwie albo trzy godziny. Od czego jest R? Rozwiązania na szybko przyszły mi do głowy dwa, oba na podstawie doświadczeń oczywiście. Lubię mapy i dane na mapach, to mam też trochę doświadczenia w tym temacie.

Jak Onet pracuje na Facebooku?

Mon, 20 Mar 2017 17:08:09 +0000

W poprzednim poście zrobiłem analizę postów publikowanych przez polskie redakcje informacyjne na Facebooku. Zabrakło tam redakcji z grupy Ringier Axel Springer Polska. W związku z licznymi prośbami - dzisiaj pogłębiona analiza postów Onetu. Zajmiemy się fanpage’em “głównym” i ostatnimi dwoma tysiącami postów.

fb_page_posts <- get_fanpage_posts("Onet", 2000, token)

Skorzystałem z funkcji get_fanpage_posts() napisanej w poprzednim poście, więc zainteresowanych tam odsyłam po szczegóły techniczne. Zobaczmy jakiego typu posty publikuje Onet:

fb_page_posts %>%
 count(type) %>%
 mutate(p=100*n/sum(n)) %>%
 ungroup() %>%
 arrange(n) %>%
 mutate(type = factor(type, levels=type)) %>%
 ggplot() +
 geom_bar(aes(1, p, fill=type), stat="identity") +
 labs(fill="Typ postu") +
 theme_void() +
 coord_polar(theta="y")

Prawie 77% - linki, 16.75% wideo, 6% zdjęcia. Jak to wygląda ilościowo - liczba postów publikowanych w ciągu dnia w zależności od dnia tygodnia, im bardziej żółte tym więcej:

Redakcje informacyjne na Facebooku

Sat, 18 Mar 2017 09:31:57 +0000

Jak pracują redakcje serwisów informacyjnych na Facebooku? Kiedy publikują, jakiego rodzaju treści? Czy “cała prawda całą dobę” to prawda? Dobierzemy się do postów publikowanych przez redakcje informacyjne i zobaczymy jak wygląda obraz tych redakcji na Fejsie. Do tego celu użyjemy biblioteki Rfacebook, której nie ma w CRANie, ale jest na GitHubie - jest sposób, aby i takie coś zainstalować w pakiecie R i korzystać tak samo jak z bibliotek z CRANa. Potrzebujemy biblioteki devtools, przy pomocy której zainstalujemy Rfacebook. Najpierw instalujemy devtools:

Róbmy swoje, Panie Wojtku!

Thu, 16 Mar 2017 14:22:03 +0000

Wczoraj wieczorem zmarł Wojciech Młynarski. Zobaczmy czy był popularny - korzystając z Wikipedii. Za miarę popularności uznamy liczbę wyświetleń hasła poświęconemu Panu Wojciechowi w polskiej Wikipedii. Im bardziej osoba popularna, tym częściej poszukuje się o niej informacji. Założenie dość dobre, prawda? Chyba, że… tak - w przypadku ogólnego medialnego szumu wokół osoby (na przykład z powodu śmierci) ta miara zostaje zaburzona. Co też za chwilę zobaczycie. Potrzebne będzie kilka bibliotek - do obróbki danych dplyr oraz reshape2, do wykresów ggplot2; stringr przyda się do jednego przekształcenia ciągu znaków. Dane pobierzemy przez API w formacie JSON z serwisu Wikimedia.org przy pomocy httr i przekształcimy do formatu data.frame przez fromJSON() z biblioteki jsonlite.

Pogoda w Warszawie

Tue, 14 Mar 2017 14:49:49 +0000

Rozmowy o pogodzie. Taki small talk. Z potwierdzeniem liczbowym faktów znanych z życia codziennego. Oraz - kiedy na urlop?

Dane pobieramy ze strony wunderground.com, gdzie każdy dzień ma swój URL (przykład), dzięki czemu możemy dość łatwo przejść dzień po dniu w pętli. Tym razem będzie bez gotowego kodu, a jedynie wskazówka co jest potrzebne:

biblioteka rvest
po wczytaniu strony dla konkretnego dnia trzeba znaleźć tabelkę (inspektor HTMLa w Chrome bardzo przydatny do tego celu)
z pomocą html_table() pobieramy dane z HTMLa do tabeli
dla każdego kolejnego dnia robimy to samo, łącząc w jednej tabeli wszystkie dane

Tak przygotowane dane warto zapisać lokalnie i później korzystać już z lokalnego pliku. Pobrałem dane dla całych lat 2000 - 2016, dla Warszawy. Po uporządkowaniu typów danych i wyczyszczeniu ich z braków lub błędów możemy zobaczyć jak wyglądają. Na przykład temperatura:

Poszukiwanie nowej muzyki

Thu, 09 Mar 2017 10:00:43 +0000

Dzisiaj zajmiemy się poszukiwaniem nowej muzyki. Uwielbiam poznawać nową muzykę, poszukiwać nowych smaków i cieszyć się nowymi odkryciami. Co prawda od kilku lat coraz trudniej znaleźć coś interesującego i innego. Albo są to popłuczyny po Kornie, albo jakaś kolejna wersja wczesnego Coldplay (który z każdą nową płytą jest coraz dalej od mojego gustu). Do poszukiwań wykorzystamy to co już znamy i lubimy. Bo najbardziej podobają mi się piosenki, które już raz słyszałem. W określeniu tego co znamy i lubimy pomoże LastFM. Serwis o którym pisałem przy okazji analizy nastrojów muzycznych zbiera nasze scrobble (przesłuchane utwory), ale posiadając tak dużo danych potrafi “polecić” coś od siebie. Algorytm polecający LastFM w dużym stopniu polega na porównywaniu gustów poszczególnych użytkowników, szukaniu podobieństw i wskazywaniu wykonawców pasujących do już znanych. Albo do innych wykonawców, mniej więcej na zasadzie: skoro dużo osób słucha Nirvany i Pearl Jam to te kapele są do siebie podobne. Oczywiście to nie jedyne cechy podobieństwa - są też tagi, lata działalności itp. Nie będę wchodził w algorytm LastFM, a wykorzystam dane jakie można z LastFM uzyskać. A z pomocą pakietu RLastFM w łatwy sposób uzyskamy dostęp do API serwisu. Przygotowanie R do pracy to ewentualne zainstalowanie wspomnianego pakietu, uzyskanie klucza API z LastFM oraz załadowanie potrzebnych bibliotek (tutaj: dplyr, ggplot2, reshape2). Wszystko to opisałem w poście “Jesienna deprecha”. Konfiguracja skryptu to 4 zmienne:

Koła w zbożu - algorytmy klasyfikacji

Tue, 07 Mar 2017 11:33:58 +0000

Jednym z głównych zagadnień w analizie danych jest klasyfikacja elementów do wybranych grup, na podstawie właściwości opisujących elementy. W pakiecie R i jego bibliotekach znajdziemy gotowe rozwiązania, pytanie tylko którego użyć? Zanim jednak coś poklasyfikujemy - zastanówmy się do czego to może być potrzebne? Zastosowań jest bardzo dużo:

zaszeregowanie gatunków roślin na podstawie parametrów typu długość liścia (bardzo popularny zestaw danych iris opisujący pąki irysów trzech odmian)
nieco ryzykowne - określanie czy grzyb jest jadalny czy też nie
filtrowanie spamu na podstawie nadawcy i zawartości maila
określanie autora tekstu na podstawie samego tekstu (w uproszczeniu na podstawie częstości występowania słów - pojedynczych jak i zbitek wyrazów)
wykrywanie nadużyć w bankach lub firmach ubezpieczeniowych - tutaj ilość cech (parametrów określających np. transakcję kartą kredytową) jest ogromna
podział klientów sklepu na określone grupy na podstawie zawartości koszyków
i tak dalej, i tak dalej

My będziemy testować algorytmy klasyfikujące. Narysujemy sobie pięć “rozedrganych” kółek (precyzyjniej: okręgów) nachodzących na siebie (jak generator losowy pozwoli :-) i później dla każdego narysowanego punktu określimy do którego kółka należy. Coś, co widać gołym ludzkim okiem na obrazku nie zawsze jest takie łatwe do zobaczenia dla maszyny. Post jest stricte edukacyjny, chyba niewiele ciekawych wniosków z danych tutaj wysnujemy. Chcę pokazać jakie są algorytmy (bez wchodzenia w ich szczegóły - klikaj w linki jeśli chcesz zgłębić wiedzę) i jak w najprostszej wersji użyć ich w R. Jeśli Cię to trochę zniechęciło, to skroluj dalej, pooglądaj kolorowe okręgi. I to bez wychodzenia na pole (w sensie “w zboże”)! Zaczynamy od przygotowania kółek. Danych.

Pulp Fiction - analiza filmu

Fri, 03 Mar 2017 16:59:47 +0000

Jak dobrze znacie Pulp Fiction? Ja widziałem ten film chyba ze 20 razy. Ciekawe jak widzi go maszyna… Jeśli nie oglądaliście jakimś cudem filmu uprzedzam - poniżej są spoilery. Nawet maszyna je wychwyciła ;) Zajmiemy się analizą scenariusza. Podobnie jak było z twittami przy Oscarach - nie będziemy go czytać (no, prawie - do uporządkowania danych przyda się znajomość filmu - jak widać poniżej wskazuję konkretne linijki), pozwolimy na mechaniczną analizę. Na początek potrzebny będzie tekst scenariusza. Jest kilka serwisów, na których można znaleźć takie rzeczy, wczytajmy więc gotowy tekst. Potrzebujemy tekstu angielskiego - w drugiej części wpisu pokusimy się o analizę emocjonalną tekstu, a tutaj o polskie słowniki trudno. Trudno byłoby też pewnie znaleźć przetłumaczony scenariusz.

Jesienna deprecha

Wed, 01 Mar 2017 16:35:06 +0000

Mam znowu doła Znów pragnę śmierci Wracają stare lęki I nie mogę w nocy spać Czy “jesienna deprecha” ma odbicie w słuchanej muzyce? Zacytowany na początku tekst to oczywiście piosenka “Jesienna deprecha” Kur z niesamowitej płyty P.O.L.O.V.I.R.U.S.. Zadanie na dzisiaj to weryfikacja czy pora roku albo pora dnia mają wpływ na nastrój słuchanej muzyki. Ktoś może powiedzieć, że oczywiście, że tak, że jasne, że “jesienią to ja tylko Radiohead i Portishead, a na wiosnę to ABBA, latem zaś Jamajka i Bob Marley”. Dowody? Historia przesłuchanych utworów, z datą i godziną? Ma? Ja mam. Serwis się nazywa Last.FM i pozwala przy pomocy różnych wtyczek (albo bezpośredniego połączenia konta np. w Spotify z LastFM) zbierać statystyki. Jak się ma dane od tysięcy (tfu! 43 milionów - przynajmniej tak donosił TechCrunch, chociaż przy nieco innej okazji) słuchaczy muzyki, to można robić z nimi cuda. Można je też sprzedawać wytwórniom płytowym albo stacjom radiowym, dzięki czemu wiedzą co jest “na topie” bezpośrednio od użytkowników. I dzięki temu produkują, to co produkują. Można też dowiedzieć się, kto słucha muzyki przed oficjalną premierą płyty i ścigać takie osoby. Polecam hasło Last.fm w angielskiej Wikipedii, o ile oczywiście nie znacie samego serwisu. Ale wracjamy do tematu. Potrzebna jest historia przesłuchanych utworów, którą weźmiemy z Last.fm. Użyjemy do tego pakietu, który został już wycofany z CRANa… Trzeba zainstalować ręcznie paczkę pobraną z archiwum CRANa. Potrzebny jest też klucz API dla LastFM - zdobyć można go na stronie API Last.fm, a jego wartość należy wpisać zmiennej lastkey. Później dane z Last.fm będziemy łączyć z danymi ze Spotify (zwracanymi jako JSON) - stąd odpowiednie biblioteki.

Oscary 2017 - kto wygrał? Bez czytania wiadomości!

Mon, 27 Feb 2017 15:44:51 +0000

Jak dowiedzieć się kto wygrał Oscara? Bez czytania wiadomości. W każdej z kategorii. Korzystając tylko z Twittera, ale bez czytania poszczególnych twittów! Da się? Oczywiście, że się da. Potrzebujemy tylko danych i odrobiny sprytu przy ich przetwarzaniu. Najpierw dane. Napisałem skrypt, który pobierał co 5 minut wszystkie nowe twitty z hashtagu #Oscars i zapisywał je w pliku “Oscars_hash.Rds” lokalnie na dysku. Sposobów na pobranie danych z Twittera jest wiele, ja wybrałem ten - najszybciej było mi napisać odpowiedni skrypcik (w R - mniej więcej robiący tyle: wyszukaj najnowsze twitty z określonym hasłem, dodaj je do już znalezionych) i po prostu zostawić komputer na noc. Te same dane można pobrać i wpakować do bazy danych. Można też przygotować skrypt, który pobierze wszystko na raz. Skrypt możecie przygotować sobie samodzielnie, zachęcam. Tak czy inaczej - w R polecam bibliotekę twitteR. Trzeba jednak liczyć się z ograniczeniami API Twittera - określona liczba zapytań w czasie, określona (maksymalna) liczba wyników zwracanych dla jednego zapytania. Z powodu tych ograniczeń dane przygotowane przeze mnie zawierają maksymalnie 3200 Twittów pobranych raz na 5 minut. Do naszej analizy to wystarczy. Poza tym - moją ideą przy prezentowaniu kolejnych postów jest pokazanie, że bez płacenia za jakiekolwiek dane można fajnie się pobawić i czegoś nauczyć. Dzisiaj korzystamy jak zazwyczaj z bibliotek ggplot2, dplyr, lubridate oraz tidytext do operacji na słowach. Fajna biblioteka, dużo przykładów, jeszcze się będziemy nią bawić. Pobieramy dane zapisane przez skrypty zapisujące to, co działo się na Twitterze i rozdzielamy czas opublikowania twittu na dzień, godzinę i minutę (po tym będziemy później szukać i grupować). Przy okazji wytniemy dane tylko dla 27 lutego (ceremonia była już 27 lutego naszego czasu), żeby nie ciągnąć za dużego ogona ze sobą.

Oscar 2017 "Best Picture" - kto wygra?

Fri, 24 Feb 2017 19:00:35 +0000

Czy da się wytypować zdobywcę Oscara za pomocą matematyki? Spróbujmy odpowiedzieć na tak postawione pytanie. I sprawdźmy, czy model oparty na dostępnych danych wskaże faworyta “La la land” jako zwycięzcę w kategorii “Najlepszy film”. Na początek rozważmy czego możemy się dowiedzieć z ogólnodostępnych źródeł? Weźmy na przykład bazę filmów z serwisu IMDb.com. Mamy tam takie informacje:

średnia głosów społeczności
ilość oddanych głosów
mamy ocenę krytyków (wskaźnik MetaScore)
informacje o obsadzie, reżyserze, gatunku
informacje o czasie trwania
koszt (budżet) filmu
mamy przychód z kin - w weekend otwarcia oraz całkowity
wreszcie - wiemy czy film zdobył Oscara wcześniej czy nie (w odpowiednim roku)

Spróbujmy zatem na początek pobrać potrzebne informacje wprost z IMDb.com. Te biblioteki nam się przydadzą:

Grudniowe dzieci

Thu, 23 Feb 2017 22:49:16 +0000

Czy zastanawialiście się w jakim miesiącu najczęściej bywacie na urodzinowych imprezach? Wtedy, kiedy mają te urodziny, prawda? A kiedy mają? Wtedy, kiedy rodzi się najwięcej dzieci, czyż nie? Sprawdźmy to - korzystając z danych GUS oraz stosunkowo prostego skryptu w języku R. Na początku potrzebne będzie kilka bibliotek do wygodnego przetwarzania danych. Jeśli nie masz ich - zainstaluj.

tidyverse - to biblioteka wywołująca inne biblioteki, taki skrót. My będziemy potrzebować konkretnie dplyr (do szybkich operacji na danych) oraz ggplot2 (do rysowania wykresów)
XLConnect - jedna z wielu pozwalająca na czytanie arkuszy Excela (dane GUS są zapisane w tej formie), ja lubię ją najbardziej (jest wygodna w użyciu). Uwaga - wymaga Javy
reshape2 - kolejna do manipulacji danymi, w tym przypadku do będzie potrzebna do rozpivotowania danych (funkcja melt())
lubridate - do transformacji dat

Po ewentualnej instalacji (poprzez install.packages()) możemy załadować biblioteki do R:

Wracam

Thu, 23 Feb 2017 21:04:26 +0000

Wróciliśmy z Chin. 6 lat temu, relację można przeczytać na blogu Made in China. Przez te sześć lat zdążył urodzić się Szymon, potem Hubert. Kilka razy zmieniłem pracę. W między czasie blog leżał odłogiem - nie było tematów, nie było czasu i weny. Mogłem co prawda pisać blogaska o wszystkim i o niczym, ale po co? Teraz mam wrażenie, że znalazłem coś, czym warto się podzielić. Zainteresowałem się analizą danych, predykcją i tym podobnymi zagadnieniami związanymi z szeroko pojętym data mining i data science. Próbowałem sił w PowerBI, Tableau, aby na koniec dojść do R, przy którym zostałem (jak na razie - Python pewnie następny). Ostatnio zawodowo grzebię też w VBA w Accessie i Excelu. I to jest ta nisza - dane, ich przetwarzanie i wizualizacja. Takiego polskojęzycznego bloga nie znalazłem, sporo fajnych jest po angielsku (ale co to za problem czytać po angielsku?). Może kogoś zainteresuje, może komuś się przyda do nauki, chociaż nie zamierzam prowadzić tutaj jakiegoś kursu, a publikowane kody źródłowe będą raczej dla zaznajomionych z R. A jeśli nie przyda się nikomu - “będzie do portfolio”, “wpiszę sobie do CV”.

Jedziemy do Chin!

Wed, 22 Sep 2010 11:38:12 +0000

Dokładnie tak - za nieco ponad tydzień ruszamy z małżonką na wschód, tym razem poza europejski kontynent - do Kraju Środka.

Drugiego października wylatujemy z warszawskiego lotniska im. Chopina, lądujemy w Kijowie, przesiadamy się i po kilku godzinach lotu - lądujemy w Pekinie. Zwiedzamy Pekin przez jakiś tydzień (Zakazane Niasto, Wielki Mur), później Xian (terrakotowa armia), mały wywczas w Hangzhou, Szanghaj (razem z wizytą na Expo 2010) i na koniec Hong Kong (jak się uda to z wizytą w Macau).

Kurs scenariopisarstwa

Mon, 21 Jun 2010 14:31:16 +0000

Byłem, skończyłem, napisałem i teraz poprawiam “trzydziestkę” - czyli o tym jak uczyłem się pisać scenariusze w Bahama Films. Gdzieś pod koniec lutego trafiłem na kurs pisania scenariuszy filmowych dla początkujących. Kurs prowadzony był przez Wiktor Piątkowski i Krzysztofa Maćkowskiego pod szyldem Bahama Films. Obaj brali udział w Laboratorium Scenariuszowym przy Studiu Munka w 2008 roku, napisali serial (który chcą nakręcić), Krzysztof “dodatkowo” wydał książkę “Raport Badeni”, Cały kurs to kilka grup, w tej do której chodziłem było nas siedmioro. I siedem było też spotkań – co dwa tygodnie, po cztery godziny.

Kiedy miałem... 5-10-15 i więcej lat

Fri, 11 Dec 2009 21:50:37 +0000

Zainspirowany wpisem Pawła o tym co działo się w Polsce kiedy on miał 5, 10 czy 15 lat postanowiłem zrobić to samo, tylko szerzej. Skorzystałem z polskiej Wikipedii i oto co mi wyszło. Jak się urodziłem, w 1978 roku to się działo co nie co. Był to rok,w którym było aż 3 papieży: Paweł VI, Jan Paweł I (po wyborze na papieża przeżył 33 dni) i wybrany 16 października Jan Paweł II. Dzień przed moimi urodzinami, 6 lutego, GUS podał w komunikacie o 1977 roku, że średnia płaca wyniosła 4384 zł. To były “stare złotówki”. W nowych jeszcze nam nieco do tego brakuje (za październik 2009 roku jest to 3312 PLN). A poza tym:

Żyję, żyję

Sun, 01 Nov 2009 13:05:53 +0000

Dawno tutaj się nic nie pojawiło, ale też powód ku temu: dużo pracy. W tak zwanym między czasie powstały serwisy, w których projektowaniu brałem udział: Wyborcza.biz oraz Nekrologi.wyborcza.pl Oprócz pracy jest też tzw. życie prywatne, a w nim - jeden z ważniejszych “projektów”: ślub. Przygotowania trwają.

Tanie noclegi w Krakowie

Tue, 07 Jul 2009 18:33:47 +0000

…czyli o tym jak to hostel Trzy Kafki PLUS maila reklamowego słał Czasem trzeba jechać do Krakowa i zatrzymać się na kilka nocy. Nawet jeśli się tam studiowało i ma kilkoro “starych, dobrych znajomych” to lepiej spać w hostelu – chociażby dlatego, żeby się nie “napraszać”. Człowiek szuka wtedy miejsca w hostelu. Wysyła maila do kilku takich placówek, dopytuje się o miejsca, ostatecznie rezerwuje, płaci, jedzie i jest zadowolony (osobiście polecam dla większych grup Blue Hostel w którym spałem już kilka razy a dla wyjazdów w parze – coś z tej oferty). A później mija jakiś czas i przychodzi mail promocyjny. Na przykład od hostelu Trzy Kafki PLUS, który kiedyś odpowiedział, że nie ma wolnych miejsc w podanym terminie. I super – jest kryzys, turystów ponoć coraz mniej w Krakowie, trzeba się promować, a Internet to świetne do tego narzędzie. Więc mailing! Pewnie – najlepiej do tych, którzy mieli już z nami kontakt. O takim podejściu pisała kiedyś Shrew. Pisała też jak wysyłać newslettery. [ad#postad]No to ślemy. Klienci (byli oraz potencjalni) dostają maila. Tak oto znalazłem się na liście 514 odbiorców (takich na litery L, Ł oraz M, to trzy literki – powiedzmy jakaś 1/8-1/10 całej bazy) mailingu o tym jak to tanio będzie dla rodzin do końca września. Super, ale dlaczego mój (oraz inne 513; w tej jednej paczce) mail był w polu “Do” a nie w “Ukryta kopia”? Dlaczego mogłem zobaczyć inne maile? Przecież to “nic takiego”… nic się nie stało, przecież to tylko mail. Dziękuję hotelowi Trzy Kafki za udostępnienie mojego maila 513 innym osobom… Zastanawiam się czy nie utworzyć serwisu społecznościowego z opiniami o hostelu Trzy Kafki – bazę do wysłania zaproszeń już mam… A może wysłać konkurencyjną ofertę? Na taką wiadomość hostel odpisał nawet “Przepraszamy za błąd. Już się zorientowaliśmy”. Brawo! Ktoś jednak tam myśli… Ciekawe co na to Generalny Inspektor Ochrony Danych Osobowych? Mam nadzieję, że się dowie i coś z tego będzie – jeden z uczestników mojej części (a było ich więcej, jak sądzę) “listy mailingowej hostelu Trzy Kafki” napisał, że skieruje sprawę do GIODO “za doskonałą ochronę danych klientów” – ja nie mam na to głowy i czasu. Swoją drogą – może sprawdzić te osoby na Naszej klasie albo w Facebooku?

Suwalszczyzna

Sat, 09 May 2009 15:49:09 +0000

W majowy weekend byliśmy w Suchej Rzeczce na Suwalszczyźnie, w gospodarstwie agroturystycznym.

[ad#postad]

A Sucha Rzeczka i samo gospodarstwo Państwa Królów - cudowne. Z dala od zgiełku, cisza, spokój. Miejscowość leży w Puszczy Augustowskiej, dwa kilometry od jeziora Serwy i 400 metrów od Kanału Augustowskiego.

Świetne warunki w stosunkowo tanich domkach (jak na standard - pełen komfort, kabina prysznicowa z hydromasażem, drewniane domki z bali, lakierowane drzewo, TV satelitarna…), do tego bardzo mili gospodarze serwujący ogromne ilości smacznego jedzenia. Rowery i kajaki gratis; na terenie gospodarstwa boisko do siatkówki, stół do ping-ponga i bilarda, miejsce na grilla i… fińska łaźnia!

Wady i zalety iPhone

Sun, 15 Mar 2009 16:00:12 +0000

Od około trzech miesięcy jestem posiadaczem iPhone 3G 16GB. Używam go codziennie, korzystając głównie z wbudowanego w niego odtwarzacza muzyki (czyli właściwie iPoda), telefonu, SMSów czy Internetu (WWW i czasem komunikator). Ten telefon jest też dla mnie książką adresową i kalendarzem. Co mogę powiedzieć po trzech miesiącach? Na początek wygląd – Apple jest mistrzem designu i marketingu. Zacząłem od iPoda Nano, teraz iPhone, a już zastanawiam się czy nie kupić jakiegoś MacBooka. Te urządzenia są ładne (co prawda to subiektywne odczucie), wygodne i intuicyjne w użyciu. Najlepszy dowód to instrukcja dołączona do telefonu – właściwie nie mówi niczego. Odtwarzacz mediów – to po prostu iPod plus YouTube. Jest to zwykły odtwarzacz muzyki i wideo z możliwością zarządzania utworami, listami (inteligentne listy to coś cudownego), i zawartością mediów, ale tylko za pomocą iTunes. To niestety wada. I to dość poważna, szczególnie jak podłączysz iPhone’a do innego komputera. Sam mam włączone ręczne zarządzanie mediami, jednak mam wrażenie, że ustawienia dotyczące synchronizacji zapisane są w iTunes, a nie w urządzeniu. Dodatkowo - w porównaniu z iPodem Nano - gorzej dodaje się utwory do listy „On the Go”. Jako telefon iPhone sprawuje się normalnie – czyli niczego nie mogę mu zarzucić. Jedyne co irytuje to fakt, że nie można odrzucić połączenia przy zablokowanym ekranie! Odblokowanie ekranu przy przychodzącym połączeniu oznacza jego odebranie (co w sumie jest wygodne)… [ad#postad]SMSy – ich pisanie to udręka. Dość niewygodna klawiatura (szczególnie kiedy w autobusie trzymasz się jedną ręką, a piszesz tą samą w której jest telefon), dziwaczny słownik (nie wiem czy potrafię dodać jakieś słowo i nie wiem jak usunąć “sie” które mi się automagicznie dodało) czy treść przychodzącego SMSa widoczna od razu na ekranie, albo brak możliwości „przekręcenia” telefonu na bok to największe moim zdaniem wady. Chociaż z drugiej strony – przychodzący SMS widoczny od razu to fajna rzecz. Szkoda tylko, że i tak muszę wejść do SMSów, żeby został oznaczony jako przeczytany (a wchodzenie do SMSów trwa u mnie kilka sekund – nie mam pojęcia dlaczego). Niestety nie ma też dość praktycznych rzeczy – jak chociażby wysyłanie „wizytówek” kontaktów (albo chociaż samych numerów telefonów) – tego nie da się zrobić ani przez SMS, ani przez maila. Podobnie z przesłaniem otrzymanego SMSa. Nie ma też raportów o doręczeniu SMSa - czasem ta funkcja się przydaje. Na co dzień używam kalendarza Google i ostatnio też (po próbie synchronizacji z iPhone’m właśnie) wszystkie kontakty trzymam w GMailu. Świetne rozwiązanie – zmiana na komputerze od razu (po automatycznej synchronizacji) widoczna jest w telefonie i vice versa. Jedyny feler tego rozwiązania to właściwie każdorazowe łączenie się telefonu z Internetem przy otwarciu kalendarza lub kontaktów. Telefon ten ma wbudowany aparat do robienia zdjęć (bo nie nazwę tego „aparatem fotograficznym”) – 2Mpix jest wystarczające. W sieci znaleźć można opinie, że to za mało, że aparat jest kiepski. I tak i nie – ja nie narzekam, ale też uważam robienie zdjęć komórką za chybiony pomysł. Do tego celu służą konkretne urządzenia. Dziwi mnie jednak brak możliwości nagrania filmu wbudowaną w telefon kamerą – skoro jest to urządzenie multimedialne (a jest) i to wyposażone w oko kamery to dlaczego nie można nagrać krótkiego filmiku? Na szczęście są odpowiednie aplikacje, które to umożliwiają. Inne rzeczy to braki. Brak sensownego modułu bluetooth - jakiś jest, ale nie wymienię się plikami z komórką kolegi, tak samo nie zsynchronizuję iPhone’a z iTunes bez połączenia go z komputerem kabelkiem… Brak możliwości (bez dodatkowego oprogramowania) zrobienia z telefonu modemu (po kablu lub najlepiej po bluetooth) to też wada. Braku MMSów (bez SwirlyMMS :) zbytnio nie odczuwam - dostałem może z 5 w ciągu kwartału, wysłałem może dwa. Copy & paste – to powinien być standard, a nie rozwiązanie nielegalne. Oczywiście - wszystkie cztery powyższe braki załatwiają aplikacje z Cydii. Być może coś poprawi się z planowanym na 17 marca iPhoneOS 3.0?

Przegląd internetu, 15 lutego 2009 r.

Sun, 15 Feb 2009 14:16:55 +0000

Dzisiaj pierwszy wpis z cyklu „Przegląd Internetu”. Będzie to wybór najciekawszych i najpopularniejszych tematów z tygodnia. Oczywiście wybór subiektywny. Ponieważ zazwyczaj jest tak, że to o czym chciałbym napisać napisali już inni, a zazwyczaj brakuje mi czasu na napisanie tego samodzielnie – będę linkował do tych innych. Na początek – zmiany w Gmailu. Google wprowadziło możliwość dodania kilku widoków na skrzynkę pocztową. Możemy teraz dodać panele, w których zobaczymy maile wybrane wg dowolnego klucza wyszukiwania – np. oznaczone etykietami „do zrobienia” czy też (tak jest w moim przypadku) „mailing”. Więcej:

Muzyczne podsumowanie roku 2008

Fri, 26 Dec 2008 15:10:09 +0000

Najlepsze podsumowanie tego co grało mi w uszach to moje statystyki ostatniego roku na Last.fm Ale nie tylko to, chociaż moje podsumowanie krąży wokół tego co w tych statystykach się zapisało. W polskiej muzyce w 2008 roku pojawiły się dwie płyty, które odbiegają znacznie od tego do czego przyzwyczaili nas “majorsi” i stacje radiowe typu RMF, Zet czy Eska. Bardzo dużą popularnością cieszyły się płyty Czesława, który śpiewa oraz Marysi Peszek - Maria-Awaria (w tym przypadku raczej nie sądzę, żeby znacząco szum przełożył się na sprzedaż). Wreszcie coś, co poza melodią wpadającą w ucho ma tekst… i jest popularne. Jednak dla mnie ani jedna ani druga płyta nie była specjalnie ważna. Czesław jest muzyką popularną, która jest odmienna od mojego gustu. Marysia Peszek nagrała płytę z fajnymi (chociaż dość prostymi jeśli chodzi o rymy) tekstami i… tyle; “Miastomania” podobała mi się bardziej, ale też do niej nie wracam. [ad#postad]Wracam i zawsze będę wracał do Pink Floyd. Kiedyś wspominałem o wielkim boksie A Tree Full of Secrets, a w tym roku wróciłem to The Wall w wersji Under Construction, czyli w wersji demo albumu który uważam za najlepszą płytę w historii muzyki. Różnic pomiędzy wersją demo a finalną jest kilka: przejścia pomiędzy utworami są chropowate, zmieniona jest nieco kolejność utworów (np. “Hey You” po “Confortably Numb”) a całość jest bardziej dołująca i przygnębiająca. Dla mnie idealnie - bo właśnie za klimat i treść opowieści Watersa lubię “Ścianę”. Wracając do płyt nowych, których słuchałem w kończącym się roku… Za najlepsze uważam dwie. Pierwsza to “Third” - trzecia studyjna płyta Portishead (trzeba było na nią czekać aż 10 lat). Fani głosu Beth Gibbons z pewnością obawiali się tego co znajdą na płycie. Ale nie potrzebnie - płyta jest świetna, w klimacie wcześniejszych “Dummy” czy “Portishead”, a jednocześnie z nutką nowoczesności. Warto było czekać, ot co. Ważne zagraniczne płyty to nowa Metallica czy “Chinese Democracy” - album Guns N’ Roses nagrany aż po 15 lat przerwy! Jednak żadna z tych (i kilku innych) nie zasługuje moim zdaniem na uwagę tak, jak “Trójka” Portishead. Wśród polskich płyt zdecydowanym liderem dla mnie jest “Gospel” formacji Lao Che. Chłopcy przeszli samych siebie. Nagrali płytę energetyczną, będącą miksem kilku styli, z doskonałymi tekstami… i można tak długo. “Chłopacy”, “Bóg zapłać” czy “Hiszpan” to zdecydowane hity minionego roku w moim odtwarzaczu. Zasłuchiwałem się też płytami z 2007 - “Terroromans” Much i koncertem “MTV Unplugged” Heya. Oprócz dźwięków samych w sobie w 2008 roku miała miejsce ciekawostka związana ze sposobem dystrybucji muzyki. 2008 to dwie płyty Nine Inch Nails - czteroczęściowy “Ghosts I-IV” oraz “The Slip”. Album “Ghosts” został w całości wydany w sieci, na licencji Creative Commons. Pierwszą część albumu (Ghosts I) można ściągnąć bezpłatnie ze strony zespołu, zaś za pięć dolarów dostępna jest pełna, czteroczęściowa wersja albumu. Dwa miesiące po “Ghost” Trent Reznor wydał płytę “The Slip” - też w formie plików umieszczonych w internecie, za zupełną darmochę. O NIN pisałem wcześniej. Muzyka to nie tylko płyty, ale też koncerty. Najlepsza trójka jaką widziałem na żywo to:

Filmowe podsumowanie roku 2008

Thu, 25 Dec 2008 15:10:26 +0000

Koniec roku to czas podsumowań (i postanowień na nowy rok). W tym roku postanowiłem przygotować takie podsumowania w dziedzinach, które mnie interesują najbardziej i które jednocześnie są mniej lub bardziej dla mnie ważne. Proszę Państwa - podsumowanie roku 2008 w filmie. W 2008 roku najważniejsze filmy to pop-kulturowe produkcje: czwarta część Indiany Jonesa, kolejny Batman i kolejny James Bond (którego nie widziałem). O kolejnym Indiana Jonesie napiszę tylko tyle, że zabawa w dawnym stylu skopana została przez słaby scenariusz. A końcówka to już masakra… niestety. Mroczny Rycerz czyli kolejna część Batmana - dla mnie ten film to kilka mocnych punktów w ekipie, z powodu których musi być dobry: Reżyseria - Christopher Nolan czyli twórca świetnego i (jak na rok 2000) innowacyjnego “Memento” W głównej roli znakomity Chistian Bale którego uwielbiam od czasów American Psycho i późniejszymi Equilibrium czy Mechanikiem na czele. A w 2009 roku ma być kolejny Terminator, z którym Chistian Bale zagra Johna Connora. A do kompletu w roli Alfreda Michael Caine, którego lubię coraz bardziej - im starszy tym lepszy (gorąco polecam film Pojedynek (Sleuth) gdzie zagrał właściwie tylko z równie dobrym Jude Law). Nie rozumiem z kolei całego zachwytu nad Heathem Ledgerem - jako Joker świetny, to prawda, ale ten aktor nie kojarzy mi się z niczym poza tym, że zmarł z przedawkowania narkotyków czy środków nasennych. Z “Tajemnicy Brokeback Mountain” go wcale nie pamiętam (w ogóle średnio pamiętam ten film - nie przypadł mi do gustu, nie ujął mnie za serce itd.). Zresztą znalazł się na pierwszym miejscu “Rankingu najbardziej przecenianych gwiazd kina” przygotowanym przez portal Film Threat. Dla mnie odkryciem roku (częściowo na nowo - kilku filmów nie widziałem wcześniej) są bracia Coen. Rok zaczął się od To nie jest kraj dla starych ludzi (No Country for Old Men) - film znakomity, powolny, mroczny, bez muzyki… idealny. A Javier Bardem powoli robi się dla mnie takim Bale’em albo Cainem ;) Pamiętacie policjanta na wózku z Drżącego ciała Almodovara? A nieco ponad pół roku później bracia Coen serwują nam film Tajne przez poufne (Burn After Reading) który jest powrotem do klimatów znanych z np. Fargo (to chyba wciąż najlepszy ich film w moim rankingu). Mamy więc jakąś historię kryminalną i całą serię idiotów przewijających się przez ekran, z których najbardziej chyba bawi Brad Pitt. Do niego z gwiazd jest Clooney i Malkovich. Trochę to podobne (układem i filozofią) do Fargo, z którym łączy (poza Coenami oczywiście) chociażby Frances McDormand (Oscara dla najlepszej aktorki za rolę w Fargo, a prywatnie - żona Joela Coena). Poza tym godne uwagi filmy:

Wesołych Świąt!

Wed, 24 Dec 2008 08:53:22 +0000

W zeszłym roku były życzenia świąteczne pisane, w tym zaś - tradycyjnie ;) - do życzeń dołączamy piosenkę.

Notowania akcji na bieżąco

Sun, 16 Nov 2008 16:59:05 +0000

Ostatnio powstało kilka serwisów ułatwiających zarządzanie domowym budżetem. Z tych najnowszych to: Benefi.pl, MojeGrosze.pl, Figgy.pl, CashControl.pl czy zapowiadany przez Artura Kurasińskiego Bankomierz.pl. Niestety żaden z nich nie pozwala na kontrolowanie portfela akcji. A bieżąca wartość portfela jest dość podstawową funkcjonalnością dla ludzi, którzy z finansami robią coś więcej niż płacenie rachunków czy trzymanie funduszy w skarpecie. Żaden (może poza Bankomierzem, który jeszcze właściwie nie istnieje) z wymienionych serwisów nie pozwala na bieżące kontrolowanie stanu portfela giełdowego lub funduszy inwestycyjnych. Dodatkowa wada tych serwisów to “obsługa” zadłużenia na karcie kredytowej. Być może serwisy te projektują studenci, a - z tego co pamiętam z czasów studiów ;) - podczas studiów potrzebne do życia instrumenty finansowe ograniczają się do rachunku bieżącego i karty debetowej do tegoż rachunku ;) [ad#postad]Od ponad dwóch lat na prywatne potrzeby mam sprytny arkusz (właściwie dwa spięte ze sobą) w Excelu, dzięki któremu każdego dnia wiem ile mam na koncie, ile w akcjach (oczywiście z informacją o ewentualnym zysku czy stracie) a ile w jednostkach TFI. Zadłużenie na karcie kredytowej też kontroluję. Przygotowałem więc prostą wersję arkusza w Google Docs, która online policzy nam wartość naszego portfela akcyjnego. Zarówno dla akcji z rynku podstawowego jak i z rynku New Connect. Jedyne co potrzebujemy wiedzieć to ile akcji kupiliśmy i ile na to wydaliśmy. Oczywiście dla każdej spółki z osobna :) Arkusz znajduje się pod adresem http://spreadsheets.google.com/ccc?key=pNf042T4JPWigiBwUhHMmXQ i zawiera przykładowe dane, które przeliczają się podczas trwania sesji. Oczywiście dane o aktualnych cenach są opóźnione o 15 minut, a nie są danymi online. Do arkusza importuję dane z oficjalnych stron obu rynków - www.gpw.pl oraz www.newconnect.pl. Aby użyć arkusza dla własnych danych należy go zapisać w swoich dokumentach Google tworząc kopię. Jak zwykle - czekam na opinie i sugestie.

Buona Sera Anna Maria i Mister Lukas!

Fri, 17 Oct 2008 20:31:48 +0000

Tak za każdym razem witał nas przesympatyczny kelner w najczęściej odwiedzanej przez nas restauracji w miejscowości Santo Stefano di Camastra w północnej części Sycylii. Był On na tyle osobliwy, że jako pierwszy przychodzi mi na myśl, kiedy wspominam nasz pobyt na włoskiej wyspie. A że mieścina okazała się być mała i wyboru wielkiego nie było – tym chętniej tam przesiadywaliśmy. Z szumem fal morskich w tle białe wino wyśmienicie się konsumuje, a i nie wiedzieć czemu popularny tam duński Tuborg także. Ochrzczony przez nas Giuseppem kelner donosił nam drinki, jedzenie oraz najświeższe wieści z DowJones.

Kolorowy #Blip w #Miranda z obrazkami i cytatami

Sat, 11 Oct 2008 16:00:01 +0000

O co chodzi? I po co?

Od ponad roku korzystam z Blipa. Przez ten rok chyba na każdy możliwy sposób z niego korzystałem – przez kokpit na WWW, przez GG i JID jabbera, przez BlipFoxa (w którejś zdecydowanie wcześniejszej wersji) oraz przez dwie aplikacje – Blippera i AirBlipa. Każde z tych rozwiązań ma swoje zalety i wady. Ostatecznie wybrałem Blipa przez jabbera, a dokładniej przez konto GoogleTalk w Mirandzie. W Mirandzie, bo pozwala korzystać z kilku transportów: nie każdy znajomy chce przesiąść się na jakiego Jabbera, a i nie wszyscy mogą korzystać z GG – chociażby pracujący w różnych korporacjach (GoogleTalk jest wtedy rozwiązaniem idealnym). Przez JID GoogleTalka, bo mam historię w skrzynce GMailowej (i jak mnie nie ma to mogę zawsze zobaczyć co się działo). [ad#postad]Długo jednak korzystałem z Blippera (tak samo jak inne aplikacje), który miał tę niezaprzeczalną przewagę nad komunikatorem że pokazywał zdjęcia i obrazki bez konieczności wchodzenia na www. Niestety wszystkie aplikacje mają też wadę – są dodatkowymi aplikacjami, a z ich instalacją nie zawsze jest tak łatwo, szczególnie w pracy ;). Mirandy nie trzeba instalować – działa nawet z pendrive’a… Rozwiązaniem problemów byłoby coś, co wyciągnie z Blipa i pokaże w komunikatorze obrazki. Tylko co i jak?

Szukasz czegoś?

Tue, 30 Sep 2008 21:12:34 +0000

Mała ściągawka dla trafiających tutaj z Google. A z tego co obserwuję szukacie: Kilku słów o sobie – nie wiem czy “o sobie” znaczy “o tym, który szuka” czy też chcecie dowiedzieć się czegoś o mnie? Jeśli o mnie – zapraszam do strony Autor. Podobno jestem idiotą – hmm… zapewne się nie znamy (nie znam zbyt wielu idiotów ;) więc nie jestem w stanie sprawdzić i ewentualnie potwierdzić prawdziwości tego faktu… Ale może chodzi Ci o ostatnią kampanię reklamową sklepu Agito.pl? Jeśli tak – reklamy znajdziesz chociażby u ^Fanatyka. Jeśli już jesteśmy przy reklamie – kiedyś zamieściłem tutaj filmy z internetowej i w zamierzeniu wirusowej kampanii mBanku z Grzegorzem Halamą. Filmy są tutaj i tutaj Jakie możemy zobaczyć zabytki w Moskwie? W Moskwie możemy zobaczyć wiele interesujących zabytków. Coś o nich oraz o Instytucie Puszkina pisała w zeszłym roku Ania. Zaś pomniki i zdjęcia Warszawy mego autorstwa są w galeriach na Picasie – linki znajdziesz na tej stronie Interesuje Cię więcej zdjęć? Na przykład z weekendu na Mazurach? Proszę bardzo! I na koniec coś filmowego - Marcel Łoziński nakręcił całkiem niezły film o kulisach przygotowania medialnego polityków – pisałem o tym filmie w grudniu 2006 roku. W styczniu 2008 roku pisałem zaś o filmie “Rezerwat” z Sonią Bohosiewicz. Resztę Grupy Rafała Kmity znajdziecie na ich stronie, a zespół rewelersów stworzony przez Arka Lipnickiego – na stronie Voice Bandu. Jeśli jeszcze w czymś mogę być pomocny - zapraszam do kontaktu.

Blog Day 2008

Sun, 31 Aug 2008 09:00:32 +0000

Jak pisałem wczoraj, dzisiaj jest dzień bloga.. Podobnie jak rok temu przedstawiam listę blogów, które uważam za godne polecenia:

Zsyp - za styl
Nie-pracuj - Twój psychoterapeuta - obok Reklamy od kuchni mój ulubiony web-komiks tego roku
eM jak Media Marka Millera - ciekawostki ze świata mediów
Czarno na białym, czyli zapiski brand managera Piotra Jakubowskiego
Żółta koparka od ^Lavinki - bo chciałem coś lavinkowego, a przez tego bloga zacząłem zwracać uwagę na żółte koparki ;)

Blog Day 2008 - zapowiedź

Sat, 30 Aug 2008 09:50:33 +0000

Już jutro - 31 sierpnia - jest dzień bloga. Tego dnia blogerzy z całego świata zamieszczą na swoich blogach wpis, w którym polecą 5 innych blogów swoim czytelnikom. W ten sposób czytelnicy będą mieli okazję trafić na nowe, nieznane im blogi. Wymieniając się linkami blogerzy wzmocnią blogosferę, tworząc większą ilość połączeń między swoimi stronami. Mój blog weźmie oczywiście udział w tej akcji, podobnie jak rok temu. Jutro lista blogów, które polecam (a pewien klucz sobie już wymyśliłem :) A oto zasady Blog Day 2008:

Weekend na Mazurach

Tue, 22 Jul 2008 22:10:19 +0000

W weekend byliśmy na Mazurach, nieopodal miejscowości Orżyny. Kilka fotek z tego wyjazdu znajdziecie tutaj, zapraszam do oglądania i komentowania.

Firefox 3

Tue, 03 Jun 2008 20:07:29 +0000

Zainstalowałem RC1, testuję (część rozszerzeń jeszcze nie działa, ale pomaga w większości przypadków Nightly Tester Tools). Zaś Mozilla rozgrzewa sytuację PRem i biciem rekordu ilości ściągnięć nowej wersji. I tak zainstaluję “pełnego” FF3, więc co mi szkodzi - zarejestrowałem się i dostałem maila:

Dziękujemy, że zdecydowałaś/eś się wesprzeć Firefoksa

Dziękujemy za Twoje wsparcie dla naszej próby ustanowienia rekordu Guinnessa w liczbie pobrań programu komputerowego w ciągu 24 godzin. Nie zapomnij powiedzieć swoim przyjaciołom, rodzinie i kolegom, aby wsparli nas pobierając Firefoksa 3 podczas Dnia Pobierania!

iPhone w Polsce

Fri, 16 May 2008 13:44:04 +0000

Dzisiaj wszyscy w blogosferze żyją informacją Orange o tym, że w Polsce (i kilku innych krajach) będzie “later this year” oficjalnie sprzedawać iPhone’a. Dla mnie “later this year” oznacza okolice października-listopada, tak aby rynek był już dobrze nakręcony na gwiazdkę, a konsumenci uświadomieni czym iPhone jest. Pierwszy (przynajmniej dla mnie) był Marcin Jagodziński ze swoim blipnięciem i (początkowo) krótką notką. Notka szybko trafiła na Wykop (o 10:15) i już o 12 była na stronie głównej Wykopu (a przynajmniej w moim Google Readerze ;). Chwilę po publikacji notkę netto przepisała Manageria, a na blipie i w trackbackach wszystkich pokolei pojawiły się kolejne wpisy:

Nowa praca

Wed, 07 May 2008 20:00:28 +0000

Jak już pewnie niektórzy wiedzą (a niektórzy nawet rozgłaszają), od początku maja zacząłem nową pracę. Tym razem (to już piąte miejsce pracy w mojej karierze…) jest to rola projektanta w Internetowym Centrum Projektowym Agory, czyli miejsce gdzie powstają plotki, ciacha, gdzie jedzie się po bandzie i nosi groszki (ale nie tylko to).

Chór męski z akordeonem - Voiceband

Tue, 15 Apr 2008 09:49:04 +0000

Dziś rano ruszyła strona Voiceband – zespołu pięciu mężczyzn o świetnych, mocnych głosach śpiewających do akompaniamentu akordeonu. Piszę o tym, bo strona jest mojego dzieła.

Voiceband to zespół założony ponad rok temu z inicjatywy Arka Lipnickiego – członka kabaretowej Grupy Rafała Kmity, a prywatnie brata Anity :) Słyszałem na razie tylko trzy utwory (ich fragmenty są na stronie Voiceband) i szczerze mówiąc - jestem zachwycony. Dla osób mieszkających w okolicach Konstancina czy też w Warszawie: Arek wspominał mi niedawno o koncercie jaki ma odbyć się w Konstancinie w okolicach 18 maja, a 20 kwietnia mają pojawić się rano w TVNie (zapewne w „Dzień Dobry TVN”). Update: pojawili się, zobaczyć można tutaj.

Ludzie z piaskowca i Powstanie Warszwskie

Wed, 02 Apr 2008 12:46:52 +0000

Dodałem do swojego albumu w Google Picasa kilka zdjęć zrobionych wczoraj na spacerze.

Głównie zdjęcia pomników przy Pałacu Kultury i Nauki oraz kilka ujęć pomnika Powstania Warszawskiego (to mój ulubiony pomnik) - zapraszam do oglądania i komentowania.

Kolejny raz docenieni

Wed, 26 Mar 2008 18:08:11 +0000

Najpierw było sporo pracy. Później, w grudniu 2006 roku uruchomiliśmy portal BRE Banku – była konferencja prasowa, multimedialne prezentacje dla pracowników w centrali banku (ramki cyfrowe z animacjami zamontowane w windach), a później przyszły nagrody. Pierwsza – to wyróżnienie w rankingu Gazety Prawnej, w kwietniu 2007 roku. Był to pierwszy ranking serwisów internetowych spółek giełdowych – ograniczał się tylko do spółek z WIG20. Druga to październik 2007 roku i wyróżnienie w konkursie „Złota Strona Emitenta” w kategorii spółek dużych. Ten konkurs polegał na ocenie wszystkich serwisów polskich spółek notowanych na Giełdzie Papierów Wartościowych, a w jury zasiadało kilkanaście osób. A ja nawet załapałem się na zdjęcie, choć sama impreza finałowa była ~~żenująca~~ kiepska, byliśmy z ekipą na niej może z 20 minut ;-) Trzecim było wyróżnienie w WebStarFestival w grudniu 2007. Dzisiaj dotarła do mnie informacja o drugim miejscu (ale tylko pół punktu na 100 możliwych zabrakło do pierwszego) w zestawieniu 16 serwisów korporacyjnych przygotowanym przez szwedzką firmę konsultingową Hallvarsson & Halvarsson. Więcej informacji o tym rankingu:

Koniec muzyki jaką znamy?

Tue, 04 Mar 2008 12:19:37 +0000

Najpierw Nine Inch Nails opublikowali w sieci album, z którego prawie 200 fanów przygotowało swoje remiksy. NIN wybrali 21 utworów i za darmo udostępnili je w sieci, także poprzez sieć torrent. Później swoją płytę “In Rainbows” za przysłowiowe “co łaska” w sieci wydał Radiohead, na czym zarobił ponoć (wg comScore) 10 mln dolarów, sprzedając płyty za średnio $2,26, przy czym 62% osób “kupujących” płytę na stronie Radiohead zadeklarowało cenę równą zero. Dwa dni temu, drugiego marca, Nine Inch Nails wydali płytę “Ghost I-IV”. Jest to czteroczęściowy album na który składa się 36 utworów. I tutaj ciąg dalszy historii: pierwszą część (9 utworów, w formacie mp3, 320kbps, DRM-free) można za darmo ściągnąć z sieci Torrent (zespół – czyli właściwe Trent Reznor - sam opublikował odpowiedni plik na stronach PirateBay). Paczka pełna, czyli 36 utworów (również w mp3) kosztuje pięć dolarów. Obie wersje zawierają dodatkowo 40-stronicowy PDF i inne elektroniczne dodatki takie jak tapety, logotypy itp. Najdroższa opcja to trzysta dolarów za 4 płyty winylowe plus wszystkie wersje do ściągnięcia z sieci oraz ekskluzywne wydania CD i DVD. W tej opcji tylko 2500 egzemplarzy, każdy podpisany osobiście przez Reznora, z kolejnym numerem… Dwa i pół tysiąca razy $300 daje 750 tysięcy dolarów. Słabo? Według strony, na której można zamówić album - już się sprzedało! W związku z tym co dzieje się w ciągu ostatniego pół roku na rynku dystrybucji muzyki należy zadać inne pytanie – co dalej? Czy oznacza to powolny koniec koncernów muzycznych i płyt CD? Czy teraz wszyscy będą słychać muzyki ściągniętej z sieci (płatnie czy bezpłatnie to nieco inna kwestia) na swoich iPodach i odtwarzaczach mp3? Sądzę, że tak, ale dopiero za około 8-10 lat będzie można powiedzieć, że to koniec płyty kompaktowej. W Stanach iTunes Store to druga pod względem wartości sprzedanej muzyki firma, po sieci Wal-Mart. Apple pod koniec lutego podało, że mają 50 milionów zarejestrowanych użytkowników w iTunes i sprzedali ponad 4 mld piosenek. I to wszystko w niecałe pięć lat działalności. Forrester przewiduje w swoim raporcie, że do 2012 roku wartość sprzedanych płyt CD spadnie do poziomu 3,8 mld dolarów. Dla porównania: w 2011 roku połowa muzyki sprzedawanej w USA będzie sprzedawana w formie cyfrowej. Raport Forrestera przewiduje stały wzrost w ciągu najbliższych pięciu lat rynku muzyki cyfrowej o 23% każdego roku – ma to przynieść 4,6 mld dolarów w 2012 roku. Branża musi przedefiniować, co jest jej produktem - stwierdza James L. McQuivey z Forrester Research - Większość producentów spędziło lata na śledzeniu wyników sprzedaży płyt. Tak naprawdę to artyści są produktem, a nie tylko jego źródłem. Nowe dochody przypłyną z dużo bardziej nieoczekiwanych źródeł. Więcej na ten temat:

Praski "Rezerwat"

Tue, 29 Jan 2008 15:48:26 +0000

Dawno nie było nic w kategorii “film”. Bo i nie było o czym pisać, tak naprawdę. Ostatnio jako godny polecenia uważam nowy film Łukasza Palkowskiego “Rezerwat”. Film przyjemny w odbiorze, miło się go ogląda, ładne zdjęcia i muzyka. Opowiada o życiu na warszawskiej Pradze. Trochę sztampowo pokazanej (co jest nieco śmieszne w zestawieniu z fabułą – główny bohater ma za zadanie zrobić nieszablonowe zdjęcia Pragi) – odrapane kamienice, pijaczkowie szukający frajera, który da na kolejną flaszkę, nocne awantury pod sklepem i tego typu “klimaty” jakie można sobie wyobrazić. Jednak jest w tym filmie ciepło, jakiego dawno w polskim kinie nie wdziałem (ostatnio chyba w “Zmruż oczy”; wychwalane “Sztuczki” były po prostu nudne) i za to wielki plus. Minusy? Kilka się znajdzie – widać, że to debiut, historia jest trochę szablonowa (historia właściciela kamienicy, Grzesio-łobuz zmieniający się po wypadku), czasami rytm zwalnia na chwilę. W każdym razie – jak na film o fotografii znaleźć można cudne zdjęcia (odbitki w zakładzie fotograficznym, czy zdjęcia Grzesia). Oglądanie nie jest na pewno stratą czasu, a świetne kreacje aktorskie (Sonia Bohosiewicz nagrodzona w Gdyni oraz nagrodą im. Cybulskiego) tylko utwierdzają w przekonaniu, że to dobry wybór. Do tego piosenka o kwiatach w wykonaniu Marka Romana.

Miałem o tym napisać...

Mon, 28 Jan 2008 18:48:49 +0000

…ale jakoś nie mogłem się zebrać. Na blogu longway.blox.pl w zasadzie wszystko o czym myślałem na temat naszej-klasy (tak, mam tam konto i jakieś dane podane - ja się nie boję ;).

Minął rok...

Fri, 11 Jan 2008 20:12:31 +0000

…i nic się nie wydarzyło! To straszne, ale rok temu napisałem o zamiarze przepisania prokulski.net od nowa. I nic nie zrobiłem w tym kierunku konkretnego. Jedyne co mam to kompletną wizję jak ma to wyglądać i funkcjonować. Nie mam jednak na tyle samozaparcia, żeby to napisać. Co więcej - nie chce mi się nawet za bardzo poszukać gotowych szablonów Wordpressa… Ehhh… dobrze chociaż, że zechciało mi się zainstalować forum na domenie, którą dostałem od znajomych w ramach żartu. Na nową stronę jeszcze nie zaproszę, ale zapraszam na forum wysiku.

Święta, święta... - życzenia na Boże Narodzenie

Fri, 21 Dec 2007 13:41:46 +0000

Dziś wszyscy piszą i wysyłają mailowe życzenia… załączają kolorowe obrazki, grające kartki i takie tam różne różności. A ja postanowiłem po prostu napisać kilka słów. Życzę więc Tobie, na nadchodzące święta wszystkiego co najlepsze, ale przede wszystkim SPOKOJU DUCHA, żadnych stresów (no, ewentualnie takich “czy ja mogę jeszcze zjeść kawałek?”). Druga ważna (o ile nie ważniejsza) rzecz to ZDROWIE. Tego nigdy dość, zawsze się przyda (chociażby po to, żeby “zjeść jeszcze kawałek”). Zdrowia więc i CZASU WOLNEGO, aby spędzać go (marnując zdrowie ;-) w gronie PRZYJACIÓŁ, bo bez nich życie byłoby mniej ciekawe. [ad#postad]Kolejna istotna sprawa to CIEKAWE ZAJĘCIA - nuda przecież jest nudna, a człowiek frajdę ma z życia jak coś tworzy, buduje, organizuje i sprawia, aby Ojczyzna rosła w siłę, a i Obywatelom żyło się dostatniej. Więc oprócz ciekawych zajęć - CIEKAWEJ PRACY. A jak praca to i PŁACA (bez pracy nie ma kołaczy, jak mówi mądrość ludowa) - jednak o pieniądze nie ma się co martwić - póki jest za co żyć to jest dobrze (przy okazji miejmy nadzieję, że giełda odbije w styczniu-lutym tak jak rok temu, to i pieniądze się pomnożą same :). To tyle, tych podstawowych życzeń (ktoś w ogóle doczytał do tego miejsca?)… wersję rozszerzoną każdy ma swoją - proszę więc w duchu pomyśleć o niej i… żeby się spełniło. W czasie świąt i w nadchodzącym 2008. Pozdrawiam serdecznie i jeszcze raz - Wesołych Świąt!

Whrrl.com - gdzie zjeść?

Sun, 04 Nov 2007 14:51:28 +0000

Whrrl.com to nowy serwis pozwalający znaleźć i oceniać miejsca, gdzie można spotkać się ze znajomymi - restauracje, puby, kawiarnie. Jeśli szukasz miejsca, gdzie można iść na obiad w Twojej okolicy (o ile mieszkasz w dużym mieście w USA - przynajmniej na razie) to znajdziesz je na Whrrl. Znajdziesz w sieci i w telefonie komórkowym, razem z lokalizacją na Google Maps.

Oczywiście jak przystało na obecne czasy serwis jest społecznościowy - pozwala tworzyć “sieć” znajomych, zapraszać nowych. Lokale oceniane i recenzowane są przez całą społeczność - daje to w miarę obiektywne oceny. Miejsca można przeglądać pod kilkoma kątami - chociażby według swojego wyboru lub wyboru znajomych. Whrrl posiada też elementy twittero-podobne, a najciekawszy z nich to rozesłanie zaproszenia do spotkania w wybranym miejscu z poziomu tego miejsca. Zgodnie z tym co piszą twórcy serwisu - niedługo będzie możliwe dodawanie nowych miejsc oraz informacji o lokalnych wydarzeniach np. koncertach czy filmach. Kilka dodatkowych informacji:

Radiohead: 10 mln USD w tydzień

Sun, 21 Oct 2007 09:59:49 +0000

…tak donosi Mashable za Wall Street Journal, a za nimi yashke i z kolei ja :) W każdym razie - Radiohead zdecydował się na upublicznienie swojej nowej płyty (nawet, nawet - bliżej temu do “OK Computer” niż późniejszych płyt, np. “Kid A”) w internecie. Nie za darmo, ale za dowolną kwotę. W ciągu tygodnia kupiono płytę ponad milion razy, łącznie za kwotę 10 milionów dolarów - średnia cena to około 8 dolarów, czyli tak jak przeciętnie kosztuje CD. Jeszcze przed premierą płyty Radiohead o podobnym ruchu poinformował Trent Reznor z Nine Inch Nails (krzycząc zresztą “tak, tak, kradnijcie moją muzykę!”) mniej więcej w tym samym czasie publikując torrent Nine Inch Nails Open Source Remixes: The Limitless Potential. Yashke pisze u siebie:

Amerykańscy studenci

Thu, 18 Oct 2007 11:04:33 +0000

Kuba Filipkowski (yashke.com) wynalazł film, który w przyjemny sposób obrazuje wyniki badań na temat amerykańskich studentów.

Badanie przeprowadzone zostało na grupie 200 studentów. Kilka ciekawych liczb (oczywiście dane średnie):

w ciągu roku amerykański student czyta 8 książek
2300 stron internetowych
i 1281 profili w Facebook (a ja nigdy tej strony nie zgłębiłem, na MySpace byłem kilka razy - w obu nie mam profilu i nie zamierzam mieć)
napisze 42 strony prac semestralnych
i 500 stron e-maili

Więcej we wpisie “A Vision of Students Today” (po angielsku).

Halama w mBanku - ciąg dalszy

Mon, 08 Oct 2007 12:38:45 +0000

Dwa kolejne (po dwóch wcześniejszych) filmy mBanku z Halamą, dostępne tylko na YouTube. Ojciec:

Rokowiec (mój faworyt, szczególnie za początkowy growling):

Krytyka Krytyków.pl

Mon, 01 Oct 2007 19:37:23 +0000

Dzisiaj ruszył nowy serwis w polskiej blogosferze – krytycy.pl. Jest to (przynajmniej znany mi) jedyny tego typu serwis – łączy blogerów i reklamodawców. Taki (z bardzo dużą swobodą skojarzenia) “adserver” dla blogerów. Serwis trafił idealnie w toczącą się dyskusje o tym czy bloger może się “sprzedać” i napisać recenzję jakiegoś produktu w zamian za taki czy inny sposób gratyfikacji. Od jakiegoś czasu wiadomo, że blogerzy cieszą się znacznie większym zaufaniem niż standardowa reklama; więc dlaczego reklamodawcy nie mieliby tego faktu wykorzystać? I wykorzystują – mniej lub bardziej po cichu; czasem z tego wychodzi większa afera o tym jak jakaś firma chce przekupić wpływowych blogerów. Nie ukrywajmy jednak, że wielu blogerów chętnie zgarnęłoby “pewną sumę” za swoją – było nie było – pracę. W Polsce jest to jeszcze mało popularne (chociaż EIrena prowadząca bloga zjadamy reklamy otwarcie na TUBIE powiedziała, że m.in. ze względu na swojego bloga o reklamach pracuje w gazeta.pl, gdzie prowadzi bloga… również o reklamach), a dyskusja na temat “czy blogerowi wypada brać kasę za promocję” wciąż trwa. Jedni są za, inni są przeciw. Trochę np. tutaj. Krytycy.pl są pewnym lekarstwem na nieco chorą sytuację. Powstała platforma pozwalająca chętnym do pisania znaleźć tematy podrzucane przez chętnych do płacenia. Wydaje mi się, że interes będzie się kręcił. Serwis podpiera się etyką, która brzmi dla mnie całkowicie sensownie (w skrócie: bloger wybiera czy i o czym pisze, reklamodawca daje odpowiednie materiały źródłowe, a czytelnik wie, że ma do czynienia z artykułem sponsorowanym). Zastanawia mnie tylko co będzie jak np. o modelu telefonu napiszę, że jest super fajny i w ogóle “biegnij do sklepu i kup go natychmiast”, jednak nie działa to czy tamto, a klapka się urwała? Będzie to reklama czy recenzja? Reklamodawca będzie zadowolony? To są moje obawy – bardziej po stronie płacących niż piszących. Boję się, że reklamodawcy będą chcieli na autorach wymóc, żeby pisali tak, jak agencje reklamowe… a nie o to moim zdaniem chodzi. Tyle jeśli chodzi o blogerów. Co daje taki serwis reklamodawcom? W notatce prasowej autorzy serwisu napisali tak: “Reklamodawcy otrzymują możliwość dotarcia do swojej grupy docelowej z niezwykłą skutecznością jaką gwarantują blogi. Produkty i usługi naszych klientów opisują blogerzy, w swoim własnym stylu, na swoim blogu co gwarantuje świeżość i autentyczność przekazu. Śledząc przebieg kampanii w Krytycy.pl reklamodawca ma dostęp do informacji zwrotnych od czytelników blogów. Jednocześnie taki rodzaj kampanii daje pozytywne efekty SEO.” Sam serwis prezentuje się przyzwoicie – mało grafiki, duże literki, ładnie skomponowane. Mi się podoba. Same zasady korzystania z serwisu są jasno opisane w Poradniku Klienta i Poradniku Blogera (ten ostatni wzbogacony nawet o filmy instruktarzowe). Rejestracja przebiega szybko i sprawnie (jak się jest użytkownikiem testowym to oczywiste ;). Po rejestracji i wszelakich weryfikacjach dostajemy się (jako bloger) do swojego panelu, gdzie należy wypełnić odpowiednie dane i wybrać kampanię, w której chcemy uczestniczyć. Zastanawia mnie wartość “Ranking Krytycy.pl” (przede wszystkim jego skala – opis na blogu serwisu ~~wpis się zgubił :(~~). Wybieramy kampanię i piszemy tekst. Następnie generujemy oznaczenie, że jest to tekst sponsorowany, zgłaszamy link i… czekamy na kasiorkę :) Sprawy prawne – umowa i podatki. Twórcy serwisu pomyśleli o tym i – przynajmniej jeśli chodzi o osoby fizyczne (czyli nie-firmy) – wybrali najprostsze rozwiązanie: umowę o dzieło. Oznacza to mniej więcej tyle, że po napisaniu tekstu reklamowego dostajemy umowę (zapewne “umowa o dzieło – przygotowanie tekstu reklamowego”), rachunek i pieniądze. Nie musimy martwić się o podatek – dostajemy kasę już po potrąceniu podatku. Hmm… tylko nie doszukałem się w Regulaminie niczego o formularzu PIT-8b (bodaj na nim rozlicza się umowy o dzieło). Podsumowując: serwis przyzwoity, pomysł bardzo ciekawy. Zobaczymy jak wyjdzie w praniu. Chłopakom (twórcom) życzę powodzenia!

Halama w mBanku

Fri, 28 Sep 2007 09:25:24 +0000

mBank przygotował dwie wirusowe reklamówki z Halamą.

Komentarze mile widziane, ja się powstrzymam z racji relacji ;) Oprócz tego pojawił się też nowy spot (wzorowany nieco na wcześniejszym facecie na kanapie):

Wizyta w Moskwie - wrażenia z pobytu

Wed, 12 Sep 2007 20:24:03 +0000

Dzisiaj użyczam łam Ani - mojej dziewczynie, która spędziła początkowo sama trzy tygodnie, a później jeszcze tydzień ze mną w Moskwie. Opisała wszystko pięknie, zdjęcia są nasze wspólne, wrażenia też. Wyjazd do Moskwy zaplanowałam więcej niż pół roku wcześniej. Początkowo wahałam się czy przypadkiem nie zamienić Moskwy na Sankt Petersburg, ale nie trwało to długo. Od dawna chciałam zobaczyć wielką stolicę upadłego imperium. Wydawała mi się, po lekturze przewodników, bardziej pociągająca, przez swą różnorodność, niż historyczna siedziba carów. Wybrałam tak także nieco na przekór wszystkim, którzy namawiali mnie na malowniczy Petersburg i odradzali postsowiecką metropolię. Zdawałam sobie jednak sprawę, że nie ma sensu jechać tam na tydzień czy parę dni, zwłaszcza dla osoby, takiej jak ja, „skażonej” rusofilizmem. Pojechałam tam nie tylko po to, aby zobaczyć truchło Lenina czy Plac Czerwony, ale przede wszystkim po to, żeby przez „chwilę” poczuć się prawdziwą grażdanką. Dla niewtajemniczonych: żyć z dnia na dzień po prostu jak mieszkanka Moskwy. Oczywiście do końca mi się to nie udało, bo miesiąc to z jednej strony dość długo jak na wyjazd turystyczny, ale jednak za mało, żeby poczuć się trochę tubylcem. Myślę, że gdzieś tak pod koniec pobytu, kiedy przyjechał do mnie Łukasz, przekraczałam granicę, w której człowiek przestaje czuć się „wyobcowany” i pewne sprawy codzienne dzieją się rutynowo. Mieszkałam w akademiku, który mieści się w Instytucie Języka Rosyjskiego im. Puszkina, prowadzącego kursy językowe dla obcokrajowców. Dla mnie kurs bardziej był pretekstem i ekonomicznym rozwiązaniem na dłuższy pobyt niż celem samym w sobie. Tym, którzy cenią sobie wygodę i sprawne działanie urządzeń powszechnego użytku, jak np. winda, Instytutu Puszkina jako taniego hostelu – nie polecam ;) Cechą, jaką należy w sobie wykształcić w przypadku pobytu w Federacji Rosyjskiej jest na pewno cierpliwość. To słowo, jak i ogólnie, postawa ma ogromne znaczenie w obcowaniu z tamtejszą kulturą i może zdecydowanie pomóc w adaptacji w tamtejszym środowisku. Człowiek niecierpliwy i nastawiony na szybkie, sprawne i logiczne rozwiązanie problemu czy też zaspokojenie swoich potrzeb niekoniecznie powinien wybierać akurat ten kierunek geograficzny. Stróże prawa mateczki Rosji zadbały o to, aby każdy przyjezdny, „inastraniec”, prawie na każdym kroku czuł respekt. Nie wystarczy, że musisz uprzednio postarać się o zaproszenie i wizę, ale chcąc spokojnie spać i zwiedzać oraz potem bez przeszkód wrócić do swej matczyzny, powinieneś - uważajemyj turisto - pamiętać o starannym wypełnieniu i pilnowaniu karteczki migracyjnej oraz o obowiązku tymczasowego meldunku. To ostatnie jest wręcz sztuką dla sztuki. Bo wszyscy, którzy jeżdżą do Rosji wiedzą, że zwykłą wizę turystyczną załatwia się bez problemu, jednakże chcąc spędzić w Rosji więcej czasu niż 3 doby, należy się zameldować. Większość najzwyczajniej w świecie kupuje sobie taką registrację w „zaprzyjaźnionych” agencyjkach. Ja nie miałam z tym problemu, bo za mnie załatwiał wszystko Instytut. Łukasz zaś musiał stawić się w śmiesznym rosyjskim ofisie, wyłożyć na stół rubelki, stawić się na dzień następny, dostać jakiś śmieszny świstek i dowiedzieć się o obowiązku zwrócenia go na dzień przed odlotem. Kalkulując wyszło nam z tego wszystkiego jakieś 2 czy 3 dni swobodnego chodzenia po mieście z poczuciem pewności, że można bezczelnie uśmiechać się do rosyjskich władz mundurowych. Absurd. Oczywiście „cenny świstek” przekroczył razem z nami powrotną granicę, bo ani nam się śniło jechać po raz trzeci do tego śmiesznego biura. Myślę, że Łukasz ma już tam jakąś teczkę. W końcu obowiązku nie dopełnił. Tak, tak… w Rosji obywatelem świata się nie poczujesz, a Twój European Passport wiele tam nie znaczy. Paradoksalnie chyba jednak chciałam trochę zakosztować takiej biurokratycznej egzotyki. Nie miałam cienia złudzeń, że pod tym względem cokolwiek się w tym kraju zmieniło. Właściwie wysnuliśmy z Łukaszem wspólną tezę, że na taki potencjał ludnościowy jest to pewien sposób przeciwdziałania np. bezrobociu, ot co! Stąd Pani w gabinecie nr 357 jest od tego, aby poinformować, że Pani w gabinecie obok przykleja w dokumencie zdjęcie, a Pani piętro niżej w gabinecie 201 stawia pieczęć… itede, itepe. Taki urok, taki obyczaj. I już. Moskwa na co dzień jest trochę przytłaczająca. Nie urbanistycznie, bo przestrzeni użytkowych i rekreacyjnych mają tam dużo. Geometrycznie rozplanowane parki i place, czteropasmowe jezdnie, monumentalne budynki, szerokie mosty dają w pierwszych dniach pobytu wrażenie lekkiego oszołomienia raczej niż przytłoczenia. Gdzieś tak po tygodniu przytłacza ilość ludzi, pogoda, lokalne przyzwyczajenia. Duszne, zapchane metro, które notabene działa idealnie i skarg składać wręcz nie wypada, zanieczyszczone powietrze, wyczerpujące w okresie letnim trzydziestoparostopniowe temperatury, chwilowe i w ogóle nie przynoszące orzeźwienia deszcze, i z drugiej strony na każdym kroku uświadamianie sobie, że jesteś w miejscu, gdzie wszystko działa trochę wbrew logice, rynek konsumenta istnieje miejscowo, obcokrajowiec dla zasady płaci więcej, a pojęcie informacji jako takiej właściwie nie istnieje. [ad#postad]Zdaję sobie sprawę z tego, że to co piszę jest uproszczeniem, jednak Rosjanie zaskakująco mało wiedzą o swojej kulturze. Dziesiątki razy zdarzało mi się pytać ludzi na ulicach – gdzie znajduje się jakiś monastyr, kościół czy pomnik i pierwszą reakcją zwykle było zdziwienie, że coś takiego w ogóle znajduje się gdzieś w pobliżu, nie mówiąc już o jakimkolwiek precyzyjnym wytłumaczeniu, wskazaniu drogi. Lakoniczne nie znaju po ostentacyjne ja tutaj tylko pracuję po kuriozalne odsyłanie mnie do Panów milicjantów. Ci ostatni widocznie cieszą się ogólną społeczną estymą, lecz pożytku z nich, przynajmniej pod tym kątem, wielkiego nie ma. Zatem przewodnik plus znajomość języka – Twoje turysto wybawienie. Mimo zresztą mojego dotychczasowego krzywienia gęby – naprawdę warto tam się wybrać. Moskwa ma swój charakter, ma swoją wielosetletnią historię, którą czytać można właściwie na ulicach. W jakim bowiem innym mieście mogłabym znaleźć ulicę o nazwie Szosa Entuzjastów? To tylko przykład obrazujący jedną z narzucających się cech tego miejsca. Wciąż czuje się tam socjalistyczny rozmach, dziesiątki pomników większych i mniejszych nawiązujących do minionej, upadłej, ale jednak wielkiej epoki spod znaku sierpa i młota. Jakby wszystko wykonane było w komsomolskim duchu i trudzie zarazem. Polecam wycieczkę do WDNCh, wielkiego centrum osiągnięć gospodarczych ZSRR. Sama nazwa przyciąga. Na szczycie głównej bramy błyszczą dumnie trzymając w dłoniach snop zboża – robotnik i kołchoźnica. Po drodze mijamy budynki o różnorodnym architektonicznym rodowodzie, z których każdy nawiązuje do tradycji jednej z byłych republik Sajuza. Zaś one same – symbolizowane przez zwiewne kształty pozłacanych, trzymających się za ręce, niewiast – znajdują się w centralnym miejscu. Można jeszcze zwiedzić starą maszynę Aerofłota T-154 jak również przypomnieć sobie o kosmicznych aspiracjach Rosjan, bowiem zaraz za samolotem wisi „prawie” jakby przygotowana do startu rakieta. O tym, że dalekoprzestrzenne ambicje Rosjan odeszły w przeszłość świadczą ruiny Centrum Kosmonautyki, które niegdyś przyciągało turystów. Miejsce zresztą jest bardzo specyficzne, trochę lunapark, trochę ogród, trochę centrum rozrywki… a zaraz obok typowy rosyjski bazar. Na wszystko z góry spogląda, jakżeby kto inny jak nie Włodzimierz Ilicz. Drugim takim miejscem, które zrobiło na mnie szczególne wrażenie jest Cmentarzysko obalonych pomników, z górującym nad wszystkimi olbrzymim, kilkunastometrowym monumentem Piotra I. Położenie nieprzypadkowe,bo zaraz obok wejścia do Nowej Trietiakowki, którą notabene również trzeba wpisać do obowiązkowego kanonu zwiedzającego Moskwę. Skupisko wszystkich komunistycznych mózgów i oprawców poprzedzone pseudoawangardowymi egzemplarzami dwudziestowiecznej sztuki radzieckiej – w końcu wejście jest od Parku Kultury, a nazwa zobowiązuje ;). Do tego wszystkiego rzeźby ogrodowe albo postacie mało mające wspólnego z bohaterami sowieckimi jak np. Fryderyk Chopin czy też drewniana postać Pinokia. Wśród Parków, uwielbianych przez Rosjan zresztą, wyróżnia się zdecydowanie Park Pabiedy czyli po naszemu Zwycięstwa. Rosyjska wojna ojczyźniana, pod wezwaniem której znajduje się w tymże Parku bardzo ciekawe Muzeum, rozpoczyna się w Rosji w 1941 r. Drażniące to jest nieco z tzw. polskiej perspektywy, jednak w Rosji wszelkie rewizje historii przychodzą z ogromnym trudem. Rosyjską Pabiedę wieńczy Nike otoczona przez anioły i konnych jeźdźców, olbrzymia statua nadająca całemu miejscu mocno imperialistyczny charakter. Wokół iluminacje fontann, młodzi rosyjscy rollersi, zaś w pobliżu jedna z najmłodszych cerkwi w Moskwie. Znów eklektyzm i egzotyka godna Moskwy. Mniej egzotyczne, ale bardziej monumentalne są strzeliste pod niebo tzw. stalinowskie gotyki, ubarwiające moskiewskie panoramy. Najbardziej okazały jest chyba Uniwersytet Łomonosowa, znajdujący się niedaleko Wróblowych Wzgórz. Prawie niemożliwy do sfotografowania w jednym kadrze na przeciętnej cyfrówce. Godny obejrzenia głównie o zmierzchu i wieczorem, gdy jest oświetlony. Można odnieść wrażenie, że został zbudowany z prawdziwą wiarą w sukces radzieckiej nauki. Pozostałe przypominają bardziej lub mniej nasz swojski, stołeczny PKiN. Mnie się podobało, ze względu na wkomponowanie w tło, rosyjskie MSW – wyłaniające się zza zabytkowych, klasycyzujących kamienic Starego Arbatu. Intrygujące zresztą połączenie, bo przecież Arbat był niegdyś dzielnicą rosyjskiej inteligencji i artystycznej cyganerii. Takich intrygujących, raczej nie zamierzonych połączeń jest więcej, choćby konstruktywistyczne Muzeum Majakowskiego, którego obejrzenie rekomenduję jednym tchem każdemu, znajduje się na przeciw Łubianki. Dom, w którym mieszkał ten awangardowy, choć komunizujący i wspierający idee rewolucji artysta usytuowany jest dokładnie na wprost dawnej siedziby KGB, w której zamordowano w imię tych idei dziesiątki tysięcy Rosjan. Miejsca takie jak Arbat i odbijające od niego mniejsze uliczki, dzielnice typu Patriarsze Prudy, czy też znajdujący się za Placem Czerwonym Kitaj-Gorod odsłaniają przed nami starą, carską Rosję. Możemy natknąć się na piękne, stare kamienice, jak budynek giełdy oraz urokliwe, bardzo stare cerkwie. Czasem trudno uwierzyć, jak wiele z nich zachowało swój oryginalny charakter i uniknęło świeckiej opatrzności sowieckich władz. Naprawdę bardzo wiele sakralnych i carskich zabytków zachowało się w Moskwie. Kompleksy takie jak Kołomienskoje, Monastyr Nowodziewiczy czy Carycyno stanowią odrębne, wewnętrzne cząstki historii. Wyjątkiem jest może cerkiew Chrystusa Zbawiciela, ze swoją kontrowersyjną historią, opisaną genialnie przed laty przez Kapuścińskiego. Odbudowana w wielkim stylu za niewyobrażalne pieniądze z budżetu państwa rosyjskiego, wierna kopia swojej poprzedniczki – zniszczonej z rozkazu Stalina na początku lat trzydziestych. Dzięki temu, że przyjechałam na kurs miałam okazję, nie pierwszy raz zresztą w swoim życiu, słuchać rosyjskich przewodników podczas zwiedzania tych wszystkich miejsc. Rosyjski ekskurs-zawod to specjalny gatunek człowieka, całkowicie oddanego swojej misji, przekazującego treści już nie propagandowe, za to w całkowicie propagandowy sposób. Zjawisko niebanalne. Typowo „noworosyjski” klimat panuje na Twerskiej – pokazowej ulicy handlowej Moskwy. Błyszczą witryny nowoczesnych sklepów, gdzie sprzedaje się markowe produkty, jest głośno i tłoczno, młode Rosjanki drażnią oczy pstrokacizną strojów, spotykamy luksusowe auta, niekiedy również kierowców obwieszonych złotymi łańcuchami. Normalny klimat wielkomiejski z domieszką rosyjskiej tandety i blichtru. Spacer jednak umila ciekawa architektura i poszczególne, mijane po drodze obiekty, jak np. pilnie strzeżona kafkowska twierdza mera miasta czy też słynne delikatesy Jelisejewa, z przepiękną sztukaterią wewnątrz. Zainteresowanym XX wieczną historią kraju polecam wizytę w Muzeum Rewolucji. Innym miejscem symbolizującym dzisiejszą rosyjską nowoczesność jest Nowy Arbat. Wtopiony w socrealistyczne tło, błyszczący neonami kasyn, wystaw samochodowych i biżuterii, eleganckich restauracji i foodcortów wygląda trochę z karykaturą Las Vegas. Najtrudniej napisać coś o epicentrum, sercu stolicy – wielkiej Krasnoj Płoszczadi. Któż nie słyszał tej nazwy? Każdy, kto choć przez chwilę był w Moskwie, przejazdem czy tylko służbowo Plac Czerwony „zaliczył”. Moje pierwsze wrażenie było właściwie nijakie… chyba myślałam, że jest większy. A przecież jest wielki. Chyba sądziłam, że bardziej zabytkowy i zwalający z nóg. A przecież ma i stylowy dom towarowy GUM, i neogotyckie Muzeum Historyczne, i mauzoleum boga rewolucji, i Kreml ze skarbnicą carów oraz jedną z najoryginalniejszych budowli cerkiewnych jakie widziałam – cerkiew Wasilewską. Taki paradoks. Trzeba mi było się oswoić, zrobić porządny spacer o zmierzchu spod Galerii Trietiakowskiej, a potem ujrzeć to wszystko o północy. I choćby dlatego warto tam pojechać. Świadomość, iż kilka wieków temu było w tym miejscu zwykłe targowisko pod Kremlem wywołuje śmieszne odczucia. Dziś to jedno z najpopularniejszych miejsc w tej części Europy. A wizyta w najsłynniejszym mauzoleum świata przyda się na opowiadanie znajomym anegdot. Polecam zwłaszcza wzrokowy kontakt z tymi bodyguardami trzeciej czy też czwartej już wersji Lenina. Jak myślę teraz o Moskwie to widzę różnorodność i myślę, że to jest cecha wyróżniająca tego miasta. Widzę śmiesznie ubranych i ufryzowanych ludzi w metrze, grupkami spacerujące służby mundurowe na ulicach, przypominają mi się niemiłe ekspedientki w sklepach spożywczych, kierowcy-anarchiści, ale też urocze wypady do małych soborów na krańcach miasta, powrót o zmierzchu z Parku Izmajłowskiego, skromne, choć pełne tajemniczego uroku mieszkanie Bułhakowa, wieczorny rejs po rzece Moskwie… Chyba nie chciałabym tam mieszkać, ale na pewno chciałabym kiedyś tam wrócić, zwłaszcza zimą… Jednak podróżom na Wschód póki co mówimy stop, Łukaszowi – za to Jego moskiewskie poświęcenie – należą się w końcu jakieś wakacje w kraju o bardziej zbliżonych do europejskich standardach cywilizacji… ;)

Społeczne czytanie

Mon, 03 Sep 2007 18:19:33 +0000

Od jakiegoś czasu przeniosłem się z czytnika RSS w Thunderbirdzie do Google Readera. I chwalę sobie, chociaż byłem sceptyczny (chociażby w pracy można poczytać część, a potem nie sprawdzać co przeczytałem a czego jeszcze nie; ciekawostki zawsze można oznaczyć gwiazdką i doczytać spokojnie w domu). Dzięki temu mogę się podzielić z Wami tym co czytam i uważam za interesujące - od jakiegoś czasu w linkach na blogu znajduje się coś zatytułowane Znalezione w RSSach. Poza tym coraz bardziej przymierzam się do napisania swojej strony na nowo (nawet mam już prościutki projekt graficzny), gdzie znajdzie się zapewne swego rodzaju połączenie GReadera (“Znalezione w RSSach” wyciągane RSSem :), blipa, del.icio.us, Flickra (gdzie również ulokowałem ostatnio swoje zdjęcia), muzyki z last.fm plus oczywiście starych treści z samej strony. Pomysł jest mniej-więcej taki, żeby moja prywatna strona była w pewnym sensie stroną społecznościową - ale nie uzupełnianą przez społeczność, a raczej przez moją “społeczną” działalność (bardziej precyzyjnie powinno być: moją działalność na innych stronach).

Blogowe święto

Sat, 01 Sep 2007 13:20:01 +0000

Wywołany wczoraj do tablicy przez Dominika Kaznowskiego zgodnie z zadaniem świątecznym podaję kilka linków:

Przerwa wakacyjna

Sun, 05 Aug 2007 17:30:52 +0000

Ja naprawdę chcę napisać coś nowego na blogu… Ale jakoś nie mam weny. Na urlop wakacyjny jadę dopiero w połowie sierpnia (do Moskwy na tydzień się wybieram, a co!).

Koncert Tori Amos

Sun, 24 Jun 2007 17:47:49 +0000

Tori Amos zagrała w tym tygodniu świetny koncert w warszawskiej Sali Kongresowej. Byłem, cieszyłem ucho i oko, a do tego zrobiłem kilka zdjęć. Jak znajdę chwilę czasu i odrobinę natchnienia to napiszę coś o muzyce - wiele ciekawego ostatnio (m.in. koncertowa płyta Archive, nowa płyta The White Stripes). Dla ciekawskich i precyzyjnych - lista utworów:

Body & Soul
My Posse Can Do
God
Dragon
Secret Spell
You Can Bring Your Dog
Professional Widow (remix, Tori zmienia strój)
Big Wheel
Crucify
Caught A Lite Sneeze
Cornflake Girl
Bells for Her
Glory of the 80s
Winter (solo)
Baker Baker (solo)
Putting the Damage On
Black Dove (January)
Code Red
Precious Things (pierwszy bis)
Bouncing Off Clouds (pierwszy bis)
Pancake (drugi bis)
Hey Jupiter (drugi bis)

Przeczytane dziś

Thu, 24 May 2007 18:36:24 +0000

Dzisiaj krótko - tylko linki do kilku ciekawych informacji. Najpierw na Wirtualnych Mediach:

Ja nie mam słów, ręce mi opadają (i skarpetki)… Czekam z niecierpliwością na kolejne chore pomysły PiSu. Ktoś w komentarzu do tego drugiego wpisu napisał “Juz nie wiem jak mam komentować kolejne to pomysły PIS’owcow. Nudzi im się i to zajebiście!” no i jakby nie patrzeć - taka jest prawda. Ale to jeszcze nie wszystko na dziś. “Hitem” ostatniego tygodnia był fakt, że premier Jarosław K. nie posiada konta bankowego, a pieniądze trzyma razem z mamą (na jej koncie). Nie do końca wiadomo czy powinien płacić podatki od darowizny z tego względu czy też nie… Cóż, ja mam konta w 2 bankach (w sumie to wychodzi mi, że 3 numery konta), karty debetowe i kredytową, gram na giełdzie i inwestuję w fundusze, hmm… ale to pewnie kwestia wyboru. Sprawę “braku konta” zauważyły też media zagraniczne - oto materiał z Fox News:

Zdjęcia z Kazimierza Dolnego

Sat, 12 May 2007 13:48:07 +0000

Na ~~foto.prokulski.net~~ flickr powiesiłem nowe zdjęcia - tym razem z wycieczki do Kazimierza Dolnego. Zapraszam do oglądania.

Multibank ruszył z kampanią wizerunkową

Sun, 06 May 2007 14:49:19 +0000

Od pierwszego maja w mieście widać billboardy z reklamami Multibanku. Kreacje są proste: wielki czerwony prostokąt z dwoma linijkami tekstu. Wszystkie kreacje znajdziecie na stronach Multibanku. Od 7 maja ma ruszyć kampania w telewizji – według informacji prasowej właściwie w każdej stacji telewizyjnej pojawią się spoty (są dwa – o książkach i o jazzie). Kampania skierowana jest do segmentu Mass Affluent, czyli „klientów masowo zamożnych” – w Polsce przyjmuje się za takie osoby o dochodach 5 tysięcy miesięcznie. Według różnych szacunków w Polsce jest to od 350 do 500 tysięcy osób, a roczny wzrost segmentu kształtuje się na poziomie 4-5%. Moje zdanie na temat tej kampanii jest krytyczne. Duży format niczego nie mówi, do niczego nie zachęca, a chociażby adres strony Multibanku (i logo) są za małe. Poza tym w dwóch egzekucjach jest ta sama pointa („U na ta mniejszość to większość”), co sprawia wrażenie, że agencji (BBDO Warszawa) zabrakło pomysłu. Dodatkowo w jednym przypadku znalazłem poważny błąd – reklama mówi, że co 20-ty Polak przekazuje 1% podatku na organizacje dobroczynne, co spointowane jest „W tym trzy czwarte naszych Klientów”. Zrobiłem małe badanie focusowe ;) i wychodzi na to, że wszyscy rozumieją to tak, jakby te 3/4 z „co 20-tego Polaka” było klientem Multibanku. Oznaczałoby to ni mniej ni więcej tyle, że klientów jest około 900 tys. (jeśli płacących podatki jest 24 mln co wydaje mi się realną liczbą, wziętą ze statystyk Ministerstwa Finansów za 2005 rok). Jest to nieprawdą – wg FKF.pl jest ich około 340 tysięcy… coś jest jednak nie tak… Albo z moim liczeniem (i rozumieniem) albo z tą kreacją. Jeśli zaś chodzi o spoty telewizyjne – nikt z osób, które spoty już widziały nie zwrócił uwagi na ilość pojawiających się na ekranie osób… Spot „książkowy” podoba mi się bardzo pod względem plastycznym i byłby świetny gdyby chodziło o kampanię społeczną na temat czytania książek; jednak jako reklama banku do mnie nie przemawia…

Krótki film o poszukiwaniu...

Mon, 30 Apr 2007 16:37:42 +0000

Może to TY? A może wiesz kto to? W każdym razie - prześlij dalej, niech się odnajdą!

Współtworzyłem jeden z najlepszych serwisów WWW spółek z WIG20 :)

Thu, 26 Apr 2007 10:00:00 +0000

Muszę się pochwalić - Gazeta Prawna przygotowała pierwsze porównanie stron WWW spółek z indeksu WIG20. Krótko:

Liderzy: TVN i BRE Bank zdobyli tylko 17,7 na 25 możliwych punktów.
Dziewięć firm należących do WIG20 otrzymało oceny wyższe niż 3.
Strony poniżej normy ma aż 11 największych spółek warszawskiej giełdy.

Przeczytaj cały artykuł w Gazecie Prawnej lub w portalach TVN24.pl i Money.pl PDF do ściągnięcia.

Euro 2012 i.. giełda

Wed, 18 Apr 2007 17:56:03 +0000

Kilka minut przed południem dowiedzieliśmy się, że Polska razem z Ukrainą będą organizować Mistrzostwa Europy w piłce nożnej w 2012 roku. Wszyscy o tym piszą i pisać będą, więc ja sobie daruję. Za to ciekawostka - jak reagują rynki finansowe na informacje sportowe?

TVN24.pl

Mon, 19 Mar 2007 20:22:32 +0000

Wyrósł dzisiaj na internetowym rynku informacji nowy poważny konkurent dla Onetu, Gazety.pl, WP i Interii – TVN24 uruchomił vortal informacyjny z prawdziwego zdarzenia. Dla mnie to dobra wiadomość – TVN24 jest moją ulubioną stacją telewizyjną (prawie niczego innego w TV nie oglądam) i to właśnie z tej stacji czerpię informacje o tym co dzieje się na świecie. W internecie do tej pory był to przede wszystkim Onet i czasem Gazeta (nie licząc portalów biznesowych – tutaj moim ulubieńcem jest Puls Biznesu i… forum Parkietu, przynajmniej jeśli chodzi o giełdę) plus MediaRun i blogi związane z marketingiem. TVN24.pl ma szanse na zdetronizowanie wiadomości.onet.pl A sam serwis? Przyjemny, chociaż nie wybija się niczym szczególnym. Mam wrażenie, że układ to zbieranina różnych dobrych wzorców, ale bez przemyślanej do końca koncepcji i „świeżego oka” – ot, ktoś poskładał klocki, nieco je szlifując. No, ale serwis z newsami nie ma być ładny czy przeładowany grafiką – ma być aktualny. Aktualności na pewno nie zabraknie. 40 osób pracujących w redakcji vortalu, zaplecze medialne w postaci wiodącej stacji telewizyjnej. Na brak newsów na pewno nie można narzekać. Co mi się nie podoba? Trochę chyba układ i przeładowanie głównej strony. Szczególnie jeśli chodzi o materiały autotematyczne – ścinki i wpadki telewizyjne. Fajne to jest, ale z okazji urodzin stacji lub jako marketing wirusowy, ale nie jako podstawowa treść serwisu na głównej stronie. A takie odniosłem wrażenie. Innych grzechów na razie nie widzę – może wyjdzie coś więcej w praniu. Co mi się podoba? Pokaźna liczba materiałów wideo (ale to nie dziwi – w końcu to telewizja) i fakt, że na dzień dobry dostajemy videocasty. RSS to norma, więc wielkim grzechem byłoby pominięcie ich przy budowie nowego serwisu. Średnio podobają mi się blogi – mam wrażenie, że są wymuszone na dziennikarzach TVN24 i sami autorzy nie do końca są szczęśliwi z powodu kolejnego obowiązku. Może się rozkręcą, co byłoby bardzo miłe – chętnie poczytam persony piszące do TVN24.

AMDS Films

Sun, 11 Mar 2007 19:50:58 +0000

Czyli moje znalezisko na YouTube z krótkimi filmami rewelacyjnie zmontowanymi z Terminatora, Robocopa itd. Trzeba koniecznie zobaczyć! Klasa dla mnie to wszystkie trzy części Neo (tego z Matrixa) czekającego na pociąg…

Oskarowe nominacje i filmy

Fri, 23 Feb 2007 17:35:55 +0000

U RAFiego przeczytałem króciutki wpis (właściwie tylko link) o serwisie poświęconym tegorocznym Oscarom. Takie prawie Oscary w wersji Web2.0 ;) Jest sobie lista, jest głosowanie. I co najciekawsze - są linki do torrentów z filmami (lub wyszukiwaczki tychże torrentów). Piękna inicjatywa ;) Ciekawe czy dotrwa do rozdania nagród? Swoją drogą - ciekawe czy w dobie web2.0 panoszącego się wszędzie kiedyś zniknie coś takiego jak Akademia Filmowa i Oscary przyznawać będą np. internauci? Coś jak ranking na stronach IMDB.com, ale dla filmów z danego roku. Plus filmy do ściągnięcia (nawet za opłatą).

Królicze filmy w 30 sekund

Sun, 11 Feb 2007 22:54:25 +0000

Że ja tego wcześniej nie znałem… Przykład - “Lśnienie”:

A więcej na Angry Alien.

Jestem pasożytem - używam AdBlocka

Sun, 04 Feb 2007 17:51:23 +0000

Zrobiło się w polskiej blogosferze głośno o pewnej akcji. Akcja sama w sobie jest… hmm… idoityczna? Nikt mnie nie zmusi do oglądania reklam (a przecież powinno mi na oglądaniu ich zależeć - w końcu pracuję w marketingu! ot dwulicowy ze mnie pasożyt). Więcej pisał nie będę - wszystko napisali inni, zapraszam więc do lektury blogosfery:

Wieczorny update: Jeszcze linki: 7pl.pl, mastonmp.pl/blog I kolejne: dyskusja na pl.comp.www, komentarze na wykopie - tu i tu.

Ryszard Kapuściński nie żyje

Tue, 23 Jan 2007 23:31:07 +0000

Tytuł wystarczy za wszystko – ten kto czytał Kapuścińskiego wie kim był, jakie miał poglądy. Ja przyznam szczerze nie czytałem. Pewnie przeczytam (przepraszam za szczerość, ale wydawnictwa pewnie będą musiały zrobić dodruk książek…) – chociażby z ciekawości – zawsze chciałem, nigdy nie mogłem się zabrać. Ale z masą książek tak mam, więc w zasadzie nic dziwnego. Ten wpis ma być jednak o czymś innym. O klasie Grzegorza Miecugowa i klasie TVN24. To właściwie jedyna stacja jaką oglądam (nie słucham radia – mam włączony telewizor robiąc wszystko inne) w telewizji, czasem jakiś film na innym kanale. O 22 zaczęło się „Szkło kontaktowe”. Dziesięć minut później na „czerwonym pasku” pokazała się informacja „Ryszard Kapuściński nie żyje”. Panowie natychmiast przerwali temat, przestali wytykać politykom ich błędy i idiotyzmy. Porozmawiali chwilę o Kapuścińskim, Miecugow wspominał wywiad jaki zrobił do prowadzonego przez siebie programu „Inny punkt widzenia”. Przerwa na reklamę. Po przerwie krótki komentarz i zakończenie „Szkła…”, a stacja nadaje powtórzenie wywiadu. Niby proste, niby nic specjalnego. Ale moim zdaniem to jedno z piękniejszych zachowań na jakie mogła sobie pozwolić telewizja. I znakomita reakcja – 5-10 minut i zmieniamy ramówkę. Z to cenię TVN24, za to cenię dobrych dziennikarzy. Jutro rano będą gazety na czarno. Każdy portal internetowy o tym napisze, wszyscy będą wspominać, Onet standardowo wystawi „Księgę kondolencyjną” (świetny sposób na nie-zapychanie ogólnego forum). Ale klasy TVN24 w moich oczach nic nie pobije.

Małe kropki odkryły...

Sat, 23 Dec 2006 13:26:13 +0000

…drugą płytę Kombajnu Do Zbierania Kur Po Wioskach. Trudno wchodziła. Pierwsze kilka przesłuchań to albo szum ulicy czy metra wnikający przez słuchawki, albo podejście do płyty z serii „po co tyle dźwięków, po co taki jazgot?”. To – w moim przypadku – doskonale świadczy o płycie. Teoria o tym, że im trudniej zacząć tym finalnie lepsza okazuje się płyta jeszcze mnie nie zawiodła. A jaka jest „Lewa strona literki M”? Gitarowa, elektroniczna, psychodeliczna, jesienna i głośna. Ta płyta jest w miejscu gdzie leży Radiohead, Ścianka i ostatnia płyta Myslovitz. Tylko z tą różnicą, że Myslovitz jest dobry dla nastolatek ;) zaczynających słuchać dobrej muzyki spod znaku psychodelii tak KDZKP to mięsko dla wyrafinowanego słuchacza, który rozkoszuje się tatarem miast schabowego. Tak cudownie jednak nie może być… „Lewa strona…” po pewnym czasie nieco mnie męczy, trudno wchodzi w całości. „8 piętro” mogło lecieć w koło ze dwa razy. Może było bardziej przebojowe? Może to kryzys drugiej płyty? Nie wiem, ale jednego jestem pewien – Kombajn trzeba obserwować i nasłuchiwać kiedy nadjedzie ponownie. Bo przejedzie przez polską (i oby też światową) muzykę i narozrabia co nie co.

Jak to się robi? (z politykami)

Fri, 22 Dec 2006 17:41:28 +0000

Marcel Łoziński nakręcił film dokumentalny o produkowaniu polityków. I o tym, jak my – wyborcy – dajemy się tym produktom manipulować. Zaczyna się wszystko od castingu, jaki przeprowadził Piotr Tymochowicz w Zamku Królewskim. Casting miał na celu wybranie grupy ludzi, którzy wezmą udział w eksperymencie. Ten z kolei miał udowodnić, że „polityk, to tak samo dobry produkt jak płuczka do płukania protezy zębowej.”. I (niestety, właściwie) udowadnia. Najpierw grupa ludzi przechodzi proste szkolenie medialne – jak gestykulować, jak mówić do ludzi, jak „porywać tłumy”. Po teorii przychodzi czas na praktykę – demonstracja w sprawie ochrony praw pacjentów, protest przeciw wojnie w Iraku (telefon od Andrzeja Leppera do Tymochowicza, który na pytanie „co robisz?” odpowiada „właśnie jestem na demonstracji, którą sam zorganizowałem”). Po szkoleniu ogólnym (które jest w moim odczuciu bardzo ciekawe i zapewne wiele można się nauczyć – tylko, że jakoś nie wierzę w te manipulacyjne sztuczki z gestami; no nie biorą mnie i tyle) przychodzi czas na drugą część eksperymentu – tworzenie polityków i „obsadzanie nimi stanowisk” jak to się ładnie nazywa. W tym momencie część grupy się buntuje, wyczuwa fałsz i odchodzi. Pozostaje kilku najtrwalszych, najbardziej cynicznych i jednocześnie najmniej ukształtowanych politycznie. Znaczące są rozmowy z Jackiem Hugo Bader, dziennikarzem Wyborczej, który napisał reportaż o Piotrze Tymochowiczu i jego szkoleniach. Bader obnaża „kandydatów” z braku ich poglądów. „Jakie są twoje poglądy?”, pyta jednego z mężczyzn. „Centrowe”, odpowiada, ale nie wie jeszcze, czy chce być centroprawicą, czy centrolewicą. Próbował z SLD, chciał wejść do PiS-u albo PO, w końcu wylądował u “jedynego nieskompromitowanego lidera” (oczywiście wiadomo jakiego – w pewnym momencie filmu Tymochowicz tak manipuluje pozostałymi w „grze” uczestnikami, aby w końcu wylądowali w młodzieżówce Samoobrony). Warto zobaczyć ten film (zdziwiła mnie frekwencja – niedzielna pora obiadowa, film dokumentalny, a sala warszawskiego kina Muranów pełna). Warto nie tylko ze względu na opowiedzianą historię i obnażenie mechanizmów działania polityki (których inteligentny człowiek zapewne się domyśla), ale też dla kilku zdań (wypowiadanych przez samego Tymochowicza) typu „Ludzie są na poziomie imbecyla, a polityka jest chujowa”. Tymochowicz mówi to wprost, w tym momencie nie manipuluje, jest szczery. I mówi prawdę. A grupka jego uczniów w mik rozumie, że tak jest, że wystarczy być cynikiem i wykorzystać tą chujowość i imbecylizm. Kino parsknęło śmiechem… gogolowskim.

Projekt oddany!

Mon, 18 Dec 2006 21:11:54 +0000

Po około 13 miesiącach pracy - mniej lub bardziej ciężkiej (w zależności od momentu) – oddałem projekt. Projekt, nad którym pracowaliśmy w dość dużym gronie. Projekt nowego, od początku przygotowanego i napisanego portalu BRE Banku. Najpierw była analiza. Dogłębna analiza SWOT plus benchmark serwisów banków w Polsce i zagranicą (głównie w USA) – bodaj 10 serwisów przekopanych dokładnie, z każdego wyjmując wszelakie za i przeciw, ciekawe rozwiązania, interesujące pomysły. Benchmark okraszony lekturą raportów Forrestera, wzajemnym inspirowaniem się „zespołu projektowego”, burzami mózgów. Potem był drugi etap analizy – spotkania z pionami biznesowymi banku. Departamenty odpowiedzialne za sprzedaż, za analizy rynkowe, za kadry i za marketing. Przy okazji nasze wymysły z pierwszej części analizy rozbijały się o ścianę, albo dostawały nowych skrzydeł. Ludzie związani z „biznesem” i mający mniejsze pojęcie o internetowych trendach inspirowali w różny sposób. Po tych analizach przyszła pora na podsumowanie. Powstał przeszło 100-stronicowy dokument opisujący dokładnie co i jak należy zmienić i poprawić. Oraz co zrobić od początku. Po małej przerwie nadszedł czas na przygotowanie do programowania i tworzenia serwisu. Przeszliśmy bardzo szczegółową analizę wszelakich narzędzi i funkcjonalności („W tym narzędziu ma być 5 pytań czy 6?”, „dokumenty publikowane w CMSie mają mieć załączniki binarne? Ile maksymalnie?”, „Co ma trafiać do RSS? Z załącznikami?” - tego typu pytania to codzienność przez około półtora miesiąca), przy okazji zaczepiając o serwisy nie tylko bankowe, ale też np. life-stylowe. Kolejny krok to projekt graficzny. W sumie powstało pewnie ze 40 obrazków, które szlifowaliśmy w sumie około 3 tygodni. Nie pamiętam już ilości „wariacji na temat”… Ostatnie dwa miesiące to wytężona praca developerska. A dla nas w banku – przygotowanie i opiniowanie tekstów, kontrola merytoryczna, rysowanie schematów… ogólnie – poganianie tzw. „biznesu” („a bo marketing nie ma co robić i zawraca głowę jakimś Internetem…”). Nie było łatwo i – przyznam szczerze – to był najbardziej męczący etap projektu. Przed dzisiejszą premierą trzeba było wprowadzić nowe treści, przetestować narzędzia i funkcjonalności, zachować niektóre elementy ze starego portalu, połączyć je z nowymi. Trzy tygodnie siedzenia w pracy minimum po 3-4 godziny dziennie więcej. Ostatni tydzień to przygotowanie promocji portalu – wewnętrznej i zewnętrznej. Przygotowanie dzisiejszego otwarcia i konferencji. Ostatnie szlify w sobotę, niedzielę… Dziś około 11:30 ruszył nowy portal BRE Banku.

Lubelski Full

Sun, 17 Dec 2006 19:58:24 +0000

Kiedyś było już coś “klasycznego”, czas na kolejną wspaniałą produkcję:

Obywatelki i obywatele...

Wed, 13 Dec 2006 09:25:33 +0000

Spieprzajcie, dziady

Mon, 23 Oct 2006 18:13:15 +0000

Dziś będzie tylko link.

Jak powstaje serwis internetowy?

Sun, 27 Aug 2006 12:43:41 +0000

Przez ostatnie dwa miesiące pracowałem nad jubileuszowym serwisem BRE Banku. Poniżej kilka słów o tym jak powstawał ten serwis – odzwierciedla to mniej więcej standardowy sposób pracy przy budowie każdego właściwie serwisu. Pierwszym etapem było zdefiniowanie co tak naprawdę chcemy pokazać, w jaki sposób, jakie mają być funkcjonalności. Główne założenie to spójność z całą kampanią towarzyszącą obchodom 20-lecia BRE Banku. Nad koncepcją kampanii prace trwały o wiele dłużej, serwis internetowy ciągle się w nich przewijał – czekaliśmy tylko na ostateczną formę kampanii. Po zatwierdzeniu linii komunikacji, wstępnych projektów graficznych layoutów prasowych można było ruszyć z przygotowywaniem serwisu. Początkowo planowaliśmy dwa oddzielne serwisy – dla Klientów Grupy BRE oraz dla jej pracowników. Oba miały mieć kilka elementów wspólnych, część była jednak rozbieżna. I tak: Serwis dla Klientów Serwis ogólnodostępny, z możliwością publikacji i edycji treści (CMS), zawierać miał takie elementy:

Ciebie nie ma...

Sun, 13 Aug 2006 18:53:58 +0000

…boś w Odessie :/ AM. siedzi już tydzień w Odessie i posiedzi jeszcze tydzień. “Tęsknota we mnie siedzi, jak drucik z miedzi” (czy jakoś tak). A o innej tęsknocie piosenka odpowiednia (skąd tacy kolesie się biorą?!):

Paweł Sz.

Mon, 07 Aug 2006 20:01:47 +0000

Drugi raz w życiu trafia mi się sytuacja, że umiera ktoś, kogo znałem osobiście, z kim rozmawiałem, uśmiechałem się do niego czy też podawaliśmy sobie ręce na powitanie, a na pożegnanie życzyliśmy banalnego “miłego dnia!”… Jeszcze nieco ponad rok temu pracowaliśmy razem w Teatrze STU… a przed chwilą dostałem RSSem link do tekstu Joanny Targoń z krakowiskiej Gazety Wyborczej. Oto ten tekst (za gazetą.pl):

Odszedł nie w porę. Za wcześnie. Za młodo. Wracał z wakacji w Chorwacji samochodem z przyjaciółmi, na Słowacji zatrzymali się na chwilę przy stacji benzynowej i staranował ich tir. Paweł Szot. Absolwent krakowskiej teatrologii, pracował w Teatrze STU, wcześniej w Cricotece, szkole teatralnej i Teatrze im. Słowackiego. Czym się zajmował? Można powiedzieć, że wszystkim, bo wszędzie sprawował (nieformalnie lub formalnie) funkcję tzw. prawej ręki. Niezwykle kompetentny, wiedział wszystko o funkcjonowaniu instytucji, w której właśnie pracował. Wszystko potrafił załatwić. Proszony o pomoc lub informację, nigdy nie odsyłał do kolegi czy koleżanki. Można było najwyżej usłyszeć: “Poczekaj chwilę, dowiem się, oddzwonię”. I zawsze oddzwaniał. Wszystkich znał i wszyscy go znali, o co w niezbyt wielkim teatralnym środowisku nietrudno. Wszyscy go lubili, o co znacznie trudniej. Za klasę, elegancję, poczucie humoru, dyskrecję, dobre wychowanie, spokój tak rzadko spotykany w nerwowej teatralnej atmosferze. I za - niebezkrytyczny - entuzjazm. Bo Paweł, choć całe życie pracował w teatrach, po drugiej stronie, był znakomitym widzem. Starał się oglądać wszystko, nie tylko w Krakowie, jeździł na festiwale, przeglądy, robił teatralne wycieczki po Polsce. Przyjemnie się z Pawłem rozmawiało o teatrze; jego oceny były krótkie, trafne, a krytyczne uwagi niebolesne, choć celne. Paweł żałował, że się komuś nie udał spektakl, a nie cieszył się z klęski. Namawiany do pisania - choćby o Kantorze, o którym wiedział wszystko - wykręcał się i zasłaniał tajemniczą niedyspozycją pisarską: “No wiesz, jak to ze mną jest”. Paweł miał 34 lata. Zginął w sobotę nad ranem.

Statystyki

Tue, 01 Aug 2006 19:27:35 +0000

Do tej pory nie publikowałem statystyk oglądalności mojej strony (patrząc na nią jako dwie osobne - blog i www). No to opublikujmy :) Oto wykresiki:

Czy to dużo, czy to mało - nie mnie oceniać. Jeśli chcesz to jakoś skomentować - zapraszam.

Klikadełko

Fri, 28 Jul 2006 18:26:15 +0000

W ciągu ostatnich dwóch dni na Wykopie trafiłem na dwa ciekawe linki. Pierwszy to http://blog.outer-court.com/click2/ który na podstawie kliknięć w regularne (w miarę) kształty rysuje “mapę kliknięć”. Ciekawie to wygląda dla kliknięć w - bądź co bądź - kwadraty albo kółka. Drugi link to http://www.clickdensity.com/ - tym razem jest to serwis, który pozwala na stworzenie dokładnie takiej samej “mapy kliknięć” dla gotowej strony. Zawsze chciałem takie badania przeprowadzić. To gdzie ludzie klikają daje według mnie najlepszą i najbardziej bliską prawdy informacje o tym czego na stronie szukają i jak reagują na nawigację. ClickDensity pozwala na darmowe wypróbowanie swojego narzędzia, co nie omieszkam zrobić. Odwiedzajcie więc www.prokulski.net i… podróżujcie po stronie, a ja sobie pooglądam i przedstawię za jakiś czas wyniki klikalności na głównej stronie.

Google - Behind the screen

Sun, 16 Jul 2006 12:48:46 +0000

Za Wykop.pl znalazłem coś takiego - film o Google. Poniżej 5 kolejnych części:

a całość w AVI (jakieś 350mb) tutaj.

IV RP zbliża się!

Wed, 12 Jul 2006 19:25:11 +0000

Już Wirtualne Media oraz Onet o tym napisały, a ja powtórzę - Polsat zrezygnował z emisji zakupionego za 30 tys. dolarów serialu dokumentalnego tudzież reality-show o gejach w armii. Ponoć na wniosek telewidzów… A jak ja to widzę?

Przenajświętrza Krajowa Rada dała Polsatowi jasno do zrozumienia, że narobi smrodu i nałoży kary na stację, jeśli ta wyemituje ów serial. No szkoda tylko, że mówi się o protestach widzów, którzy jeszcze nie widzieli programu… No i program miał być po 23, więc w paśmie “rzeczy zakazanych” ;) Baaardzo dziwne. Dziwnie też związane ze zmianami w TVP - krótsza Panorama, zdjęcie z ramówki “Wielkiej Gry” (teleturniej od 1962 roku w telewizji! - nie żebym był fanem i oglądał, ale jednak to jakiś symbol i póki ma go kto prowadzić i są widzowie i chętni do udziału to powinien trwać w TV) i “Linii specjalnej”, propozycje “nie do odrzucenia” dla Moniki Olejnik czy też więcej programu Pospieszalskiego… Dziwnie, że mamy nowego premiera, brata bliźniaka prezydenta. Nie podoba mi się ten kraj, a raczej ludzie, którzy nim kierują.

Mundial... uzupełnienie

Fri, 23 Jun 2006 22:58:04 +0000

Nieco się pomyliłem pisząc, że zabraknie nam jednego punktu do wyjścia z grupy. Zabrakło nam więcej. To tak gwoli ścisłości (uwielbiam być precyzyjny ;)

Epic 2014

Fri, 23 Jun 2006 18:59:16 +0000

“In the year 2014, The New York Times has gone offline” “W 2014 New York Times zrezygnował z obecności w Internecie. Czwarta władza chyli się ku upadkowi.” - ośmiominutowy film-wizja tego, jak może wyglądać internet (ale chyba nie tylko internet…) za kilka lat, biorąc pod uwagę kierunki jakie wytycza trend web2.0. Do tego jeszcze to. Dla mnie momentami lekko przerażające, taki nieco orwellowski Wielki Brat… Swoją drogą - chyba jeszcze raz przeczytam “1984”, bo świat coraz bardziej przypomina mi tą wizję…

Zdjęcia z Wilna

Tue, 20 Jun 2006 22:35:27 +0000

Właśnie powiesiłem na ~~foto.prokulski.net~~ flickr zdjęcia z wypadu do Wilna na początku maja. Zapraszam do oglądania.

Mundial...

Fri, 09 Jun 2006 22:18:42 +0000

Zaczęła się ogólnonarodowa histeria i szaleństwo. Naród przed telewizorami, w pubach z telebimami czy też u naszych zachodnich sąsiadów… Wszyscy liczą na to, że wyjdziemy z grupy. Że „Orły Janasa” coś pokażą… Dlaczego w to nie wierzę? Chyba to pytanie retoryczne. Zacytuję fragment tekstu Wojtka Orlińskiego o „Szkle kontaktowym” z „Gazety Telewizyjnej” z dzisiaj – idealnie wpisuje się to w moje zdanie o polskim sporcie: Przed każdym meczem mamy uczone komentarze dziennikarzy od sportu, o tym, że tym razem już mamy wielkie szanse, bo Ćwogę przesunięto do ataku, a Bryzdulę do obrony. A po meczu mamy zawsze te same, równie uczone komentarze, że jak to się mogło stać, że przegraliśmy, co za zaskoczenie, co za rozczarowanie. Którzy będziemy na mundialu w Niemczech? Zajmiemy trzecie miejsce w tabeli. Zabraknie nam 1 punktu, żeby wyjść z grupy. Zaczęło się od meczu z Ekwadorem… 2:0…

Zaczęło się!

Thu, 11 May 2006 13:09:00 +0000

Od wyborów, które wygrał PiS (zarówno parlamentarnych jak i prezydenckich) wiedziałem, że wcześniej czy później do tego dojdzie. Mniej więcej w momencie ataków typu dziadek w Wermachcie spodziewałem się, że nie dojdzie do koalicji PiS-PO (w sumie szkoda, moim zdaniem, bo PO kontrolowałoby dyktatorskie zapędy PiSu), a kwestią czasu będzie przehandlowanie stołków z Samoobroną. No i się ziściło. Chciałem, żeby ten blog był apolityczny, ale chyba się nie da, skoro przerażają mnie zapędy rządzących i szczerze obawiam się o wolność w powstającej IV RP. Na początek mamy: Cenzurę Internetu w szkołach Zakaz sprzedaży alkoholu w Dniu Dziecka. Czekam na to co dalej… Update 24 maja: A jednak… - prohibicja w Dzień Dziecka wprowadzona…

Weekend na wsi...

Tue, 18 Apr 2006 08:04:10 +0000

Święta to jak co (pół) roku czas wyjazdów z miejsca zamieszkania do domu - miejsca, gdzie człowiek ma rodziców, tam gdzie się wychowywał. Ja do końca liceum mieszkałem na wsi i na tę wieś przyszło mi przyjechać na 3 dni weekendu wielkanocnego. Na szczęście tylko na trzy dni… Przywykłem do mieszkania w mieście - prawie 9 lat w Krakowie, potem Warszawa. Przy krótkich (ale zdecydowanie wystarczających) wizytach w domu zawsze nachodzą mnie obserwacje społeczne. I tak też było tym razem. Widziałem więc kilka osób, które chodziły ze mną do jednej podstawówki (nie koniecznie jednej klasy - czasem to kilka lat różnicy), albo i takich, którzy zaczynali podstawówkę kiedy ja ją już skończyłem. Przeraził mnie ten obraz… Chłopaki w wieku 20-23 lat wyglądający jak 30-parolatkowie; nastolatki ubrane na sportowo, z minami wyrażającymi marazm, niechęć i pragnienie kolejnej wiejskiej zabawy - żeby tylko napić się jabolka… Nastoletnie dziewczyny z wielkimi tyłkami i tęsknotą za wielką miłością oczach… przy jednoczesnej świadomości, że tak naprawdę wyjdą z “konieczności” za pierwszego który się trafi (na wiejskiej zabawie). Starsze dziewczyny (moje rówieśniczki, które podobały mi się kiedy chodziliśmy do jednej klasy czy szkoły) wyglądają jak swoje matki - ciuchy, fryzury, makijaż jak u czterdziestolatek na początku lat dziewięćdziesiątych… Każda właściwie zamężna i z co najmniej jednym dzieckiem. A jeśli jeszcze bezdzietne i bezmężne to na 99% nie mieszkają na wsi, tylko w większym mieście (np. w Krakowie ze względu na odległość). Młodzi ludzie poza pracą w polu, jeżdżeniem traktorem i ewentualnie remontowaniem maszyn czy samochodów nie mają właściwie nic innego do roboty. Rozmowy krążą wokół braku pracy, tanich win, wiejskich zabaw czy też samochodów albo motocykli (bo to ich kręci). Owszem - jest cicho, spokojnie, zielono, przyjemnie… ale to wszystko jest dobre na chwilę, żeby odpocząć, zwolnić obroty codziennego życia i… tyle. Potrzebuję po jednej takiej dobie przejść się po mieście, przejechać tramwajem, iść do knajpy czy kina… albo chociaż do pracy! A może po prostu nie potrafię wypoczywać? Ale to chyba coś innego - wyjazd do domu i spotkanie z ludźmi z lat młodości to nie taki sam wypoczynek jak np. wyjazd w góry albo nad jeziora. Poraża mnie ten świat, gdzie jedyną rozrywką jest telewizja… a jedyny program, który może zainteresować widzów to Polsat. Nie dziwi mnie też że w ostatnich wyborach właśnie tutaj największy sukces odniosła Samoobrona (tak mi coś świta - trzeba by to sprawdzić na stronach PKW)… Dokąd zmierza ten kraj, skoro młodzi ludzie nie mają żadnych ambicji? Ale nie tylko ludzie na wsi - od nauczycielki w technikum wiem, że uczniowie klasy maturalnej nie mają żadnego pomysłu na życie. Chcą skończyć szkołę i mieć wszystko z głowy. Nie myślą o tym gdzie będą pracować, czy pójdą na jakieś studia.

v7ndotcom elursrebmem

Thu, 16 Feb 2006 13:59:32 +0000

Niezły tytuł, co? ;) Ale jaśniej - v7ndotcom elursrebmem - to fraza, “na którą” trzeba spozycjonować bloga, aby wygrać 4 tysiące dolarów za pierwsze miejsce w wynikach Google. Ot po prostu - nowy konkurs na pozycjonowanie. Konkurs zostanie rozstrzygnięty 15 maja 2006. Aktualne wyniki można zobaczyć wpisując hasło v7ndotcom elursrebmem w wyszukiwarkę, albo klikając tu: v7ndotcom elursrebmem, a regulamin na stronie v7n.com. Ja na razie nie biorę udziału (a przynajmniej nie zarejestrowałem się… jeszcze ;).

O ambicji i nowej stronie

Thu, 12 Jan 2006 08:39:53 +0000

Od kilku tygodni chodzi mi po głowie pomysł stworzenia zupełnie od początku nowej strony. Oczywiście swojej strony, bo jakiej by innej? Była by to już bodaj piąta wersja układu graficznego (wiszącego w sieci, bo projektów, które publicznie nie były prezentowane było co najmniej dwa razy więcej). Jednocześnie ze zmianą graficzną mam zamiar wprowadzić całkowicie nowy sposób zarządzania treścią (czyli krótko mówiąc: napisać własnego CMSa). Oto kilka założeń koncepcyjnych:

całość oparta na SQLowej bazie danych;
podział tak jak do tej pory na kilka działów (ostatecznie najprawdopodobniej pozostaną cztery: opowiadania, publicystyka, fotografia oraz blog plus mniej lub bardziej stałe dodatki typu CV);
możliwość komentowania każdego z tekstów;
możliwość wydruku każdego z tekstów (i fotografii), być może też zapisania go (tylko teksty) w formie PDFa (nie znalazłem jeszcze odpowiedniego skryptu), może też przesłanie tekstu (i – być może – fotografii) na wskazany mail (coś w rodzaju “poleć znajomemu”);
część elementów (np. mapa strony) generowana byłaby 100% dynamicznie;
przyjazność dla wyszukiwarek (słowa kluczowe i podobne rzeczy w meta-tagach), być może w połączeniu z przyjaznymi ścieżkami (przy użyciu mod_rewrite serwera WWW);
100% zgodności z XHTML wspartym CSS, co oznaczałoby całkowite oddzielenie treści od warstwy prezentacyjnej, a tym samym pozwoliłoby na przygotowanie różnych “skórek” strony.

Ostatni punkt jest na tyle istotny, że taki system byłby stosunkowo przenośny na inne strony o podobnym charakterze. Na razie prace są na etapie drugiego projektu graficznego i przygotowywania struktury bazy danych. I tutaj wkraczamy w element pierwszy tytułu tego wpisu – ambicję. Ja wiem, że takich systemów jest pewnie kilka i wystarczy tylko odpowiedni zainstalować i dodać to czy owo. No i ok, niech sobie będą – w niczym mi nie przeszkadzają. Chcę jednak taki system napisać tak naprawdę dla siebie, na swoje własne potrzeby. Chcę się zmierzyć z dawno porzuconą materią PHP, z lekko liźniętą materią SQL. Chcę też zastosować kilka rozwiązań, o których nie myślałem wcześniej, a wydają mi się standardem we współczesnym WWW (owo “poleć znajomemu”). Zapewne przygotowania potrwają jeszcze… kilka miesięcy. Zapewne nie odbije się to znacząco na oglądalności mojej strony. Na pewno za to przyniesie mi frajdę i satysfakcję, kiedy wszystko pójdzie tak, jak to sobie zaplanowałem. A co dalej?, co później? Później (tak po około 2-3 tygodniach) stwierdzę, że jestem niezadowolony, że to czy owo można poprawić czy też napisać inaczej. A co więcej (i tego w tym momencie się obawiam – tworzę projekt „pod siebie”) – że można było to napisać lepiej i bardziej skalowalnie, bardziej przenośnie; z możliwością edycji wszystkiego przez taki czy inny CMS. No cóż… może wtedy zabiorę się za rozbudowę? Na tym polega właśnie rozwój.

Podcasting

Thu, 05 Jan 2006 22:24:43 +0000

Podcasting to słowo, które zrobiło furorę w Internecie w 2005 roku. Nie tyle samo słowo, co to co za nim się kryje. A co się kryje? Najpopularniejszy podcasting to dźwięk (nagrania głosowe) dodawany do blogów, czy wręcz blogi prowadzone tylko w takiej formie. Świetna sprawa, jak na to popatrzeć boku. Autor tworzy nagranie (w formacie mp3, wystarczy słaba jakość kodowania - powiedzmy CBR 96kbps @ 22kHz), umieszcza je w Internecie i… to wszystko. Użytkownik serwisu w dowolnym momencie może sięgnąć po to nagranie, ściągnąć do swojego komputera (bądź - co bardziej popularne - odtwarzacza MP3) i odsłuchać w wybranej przez siebie chwili (bądź kilku chwilach, tudzież kilku minutach - wszystko oczywiście zależy od długości nagrania). Coś jak “TV on demand”, o którym to pomyśle kiedyś się rozwodzono, a który to pomysł jeszcze nie jest wystarczająco popularny; chociażby ze względu na przepustowość łącz i wielkości plików video (10 minutowe nagranie w mp3 przy parametrach jak powyżej to około plik 3,5-4MB); zresztą pierwsze video-blogi już w Internecie istnieją, TVP pozwala na ściągnięcie ze swoich stron nagrań serwisów informacyjnych (Teleekspressu, Panoramy i Wiadomości), Onet.pl udostępnia fragmenty materiałów reporterskich TVN24 w swoich serwisach z wiadomościami. Ostatnio TVN24 na stronach transmituje na bieżąco dźwięk z przekazu (i czasem trudno tam się dobić). O zaletach nie muszę chyba mówić - najważniejsza to niezależność od nadawcy. Powiedzmy, że ktoś (tak jak ja) jeździ do pracy i z pracy w sumie około godziny dziennie. W ciągu dnia nie mam czasu albo możliwości żeby słuchać radia (zresztą - ja nie mam nawet odbiornika radiowego…), a jeśli się już ten czas znajdzie to najczęściej nie ma w danym momencie audycji, która mnie interesuje. Nie wspominając już o audycjach nadawanych w godzinach nocnych. Ściągamy więc sobie z odpowiedniego serwisu interesujący nas podcast, wrzucamy do przenośnego odtwarzacza mp3 i już można nadrabiać zaległości w drodze z/do pracy (ale oczywiście nie tylko). Dodatkowa zaleta to dowolny wybór z archiwum (o ile oczywiście serwis to umożliwia), brak reklam (o tym za moment), i coś czego radio nie ma i nie będzie nigdy miało - treści nie są ulotne; można do nich wrócić zwyczajnie przewijając utwór, jak taśmę w magnetofonie. Marzyłoby mi się, żeby Trójka “produkowała” podcasty z moimi ulubionymi audycjami (chociażby “Sjestą” Kydryńskiego, “Trójkowym ekspresem” czy “Mini-maxem”)… a wracając do wiadomości - TVN już dawno bombardowałem mailami o udostępnienie na swoich stronach zapisów Faktów (19 to dla mnie zła pora na oglądanie wiadomości), niestety jak na razie bezskutecznie (i oczywiście bez odpowiedzi). Chętnie też ściągałbym sobie przed wyjściem z pracy informacje z pełniejszego serwisu (z komentarzami, wywiadami) radiowego i przesłuchiwał go w drodze do domu. W niektórych przypadkach (mam na myśli audycje radiowe) problemem mogą się okazać niestety prawa autorskie i wszelakie tantiemy, ZAIKSy itp. Wspomniałem o reklamie i jej braku. Na razie. Marketerzy jeszcze nie wykorzystują podcastów do przekazywania treści reklamowych. Zaczęło się to już dziać w sferze kanałów RSS, ale z podcastami reklamowymi się nie spotkałem. A przecież to żaden problem wpleść w określoną audycję mały (literatura fachowa mówi o “spotach” długich na 15 sekund) przerywnik reklamowy, na zasadzie identycznej z reklamą radiową. Co więcej - jeśli treść nagrania jest autorstwa określonej firmy to wcale nie jest powiedziane, że reklamy muszą być oznaczone i oddzielone od normalnego programu (tak jak to ma miejsce w przypadku nadawców radiowych czy telewizyjnych, bądź prasy). Zresztą - wierzę, że cenny merytorycznie przekaz jest w stanie zbudować chociażby zaufanie do marki i lojalność użytkowników serwisów WWW. Powstaje pytanie - dla kogo jest to “medium” (a raczej “forma przekazu”)? Wg badań (nie pamiętam szczegółowych danych, a nie mam ich pod ręką więc nie przytaczam) wszelakich - dla młodych, aktywnych ludzi. To ludzie w wieku powiedzmy 16-34 lata są podatni na nowinki techniczne i to najwięcej z nich korzysta z Internetu i odtwarzaczy mp3. Ten przedział wiekowy (nieco zawyżony) to jednocześnie najbardziej zainteresowani kanałami RSS oraz blogami. I te trzy formy internetowego przekazu uważam za najbardziej interesujące dla ludzi z marketingu, szczególnie marketingu produktów kierowanych do takiej grupy docelowej. Czy trzeba dodawać więcej? Kiedy zatem ruszy podcasting na moim blogu? Na razie nie prędko - ja jednak wolę pisać (co i tak jak widać robię rzadko), a i obecnie możliwości technicznych nie mam za dużych. Prędzej w tym momencie pojawiłyby się nagrania video, tylko kto chciałby oglądać moją gadającą głowę?…

Jak to się stało?

Wed, 26 Oct 2005 16:45:49 +0000

Jestem w lekkim szoku! Wszystko co wiem o pozycjonowaniu właśnie wzięło w łeb, bo drugie miejsce w Google ma strona, która (na pierwszy rzut oka) nie zawiera frazy, o którą pytamy Google. O co chodzi? Proszę kliknąć i sprawdzić na własne oczy: http://www.google.pl/search?hl=pl&q=ptasia+grypa&lr=lang_pl Chociaż z drugiej strony pod hasłem “kretyn” można było dotrzeć przede wszystkim na strony Sejmu poświęcone A. Lepperowi i R. Giertychowi. Wniosek z tego prosty - linki (przede wszystkim tekst pod jakim się znajdują) potrafią zdziałać cuda.

Bo w życiu jest różnie...

Mon, 24 Oct 2005 21:41:37 +0000

…kwadratowo i podłużnie. Zazwyczaj jednak ten kto ma dobre serce musi mieć twardą dupę. I po raz kolejny się o tym przekonuję. Ja już nie wiem - czy to jesień, czy to “warszawska samotność”, czy to ja, czy też to mój “target”. Dzisiaj mam zły dzień. “Poranna wiadomość” mnie rozbiła maksymalnie. Kiedy wydawało się, że znowu (po kilku latach) wszystko jest na dobrej drodze przychodzi taka wiadomość, że się odechciewa. Wszystkiego się odechciewa. I bynajmniej nie chodzi o Kaczyńskiego czy Tuska - wynikami wyborów jestem zasmucony, ale to mniejsza o to dzisiaj. Za cztery lata się zmieni (albo na czerwono albo na pasiasto czerwono-biało), whatever. A czy mi się zmieni za cztery lata to ja już nie wiem. Zaczynam wątpić, że cokolwiek się zmieni. Wyjechałem z Krakowa, poczułem wiatr w skrzydłach, wolność i początek nowego życia. Tyle, że w tym nowym życiu mam te same problemy (ze sobą chyba tylko…), nie mogę się uwolnić od “krakowskiego siebie” i tego co mi siedziało w głowie przez ostatnie kilka lat. Chociaż nie tak, nie do końca tak - od tego się uwolniłem. Nie uwolniłem się od człowieka jakim jestem. Chyba nie wierzę w to, że można się zmienić. Ale chyba powinienem. Kiedy jestem dobry, czuły, miły i w ogóle do rany przyłóż - źle. A właśnie tak chcę, żeby było. Prosto, naturalnie, zwyczajnie i bez pośpiechu. Kiedy jestem niedostępny, nie angażuję się, kiedy “mi-to-wisizm” - też źle, nawet gorzej i prędzej to się kończy. Warszawa mi tego nie ułatwia. Ale to nie jej wina. Zobojętniała mi (czyli awansowała z nielubienia), nie przeszkadza mi to miasto. Czasem mnie męczy, czasem mam go dość, wielu rzeczy mi brakuje, kilka rzeczy mnie dziwi czy zaskakuje. Ale do tego przywykłem i nie zwracam na to uwagi. Dzisiaj mi źle. “Dziękuję, przepraszam i powodzenia.”

9 Songs

Sun, 18 Sep 2005 16:26:27 +0000

Dziewięć piosenek… może nawet więcej - nie liczyłem. W każdym razie w 9 songs poza takimi sobie piosenkami, całkiem niezłymi zdjęciami i dużą ilością nijakiego, ale za to pokazanego bardzo dosłownie seksu nic nie ma… Totalny nihilizm. Wszystko zamknięte w nieco ponad godzinnym dziele powstałym chyba tylko po to, żeby zaszokować owym dosłownym seksem. Zresztą - seks ów już chyba tak nie szokuje (przynajmniej mnie - prasa pisała nieco inaczej) - po Ostatnim tangu w Paryżu kilkadziesiąt już właściwie lat temu i Intymności kilka lat temu nic w kinie mnie nie zaskoczy. Przynajmniej w sferze pokazywania aktów seksualnych (bo wg mnie trudno nazwać to miłością)… Film, fabuła… a raczej jej brak. Jest sobie para, która poza spędzaniem czasu w łóżku i na koncertach nie ma innego życia. Ktoś z krytyków napisał w prasie, że on zaczynają się kochać, ale zaczynają od seksu - najpierw łóżko, potem być może uczucie. Chyba tak właśnie jest, chociaż nie bardzo można do tego dojść oglądając film. Mnie ten film wprowadził w dziwny nastrój - nastrój nihilizmu i nieobecności. Znudził mnie, ale nie zniesmaczył. Ot - normalne manewry łóżkowe pokazane na ekranie. Seks, kreseczka, koncert, zdjęcia Antarktydy, koncert, seks… taka mniej więcej kolejność ujęć. I nic poza tym! Żadnego sensownego dialogu, żadnej akcji, nawet żadnej zdrady czy morderstwa ;). Nic. Chociaż z drugiej strony - czasem właśnie tak to wszystko wygląda. Niestety.

Broken Flowers

Sun, 18 Sep 2005 16:24:02 +0000

Nowy film Jima Jarmuscha… jest jak typowy, doskonały film Jarmuscha. Wolno płynąca opowieść, specyficzny klimat i narracja. Świetna, choć banalna historia - ot, Don Jonhston (mój ulubiony - szczególnie po Między słowami - ostatnio Bill Murray) dostaje tajemniczy anonim, z którego dowiaduje się, że jest ojcem 19-letniego chłopca. Tylko kto jest matką? Bo Don od kobiet nie stroni(ł) całe życie… Przyjaciel Winston - domorosły detektyw - namawia Dona, aby pojechał na poszukiwanie autorki listu. Przygotowuje całą podróż i prawie wpycha Dona do samolotu. Co dalej? Trzeba zobaczyć. W każdym razie - dalej trochę różowego koloru, maszyny do pisania i kobiety - różne kobiety, ale coś kiedyś musiało je łączyć, skoro Don nimi się interesował. Przynajmniej tak sądzę - uważam bowiem, że jednak szuka się zawsze jakiegoś podobnego typu partnera. Ten film gdzieś w dalekim planie ukazuje jak ludzie się zmieniają z biegiem czasu i tym, co w życiu ich spotyka. Ale nie Don. Broken Flowers to nieco mniej typowe kino drogi. Droga zwykle prowadzi do przemiany bohatera. Nie tutaj, nie u Jarmuscha. Reżyser delektuje się opowiadaniem historyjki, a nie samą historią. Film jest znakomity - nieinwazyjnie wchodzi do głowy, nieco bawi, nieco zastanawia (świetna “dysputa” filozoficzna przy kanapkach na końcu filmu) ale przede wszystkim jest rozrywką, popisem prowadzenia opowieści dość banalnej, tak naprawdę.

Videodrome

Fri, 19 Aug 2005 07:51:47 +0000

Dokładnie pomiędzy 14 a 22 maja 1999 roku obejrzałem jakąś 1/4, może 1/3 filmu Videodrome Davida Cronenberga. Film był w polskiej telewizji, jakoś wieczorem, a ja standardowo zasnąłem podczas emisji. Skąd wiem, że było dokładnie tak, a co więcej - z tak precyzyjną dokładnością? Otóż właśnie na przestrzeni tego tygodnia zapisałem sobie w takim zeszycie (nazywam go “little blue book with my poems in” parafrazując słowa z “The Wall”) pomysł na opowiadanie, który podczas emisji “Videodrome” przyszedł mi do głowy. Odnalazłem to przed chwilą i… niestety pomysł jest niedokończony; urywa się dokładnie w tym miejscu, do którego pamiętam go od lat! Dlaczego nie napisałem tego opowiadania? Chyba dlatego, że pomysł zbiegł się z filmem w TV (szczerze mówiąc nie wiem co było pierwsze – podobnie miałem z Oczami szeroko zamkniętymi i nawet bardziej Equilibrium) i widząc film uznałem, że nie można popełniać plagiatu (choć swoją wersję „Choinki u Chrystusa” Dostojewskiego mam rozpracowaną do końca, tylko siąść i przepisać z głowy), a poza tym będzie to wtórne. Po tym przydługim wstępie należy się sedno sprawy: po co ten wstęp i ten wpis? Ano po to, że wreszcie, po przeszło sześciu latach (!) zobaczyłem „Videodrome” w całości. Nie byłoby plagiatu (…i dlatego nie zdradzam tutaj istoty tego pomysłu na tekst). Film - rewelacja (chociaż nie jest to arcydzieło - późniejszy eXistenZ znacznie lepszy). I co najgorsze - bardzo prawdopodobny w przyszłości. Świat przestał być tylko realny, namacalny. Poza realnością jest też ta wirtualna sfera - jeśli nie ma cię w TV bądź Internecie, to znaczy że nie ma cię wcale. Co więcej - sfera wirtualna wystarczy! Jeśli jesteś w TV i/lub Internecie to znaczy, że istniejesz na pewno w rzeczywistości. Jaka to blaga! Jedna wielka blaga! W takim razie można pokusić się o stwierdzenie, że wszystko można wykreować jedynie wirtualnie. Sądzę, że gdyby zjawił się ktoś kto zechciałby pokazać światu jak łatwo poddać społeczeństwo wirtualnej manipulacji (tj. manipulacja byłaby prawdziwa, ale odbywałaby się w całości jedynie w wirtualnym świecie) mógłby to bardzo łatwo osiągnąć. Wszystko jest kwestią kosztów. I precyzji oraz dobrej reżyserii. Załóżmy sytuację taką jak w Polsce w tym momencie: kampania przed wyborami prezydenckimi. Wymyślamy sobie fikcyjnego kandydata. Z mediami i wyborcami kontaktujemy się jedynie za pośrednictwem elektroniki: Internet oraz gotowe nagrania audio i video dostarczane redakcjom. Problemem mogłyby być akcje typu konferencje prasowe. Bo jestem przekonany, że wszelakie wiece można by obejść. Wystarczy sztab ludzi, jakiś fikcyjny (choć w tym momencie rozwoju techniki jeszcze jednak istniejący realnie) człowiek-kandydat, który użyczyłby swojej twarzy i głosu (niekoniecznie musi to być ta sama osoba) i odpowiednia promocja. Dużo promocji, dużo public relations i jeszcze więcej marketingu (głównie w sensie reklamy - billboardy, spoty telewizyjne i radiowe). Mogę iść o zakład, że odpowiedni program podparty odpowiednio medialnym (odpowiedni głos, wygląd, zachowanie, słowa, gesty i mimika) i wyszkolonym człowiekiem byłby w stanie zgromadzić 10-15% poparcia społeczeństwa. Skoro może istnieć bank (jakże wymagająca zaufania instytucja!) nie mający placówki to może też zaistnieć nieistniejący kandydat na prezydenta. Coś działającego w drugą stronę (świat wytworzony wokół nieświadomego człowieka) to The Truman Show. Sądzicie, że jest to tylko niemożliwa do realizacji (w tym momencie) fikcja filmowa?…

Nowa praca i nowe miasto

Tue, 26 Jul 2005 21:26:13 +0000

Od prawie trzech tygodni pracuję w nowym miejscu. I to nie tylko w “nowym zakładzie pracy” tudzież w “nowej firmie”, ale całkowicie w innym miejscu. Zmieniłem z dniem 4 lipca (heh… może to zbieg okoliczności, ale tak na prawdę w tym momencie właśnie zauważyłem, że to właśnie 4 lipca! A nie tak dawno oglądałem po raz kolejny Born on the 4th of July, ale mniejsza o to) miejsce zamieszkania, a nieco później zacząłem pracę w centrali pewnego banku. I teraz już nie mieszkam w moim ukochanym Krakowie, a w Warszawie… Na razie tylko “Warszawie” - bez żadnych epitetów. Czy lepiej? Jeśli chodzi o pracę to na pewno - jestem osobą odpowiedzialną (przede wszystkim) za treści ukazujące się na stronach portalu tegoż Bardzo Wielkiego Banku ;) oraz za kilka innych spraw (ostatnie dwa dni w pracy to - nie licząc pomniejszych spraw - analiza rocznych statystyk portalu; wcześniej przygotowanie nowego layouty newslettera). Podoba mi się. Podoba mi się praca, to co mam do roboty i jak to wygląda; podoba mi się wiedza którą już zdobywam i cała ta wiedza, która jeszcze przede mną. A sporo jej. Czy lepiej, jeśli chodzi o miasto? Jeszcze nie wiem. Od 4 lipca nie wyjechałem z Warszawy (nie licząc jakiegoś drobnego popołudnia nad jeziorem). Nie czuję się tutaj tak swobodnie jak czułem się w Krakowie (no, ale w Krakowie mieszkałem w sumie dziewięć lat), ale nie czuję się też specjalnie wyobcowany. Może dlatego, że mam się z kim spotkać? Może dlatego, że poza pracą i kilkoma osobami tak na prawdę nie bywam w mieście? Nie chodzę po klubach, nie rozmawiam z ludźmi? Może po prostu jeszcze się nie oswoiłem… Sam nie wiem, trochę też nie ma na to czasu. Nie ciągnie mnie za bardzo do Krakowa (ale do ludzi, którzy w Krakowie zostali jak najbardziej - to dwie różne sprawy) - bardziej ciągnie mnie do zwiedzania Warszawy i poznawania jej. Tak po prostu chodzenia po niej, poruszania się i poznawania. Ulic, placów, parków, knajp i pubów.

Ciekawy spam

Wed, 29 Jun 2005 20:16:05 +0000

Bardzo zdziwiło mnie coś, z czym ostatnio spotkałem się w tym blogu. Otóż w którymś momencie zaczęły pojawiać się komentarze do postów podpisywane “online casinos” czy coś w tym stylu. Nie znadziecie ich, bo je usuwam :). Ale nie w tym rzecz - rozumiem spamowanie skrzynek pocztowych, ale nie spotkałem się jeszcze z automatami robiącymi wpisy w komentarzach czy książkach gości. Po co to? Oczywiście chodzi o linki do stron i nic poza tym. W tym momencie (po małych “tańcach” google) blog.prokulski.net ma PageRank równy 2/10. Nie jest to dużo, ale jednak jest. Wiadomo, że linki ze stron z wysokim PageRank powodują wzrost pozycji strony (do której te linki prowadzą) w wynikach wyszukiwania. Cel takich wpisów jest wiadomy. Spotkał się ktoś z tym? Może podzielić się uwagami? Zachęcam do dyskusji!

Nowe zdjęcia

Tue, 07 Jun 2005 10:59:24 +0000

Na stronie pojawiło się kilka nowych zdjęć. W sumie jest ich już 140 (co w zasadzie nie jest jakąś szokującą liczbą, ale trochę tego jest, jakby nie patrzyć). Te nowe fotki pojawiły się w działach Kraków (sporo zdjęć z Kazimierza takiego jakim go lubię - rudery, brud itd), Kwiatki, Inne~~, jedno w Portret i dwa w Autoportret~~. Zapraszam do oglądania i być może komentowania (tutaj, w blogu).

Nine Inch Nails - [WITH_TEETH]

Sat, 07 May 2005 21:05:14 +0000

Cudne! Miażdżące! Piękne w swym brudzie. Tak mogę określić nową płytę NIN - premiera była 2 maja, płytki słucham od jakiegoś tygodnia. Nigdy za Nailsami nie przepadałem, byli za głośni, za bardzo jazgotliwi. Ceniłem jednak “The Perfect Drug” z “Zagubionej…” czy też kilka innych znanych utworów (“Closer”, “Sin” czy “Burn” wykorzystany w “Urodzonych…” albo “Starfuckers, Inc.” z poprzedniej płyty). Ale nigdy nie przebrnąłem przez całą płytę - po prostu było to dla mnie za głośne i tyle. No, ale “With teeth” zacząłem poznawać właściwie od słuchania na słuchawkach - zupełnie inny odbiór niż moje nędzne głośniczki przypięte do komputera. Słychać każdy dźwięk, każdy brud, każdy szczegół całej tej układanki. I właśnie za te szczegóły i ich mnogość (jak to ktoś na grupie pl.rec.muzyka.rock stwierdził - nie ma gdzie już szpilki wetknąć) cenię tę płytkę. Momentami ściana dźwięku. Ale wcześniej coś jak nocna jazda samochodem pustą drogą przez gęsty las (znam takie miejsce - jadąc z Popielowa do Kup; kilkanaście kilometrów od Opola) . Coraz szybciej, na coraz większym gazie, chociaż tak na prawdę słychać tylko szum wiatru i silnika (mruczenie bardziej)… tak samo delikatnie jak w “Ridern on the Storm” Doorsów (mam na myśli wrażenie, a nie jakiekolwiek muzyczne porównania!). Tyle, że nagle wyrasta przed nami na owej drodze betonowy mur, w który wgniatamy się całym impetem. I za chwilę ponownie. I dalej, i szybiciej i na nowo z każdym kawałkiem. Są też piosenki. Po prostu piosenki, a to dość nietypowe dla Reznora… takie jak np. singlowy “The Hand That Feeds” czy “Only”. Mistrzostwo świata, trzeba posłuchać. Dzięki “With teeth” sięgnąłem po starsze płyty NIN. I nie żałuję. Już mnie uszy nie bolą.

Aviator

Sat, 05 Mar 2005 13:20:46 +0000

Kolejny film, wielki kandydat do Oscarów i chyba wielki przegrany (od lat właściwie) - Martin Scorsese i jego Aviator. Tym razem porażka totalna. O czym jest ten film? Czemu ma służyć? Jak napisałem na pl.rec.film:

“Zestawienie dość ładnych zdjęć, kilka scenek jedna za drugą, ale tak na prawdę - o co chodzi? No był bogaty gość, robił samoloty i filmy, obracał się w towarzystwie gwiazd i co z tego? Jak dla mnie - szkoda było taśmy… Myślałem, że Martin S. zrobi coś lepszego po “Gangach NY”, ale widocznie się przeliczyłem… I dobrze, że nie dostał tylu Oskarów ile by chciał.”

Piła

Sat, 05 Mar 2005 13:17:24 +0000

Ostatnio nadrabiałem zaległości filmowe. Filmów było kilka, szczerze mówiąc nie bardzo wszystkie pamiętam! Na pierwszy ogień pójdzie Piła. Film niczego sobie. Trochę chyba uprzedziłem się czytając przed obejrzeniem coś na sieci (głównie na pl.ref.film), ale to nie wszystko. Początek - jak z Cube, który bardzo lubię… Potem całkiem nieźle, ale mocno zalatując Se7en - też lubię… nawet bardziej. Są jednak w moim odczuciu filmy (i piosenki), których nie należy dotykać i wręcz obchodzić się z nimi jak ze świętym jajkiem. Połączenie Cube z Se7en - fajny pomysł, mógł być bardzo udany. Niestety - Piła w napięciu mnie nie trzymała, była momentami przewidywalna, na nogi nie powaliła. Zobaczyć jednak warto. Powiedzmy 6.5/10.

Pozycjonowanie Grupy Rafała Kmity - część druga

Sat, 05 Mar 2005 13:11:20 +0000

Hmm… kilka nowych słów kluczowych (tak naprawdę zebranych na podstawie logów… mojej strony), kilka przeróbek i poprawek, a strona Kmitów ma się lepiej w googlach. Wciąż wszystko na wyczucie tak na prawdę, bez sztuczek - czysty kod, niezbyt (mimo wszystko - ciągi są za długie) dobrze dobrane słowa kluczowe (ale ważne że słowa te są) i wypełnione inne META-tagi. A dziś trafiła w sieć nieco poprawiona strona www.grafologia.pl (odpowiadam tylko za “tuning” pod względem pozycjonowania) - za 2-3 dni powinna się pojawiać w googlach. Mam nadzieję… bo kod jest rozpieprzony i strona jest tak na prawdę do zrobienia na nowo. Niestety nie dysponuję całą grafiką (najchętniej w PSD oczywiście) i nie jestem w stanie wiele namieszać… Liczę po ciuchu na to, że moje drobne poprawki coś poprawią…

Pozycjonowanie Grupy Rafała Kmity

Tue, 25 Jan 2005 21:27:02 +0000

Jakiś czas temu (bodaj na początku grudnia) ruszyła zrobiona przeze mnie strona Grupy Rafała Kmity. I hula ładnie, chociaż jest taka sobie graficznie (cóż… nie mam do tego zdolności i nic już na to nie mogę poradzić). Ale ja nie o tym. Strona ta była dla mnie wyzwaniem nie tylko pod względem zrobienia jakiegoś layoutu i napisania kawałka kodu w HTMLu (niestety - nie poradziłem sobie ze względów czasowych z rozpisaniem tego na CSSie, ale większej potrzeby też nie było) ale również pod względem pozycjonowania. Nacisk położyłem na google - dla mnie jedyną wyszukiwarkę sieciową, w którą warto “inwestować” swój wysiłek. No i udało się właściwie. Udało się lepiej niż sądziłem. Google wyszukują wspomnianą stronę po frazy typu “Grupa Rafała Kmity” czy też tytuły poszczególnych spektakli i jest ona w pierwszych pięciu wynikach (niestety nie zawsze udaje się przeskoczyć starą wersję strony umieszczoną na innej domenie). Największym jednak sukcesem dla mnie okazała się fraza “skecz o radiu” - taki ciąg zaproponował Arek Lipnicki (“bo ludzie nas z tym kojarzą”) - tutaj kmita.art.pl jest na pierwszym miejscu. Dzisiaj wprowadziłem kilka zmian (jakich to tajemnica ;-) ale prostych i banalnych wręcz) na dodanej kilka dni temu podstronie “Powiedzieli o nas…” - ciekaw jestem jak się sprawdzą w wyszukiwarkach (swoją drogą - właśnie sprawdziłem szukaczki onetu, wp i interii - pozycjonują stronę właściwie tak samo jak google) i czy na zapytania o nazwiska, które coś powiedziały w wynikach będzie strona Kmitów… Jeśli tak to dla mnie pełen sukces :D

21 gramów

Wed, 19 Jan 2005 10:06:58 +0000

Robię sobie ostatnio co wieczór maraton filmowy. No… maraton to za dużo powiedziane - po jednym filmie dziennie (“wieczornie” właściwie). Przedwczoraj “Donnie Darko” w wersji reżyserskiej, wczoraj “21 gramów”. O ile pierwszy taki sobie (tym bardziej, że widziałem go już wcześniej kilka lat temu) o tyle drugi rewelacyjny. Żałuję, że nie załapałem się na seanse w kinie… Naomi Watts boska, piękna (nawet jak robi “grymaśne” miny albo dopiero co jest po przebudzeniu - no, ale to uroda kobiety dokładnie w moim typie) i rewelacyjna. Sean Penn jeszcze lepszy, tak samo Benicie Del Toro. Świetny film o życiu, śmierci, trochę o miłości i przede wszystkim o tym jaki ten świat jest mały i jak trudno czasami zrozumieć drugiego człowieka, szczególnie stojąc z boku i tylko przyglądając się jego życiu, nie znając całości. Gorąco polecam, powinien być w wypożyczalniach.

Nowa wersja strony

Sun, 16 Jan 2005 20:03:06 +0000

Po zarejestrowaniu domeny prokulski.net i pewnym czasie spędzonym na przygotowaniu nowego layouty swojej strony dzisiaj dokonałem update’u całości. To co było do tej pory w testach już w 100% działa i jest widziane w sieci. Czekam na opinie…

Olympus C-765

Tue, 11 Jan 2005 23:07:27 +0000

Olympus C-765 to mój nowy nabytek. Wreszcie kuiłem sobie aparat cyfrowy! Fociłem nieco kilka lat (to już “lat”!) Prakticą PLC 3, z krótej jestem bardzo zadowolony, ale… albo ja mam coś z oczami, albo aparat nie trzymał mi ostrości. Z czasów manuala zostało mi zamiłowanie do fotografii (totalnie amatorskiej, bądź co bądź) i chorowałem na cyfrę. Na analogowe odbitki nigdy nie było mnie stać. Teraz mogę sobie chodziaż dowoli popstrykać :) A z efektów jestem jak na razie zadowolony (z kilkoma rzeczami trzeba się pogodzić, cóż…). Przykład - poniżej. Oczywiście pomniejszony, więc nie oddaje ten obrazek tego co potrafi aparat.

Marzyciel

Tue, 11 Jan 2005 22:58:57 +0000

Obejrzałem dwa dni temu “Finding Neverland” z Johnnym Deppem. Świetny film, polecam. Już jakieś 2 miesiące temu w “Talking Movies” na BBC o nim słyszałem i o tym, że bije rekordy w Ameryce, a Amerykanie są zachwyceni. Hmm… szczerze mówiąc dla mnie to żadna rekomendacja, wręcz przeciwnie. Ale coś mi mówiło, że warto film zobaczyć i kazało na niego czekać. Pewnie gdyby nie DivX to poszedłbym do kina (a do kina chodzę na bardzo wyselekcjonowane pozycje - tym bardziej, jak tak na prawdę nie mam ostatnio kiedy iść do kina). Film o powstawaniu “Piotrusia Pana”, ot co. Ma w sobię i konkret i magię - doskonale to wszystko łączy. Depp świetny. Gorąco polecam. W Polsce w kinach bodaj w lutym.

Pink Floyd nieznany - ciąg dalszy

Wed, 05 Jan 2005 18:09:18 +0000

Dzisiaj słucham kolejnej płyty z wymienianej wczoraj serii. Tym razem są to nagrania z czasów “The Wall” - mojej ulubionej płyty wszechczasów. Chociaż… to taka prosta płyta. Banalna muzycznie właściwie, jeśli porównać ją z “Ummagummą” czy “Saucerful Of Secrets”. Ale ja ją lubię, wręcz ubóstwiam. I wiem z czego to się bierze, tak na prawdę. Kiedy słuchałem jej pierwszy raz chyba mnie znudziła (to było lata temu, jeszcze pewnie w liceum) - to w końcu dwa krążki; masa czasu! ;) Potem długo nic - no płytka jak płytka, była sobie gdzieś i tyle. Oczywiście znałem “Another brick in the wall, part 2”, nieco mniej konarzyłem “Comfortably Numb”. Aż pewnego dnia się przekonałem. I bardziej, i bardziej. Potem przeczytałem wreszcie teksty (po polsku) - to było moje życie! Jak miałem jej nie pokochać, skoro to o mnie? Też miałem “little black book with my poems in”, też miałem czasem “One of my turns”. Zobaczyłem film Alana Parkera po kilku latach… Zachwycił mnie. Muzykę i piosenki znałem już na pamięć, więc oglądając mogłem sobie śpiewać pod nosem. Jakiś czas potem rozstałem się z Moniką. Jej ten film nie pociągał, a album - no kolejny album. Nie podzielała mojego entuzjazmu i moich emocji. Ale kiedy się z nią rozstałem jeszcze bardziej utożsamiłem się z filmem, a co za tym idzie - z muzyką. Od tamtej pory do “One of my turns” doszło kilka sąsiednich nagrań. I tak w tym momencie (niezmiennie od kilku lat) najbardziej fascynuje mnie “druga strona pierwszego krążka” (eh… zdobyć kiedyś “The Wall” na czarnej płycie; no - ale wpierw jakiś sprzęt odtwarzający winyle) Po co to wszystko teraz? Chyba dlatego, że nachodzi mnie czas samotności. Czucia tej samotności, bo samotny jestem od kilku(nastu?) miesięcy. Czasem czuję to mocniej, czasem o tym zapominam. Od 2-3 dni zaczęło mi to przeszkadzać… a zbieg okoliczności sprawił, że słucham piosenek z płyty o samotności właśnie. “Niech mnie ktoś przytuli!” ;-)

Pink Floyd nieznany

Tue, 04 Jan 2005 22:23:52 +0000

Od kilku dni słucham (każdego dnia po jednej płytce) kolejnych płyt z pakietu A Tree Full Of Secrets. To taki pakiecik (bootleg) 18 kompaktów z niepublikowanymi wcześniej utworami Floydów. I tak na przykład dzisiaj po przesłuchaniu piątej płytki na nowo zakochałem się w “Wish You Were Here”… bo na piątym kompakciku są właściwie tylko dwa utwory - “Shine On You Crazy Diamond” i “Have A Cigar”. Wersje short, demo, mono, fake stereo i Bóg wie jakie jeszcze. Tak czy inaczej - polecam to wydawnictwo (pewnie trudno zdobyć, ja znalazłem dojście w sieci), szczególnie dla fanów PF.

Na dobry początek...

Tue, 04 Jan 2005 22:00:00 +0000

Mam swoją domenę. Mam swój host. Założyłem tego bloga. Zobaczymy czy coś z tego wyjdzie…