Twitter on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2024-05-27

Mon, 27 May 2024 15:00:00 +0000

Dzisiaj krótko, bo tydzień krótszy i “nie ma czasu załadować taczek”. Może tak lepiej?

#analiza_danych_projekty

Customer Segmentation
Analiza RFM (Recency, Frequency and Monetary) wykorzystana do segmentacji klientów. Bardziej opis niż zajęcia praktyczne, a praktyka podana w excelu

#architektura

How Twitter processes 4 billion events in real-time daily
Od architektury Lambda do Kappa

3 Reasons Why You Might Want to Use Monolith Instead of Microservice
Czyżby odwrót od podejścia mikroserwisowego? A może tylko kilka szczególnych przypadków?

Newsletter Dane i Analizy, 2024-05-13

Mon, 13 May 2024 15:00:00 +0000

Które narzędzie do generowania grafik - Dall-E czy Midjourney - poradzi sobie lepiej? Zobacz porównanie, a jak już wiesz co wygrało - u Artura Kurasińskiego znajdziesz potężny poradnik jak promptować zwycięzcę.

1 Billion Row Challenge - to jest big data, nie jakieś arkusze Excela i kilkanaście tysięcy wierszy. Jak sobie poradzą różne implementacje oparte na Pythonie i ewentualnych dodatkowych narzędziach? Skroluj do odpowiedniej sekcji, bardzo ciekawe porównanie i kilka fajnych sposobów na optymalizację!

Newsletter Dane i Analizy, 2024-03-04

Mon, 04 Mar 2024 15:00:00 +0000

W tym tygodniu cała masa materiału związanego z prezentacją danych - jak je pokazać efektywnie, czytelnie i przy okazji jak to się robi w kodzie? Czytaj po kolei, a to mięsko w ostatniej sekcji.

Ponieważ głównym założeniem tego newslettera jest dzielenie się wiedzą - dzisiaj również coś o rozwoju kariery. Jak z juniora zostać seniorem? I co to oznacza być seniorem (w oczach juniora, ale też w rzeczywistości).

Na koniec dzisiejszych polecajek: kilka tekstów o milionach. Milionach szybko generowanych PDFów, milionach requestów do API i milionach wierszy w plikach CSV. Jak to optymalizować, żeby się szybko działo?

Newsletter Dane i Analizy, 2023-08-14

Tue, 08 Aug 2023 00:00:00 +0000

Na początek tutorial (YT, 30 minut, po polsku), tym razem z LLMami w roli głównej - o tym jak zbudować chatbota odpowiadającego na pytania z własnej bazy wiedzy. Bardzo fajny materiał, takich trochę brakuje - chłopaki opowiadają o tych najbardziej kluczowych kawałkach kodu a nie o podstawach. Rozumiesz o czym jest mowa, nie ma straty czasu na opowiadanie co do jest model albo funkcja w Pythonie ;-)

Dzisiaj też pelny proces MLOps - wprowadzenie zawierające wszystkie elementy. Super tekst na początek dla każdego DevOpsa który chce się zająć tematami ML oraz każdego data scientisty, który chce umieć nowocześnie wdrażać swoje modele.

Newsletter Dane i Analizy, 2023-06-19

Mon, 19 Jun 2023 15:00:00 +0000

W dzisiejszym numerze znajdziecie link do niezbyt długiego filmu pokazującego jak korzystać z Midjourney - czyli narzędzia do generowania hiperrealistycznych grafik. Robi wrażenie (Midjourney, nie sam filmik), pochłonęło mnie na kilka godzin wczoraj… tylu nieistniejących dziewczyn dawno nie widziałem ;-) a zabawa w zmiany stylu przednia!

Oczywiście ktoś takie Midjourney musiał przygotować wcześniej i nauczyć tą sztuczną inteligencję tych wszystkich sztuczek. Zapewne te osoby musiały zacząć od podstaw, a te znajdziecie w kursie od IBM, opublikowanym na YouTube.

Newsletter Dane i Analizy, 2023-05-29

Mon, 29 May 2023 15:00:00 +0000

Dość przekrojowo dzisiaj.

Najciekasze według mnie tekstu to ten o sensownym nadawaniu gwiazdek produktom (ile razy filtrowaliście produkty w sklepie internetowym przed kupnem po najlepszej ocenie i okazywało się, że z “piątką” jest tylko jeden?), ten o SoftMax (nie przeraź się równaniami na początku, chociaż może podstawy matematyczne są akutat dla Ciebie cenne?).

Bardzo dajny jest też dział Python - od rzeczy prostych typu wiele wykresów na jednym obrazku do modelu (no…) informującego o tym że akcje należy kupić albo sprzedać.

Newsletter Dane i Analizy, 2023-02-27

Mon, 27 Feb 2023 15:00:00 +0000

W dzisiejszym wydaniu najwięcej miejsca poświęcam wizualizacji danych i okolicach.

Kalibracja obrazu jest okolicą (bardzo odległą - w sumie oba tematy łączy tylko to, że mamy do czynienia z obrazem), jest też więc coś o tym. Kalibracja jest potrzebna przy problemach natury computer vision, a takowy - w postaci maskowania obiektów na obrazie - też dzisiaj poruszamy.

W poprzednim tygodniu dużym powodzeniem cieszył się tekst o MLOps (jeśli boisz się, że umknęło - zerknij do archiwum), więc dzisiaj kontynuacja, niejako na fali z poprzedniego tygodnia.

Newsletter Dane i Analizy, 2022-11-21

Mon, 21 Nov 2022 15:00:00 +0000

Zaczęło się święto piłki nożnej, jutro pierwszy mecz Polaków. Czy pierwszy z trzech? A może z czterech (i to będzie wielki sukces polskiej reprezentacji)? Nie wiadomo.

Jak to zwykle bywa przy okazji takiej imprezy powstają różne predykcje, modele, różne psy, koty czy ośmiornice pomagają wytypować zwycięzców. Niektórzy uważają, że nie da się takich modeli przygotować, inni nawet to wiedząc próbują. Matematycy z Oxfordu przygotowali model, według którego faza pucharowa będzie wyglądała następująco:

Newsletter Dane i Analizy, 2022-09-05

Mon, 05 Sep 2022 15:00:00 +0000

Pod logiem Fundacji Apache aż roi się od projektów, a świat big data to pewnie w 90-95% Apache COŚ. Znamy Kafkę, znamy Apache Spark, Apache Hadoop. Dzisiaj przedstawiamy (w dziale BigData) kilkoro innych członków rodziny.

Jeśli zaś mamy dużo mapek do wyświetlenia naszym klientom na stronie (bo na przykład monitorujemy każdy wypożyczony rower, hulajnogę czy samochód i mamy miliony wejść na stronę dziennie) to w dziale DevOps coś o rozwiązaniu open soruce, które może zmniejszyć nasze koszty.

Newsletter Dane i Analizy, 2022-06-06

Mon, 06 Jun 2022 15:00:00 +0000

W tym tygodniu sporo rozwiązań big data’owych i ciekawostek ogólnie związanych z przetwarzaniem danych.

Ale jeśli interesuje Cię coś bardziej “biznesowego”, w szczególności jak projektuje się produkty to gorąco polecam rozmowę z Marcinem Zarembą o projektowaniu autobookingu w Dobrym Mechaniku oraz dodatkowo tekst o tymże u Marcina na blogu. Świetny case study, serio serio.

#AI_ML

Train Mask R-CNN Net for Object Detection in 60 Lines of Code
Rozpoznawanie obiektów na zdjęciach - jak to działa?

Newsletter Dane i Analizy, 2021-07-19

Mon, 19 Jul 2021 09:00:00 +0000

Dobry, zły i brzydki – Parę słów o Pandas UDF w Apache Spark | Tech Blog ING Bank Śląski
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak (…)

Geocoding in Python: A Complete Guide
A step-by-step tutorial on geocoding with Python Continue reading on Towards Data Science »

Wyniki wyborów prezydenckich 2020 - coś więcej niż mapki

Sun, 19 Jul 2020 21:51:41 +0000

Wybraliśmy nowego prezydenta Polski. Jak zwykle internet zalała seria mapek z wynikami. Ale czy mapki to wszystko co można wyciągnąć?

Mapkami podniecają się wszyscy, ale tak właściwie co one mówią o wynikach wyborów i osobach, które oddały swój głos? Dlaczego Andrzej Duda wygrał w jednych rejonach, a Rafał Trzaskowski w innych?

Oczywiście media teraz nieco onanizują się tym, że jeden kandydat wygrał więcej gmin, a inny więcej województw (proporcjonalnie oczywiście). Mapkę narysować można zawsze (zresztą z wynikami po gminach publikowałem na Twitterze jako jeden z pierwszych - dlatego warto śledzić mnie na Twitterze), o tutaj:

Sejm VIII kadencji

Mon, 28 Oct 2019 13:26:13 +0000

Wybory parlamentarne 2019 dobiegły końca, a co za tym idzie mamy zmianę kadencji Sejmu. Podsumujmy więc mijającą, ósmą kadencję Sejmu Rzeczpospolitej Polskiej. Kiedy głosowali posłowie, o jakich porach dnia i nocy? Kto był najczęściej nieobecny?

Niniejszy wpis pokaże Wam jakieś ogólne, dość przekrojowe statystyki. Sądzę, że to dobry materiał wyjściowy dla redakcji informacyjnych. Można poszerzyć analizę o dodanie innych źródeł, szczególnie doniesień prasowych. Ale niech zajmą się tym dziennikarze, a nie analitycy. Mogę pomóc, dogadamy się (po ile teraz wierszówka? a research?).

Spark, czyli opóźnienia pociągów

Fri, 21 Dec 2018 14:52:21 +0000

Czy polskie pociągi są punktualne? To pytanie, na które poszukamy odpowiedzi, ale jest ono tylko przyczynkiem do dzisiejszego wpisu.

Chciałbym pokazać dzisiaj sposób znalezienia odpowiedzi, nawet nie samą odpowiedź. Skąd wziąć dane? Jak sobie z nimi poradzić? Czym je uzupełnić?

Pozyskanie danych

W pierwszym odruchu pomyślałem o stronach PKP i webscrappingu. Ale na Twitterze mojego bota @rstatspl obserwuje inny bot - @OpPociagow, który prezentuje ciekawe dane. Skoro prezentuje to je ma. Skoro ma, to gdzieś są. Chwila rozmowy z twórcą i uzyskujemy adres InfoPasażer Archiver - archiwum opóźnień pociągów.

Bot mundialowy

Sat, 16 Jun 2018 15:41:39 +0000

Na Twitterze na koncie @rstatspl działa bot śledząc co się dzieje na Twitterze podczas kolejnych meczy. Zapraszam!

Jak zrobić twitterowego bota?

Wed, 21 Mar 2018 09:52:09 +0000

Automaty rządzą naszym życiem. Czy tego chcemy czy nie. Szczególnie w sieciach społecznościowych, nawet podobno wygrały wybory prezydenckie w USA (ciekawe czy w Rosji też). Spróbujmy zatem samodzielnie napisać jakiś automat działający w social mediach. W R, chociaż można w czymkolwiek innym.

Przygotujemy automat (bota), który będzie na Twitterze publikował wybrane przez nas treści. Taki bot już istnieje - to @rstatspl. W tym wpisie znajdziecie informacje jak powstał. Bot @rstatspl robi trzy rzeczy:

Maszynka do czytania Twittera

Tue, 20 Jun 2017 12:57:10 +0000

Bardzo lubię Twittera, który w Polsce jest trochę niedowartościowany. Według mnie to najszybsze źródło informacji, a przy okazji - przyjemne i wygodne w zdobywaniu danych do przeróżnych analiz. Najnowsze dane do jakich dotarłem (nie szukałem długo - jakieś 2 minuty) mówią o tym, że w Polsce z FB korzysta jakieś pięć razy więcej użytkowników niż z Twittera. Niby mało, ale jak zobaczymy jest to wystarczająco. Analizowaliśmy już w oparciu o dane z Twittera wyniki Oscarów oraz aktywność podczas meczu piłki nożnej. Nie ma jednak prostego sposobu (nie znam, może raczej tak), aby w krótkim czasie dotrzeć to tego co aktualnie dzieje się na Twitterze. Przygotujemy sobie więc odpowiednie narzędzie.

Mecz Polska - Rumunia na Twitterze

Mon, 12 Jun 2017 11:00:36 +0000

Wydarzenia sportowe (lub inne dziejące się tu i teraz) są bardzo wdzięcznym tematem analizy tego, co dzieje się w mediach społecznościowych. Jak wyglądał Twitter podczas meczu Polska - Rumunia?

Przygotowanie tokenu

Aby zebrać dane z Twittera potrzebujemy zbudować aplikację, która wykorzysta API Twittera i jej tokenu. W samym R wykorzystamy pakiet rtweet. Koniec końców potrzebny nam jest klucz API (para Consumer Key i Consumer Sectet) - jak je zdobyć można przeczytać tutaj (z obrazkami). Odpowiednie wartości należy przypisać do zmiennych poniżej. Kod przygotuje nam token i zapisze w lokalnym pliku, dzięki temu w przyszłości będziemy mogli taki token wykorzystać:

Oscary 2017 - kto wygrał? Bez czytania wiadomości!

Mon, 27 Feb 2017 15:44:51 +0000

Jak dowiedzieć się kto wygrał Oscara? Bez czytania wiadomości. W każdej z kategorii. Korzystając tylko z Twittera, ale bez czytania poszczególnych twittów! Da się? Oczywiście, że się da. Potrzebujemy tylko danych i odrobiny sprytu przy ich przetwarzaniu. Najpierw dane. Napisałem skrypt, który pobierał co 5 minut wszystkie nowe twitty z hashtagu #Oscars i zapisywał je w pliku “Oscars_hash.Rds” lokalnie na dysku. Sposobów na pobranie danych z Twittera jest wiele, ja wybrałem ten - najszybciej było mi napisać odpowiedni skrypcik (w R - mniej więcej robiący tyle: wyszukaj najnowsze twitty z określonym hasłem, dodaj je do już znalezionych) i po prostu zostawić komputer na noc. Te same dane można pobrać i wpakować do bazy danych. Można też przygotować skrypt, który pobierze wszystko na raz. Skrypt możecie przygotować sobie samodzielnie, zachęcam. Tak czy inaczej - w R polecam bibliotekę twitteR. Trzeba jednak liczyć się z ograniczeniami API Twittera - określona liczba zapytań w czasie, określona (maksymalna) liczba wyników zwracanych dla jednego zapytania. Z powodu tych ograniczeń dane przygotowane przeze mnie zawierają maksymalnie 3200 Twittów pobranych raz na 5 minut. Do naszej analizy to wystarczy. Poza tym - moją ideą przy prezentowaniu kolejnych postów jest pokazanie, że bez płacenia za jakiekolwiek dane można fajnie się pobawić i czegoś nauczyć. Dzisiaj korzystamy jak zazwyczaj z bibliotek ggplot2, dplyr, lubridate oraz tidytext do operacji na słowach. Fajna biblioteka, dużo przykładów, jeszcze się będziemy nią bawić. Pobieramy dane zapisane przez skrypty zapisujące to, co działo się na Twitterze i rozdzielamy czas opublikowania twittu na dzień, godzinę i minutę (po tym będziemy później szukać i grupować). Przy okazji wytniemy dane tylko dla 27 lutego (ceremonia była już 27 lutego naszego czasu), żeby nie ciągnąć za dużego ogona ze sobą.

Whrrl.com - gdzie zjeść?

Sun, 04 Nov 2007 14:51:28 +0000

Whrrl.com to nowy serwis pozwalający znaleźć i oceniać miejsca, gdzie można spotkać się ze znajomymi - restauracje, puby, kawiarnie. Jeśli szukasz miejsca, gdzie można iść na obiad w Twojej okolicy (o ile mieszkasz w dużym mieście w USA - przynajmniej na razie) to znajdziesz je na Whrrl. Znajdziesz w sieci i w telefonie komórkowym, razem z lokalizacją na Google Maps.

Oczywiście jak przystało na obecne czasy serwis jest społecznościowy - pozwala tworzyć “sieć” znajomych, zapraszać nowych. Lokale oceniane i recenzowane są przez całą społeczność - daje to w miarę obiektywne oceny. Miejsca można przeglądać pod kilkoma kątami - chociażby według swojego wyboru lub wyboru znajomych. Whrrl posiada też elementy twittero-podobne, a najciekawszy z nich to rozesłanie zaproszenia do spotkania w wybranym miejscu z poziomu tego miejsca. Zgodnie z tym co piszą twórcy serwisu - niedługo będzie możliwe dodawanie nowych miejsc oraz informacji o lokalnych wydarzeniach np. koncertach czy filmach. Kilka dodatkowych informacji: