Scraping on Łukasz Prokulski, Dane i Analizy

Newsletter Dane i Analizy, 2024-12-16

Mon, 16 Dec 2024 15:00:00 +0000

Czego szukali ludzie w Google w mijającym roku? Google dostarcza podsumowanie dla całego świata i większości krajów z osobna (tutaj Polska, tutaj global). Podsumowania te są o tyle interesujące, że stanowią pewnego rodzaju obraz naszego społeczeństwa i jego zainteresowań.

Wiecie, że w Afryce w większości państw ruch w internecie z komórki przeważa ruch z komputerów? W przykładowym Sudanie ponad 77% to komórki. Tego typu rzeczy można dowiedzieć się z corocznego raport Cloudflare Radar. Raport mówi nie tylko o dominacji Google, ale też zawiera statystyki dotyczące szyfrowania ruchu, popularności różnych technologii sieciowych czy kwestii bezpieczeństwa.

Newsletter Dane i Analizy, 2024-06-24

Mon, 24 Jun 2024 15:00:00 +0000

W piłkę polska reprezentacja już (za moment) na Euro nie pogra, ale o przewidywaniu wyników trwającego turnieju piłkarskiego coś dzisiaj znajdziecie. Nawet nie w kontekście polskiej reprezentacji, a bardziej w kontekście “jak to się robi?”. Bo taki cel ma ten newsletter - pokazywać jak to się robi. Więc jeśli znasz kogoś, kto jeszcze nie wie to ślij mu tego maila. A jeśli ktoś przysłał Tobie tego maila - to zapisz się prawilnie na odpowiedniej stronie.

Newsletter Dane i Analizy, 2024-06-10

Mon, 10 Jun 2024 15:00:00 +0000

Dzisiaj dwa ciekawe teksty o technikach OSINTowych - czyli jak z publicznie dostępnych informacji dotrzeć do czegoś więcej. Na przykład do informacji gdzie ktoś faktycznie jest (chociaż mówi inaczej) co jest nieco zabawą podobną do serwisu GeoGuesser (interesująca zabawa, zacznij od map ze znanej Ci okolicy) - na przykładzie szpiegów. Może jeszcze na dokładkę coś o szukaniu informacji z wykorzystaniem map?
Tyle o szukaniu. A o ukrywaniu? No na przykład pikselowanie tekstu na obrazkach umieszczanych w sieci nie ma większego sensu.

Newsletter Dane i Analizy, 2022-08-22

Mon, 22 Aug 2022 15:00:00 +0000

Czy mniejsza liczba artykułów (nie wiem czy to zauważalne…) to dla Was lepiej czy gorzej? Przeczytacie w związku z tym więcej (wszystkie?) czy tak samo jak zwykle 2-3, a reszta to nuda?

Dzisiejszy numer to nieco eksperyment ale - przyznajmy to szczerze - wynik sezonu wakacyjnego. Oj ciężko się zebrać do roboty, ciężko…

#AI_ML

MLU-Explain
Jak działają lasy losowe? Co to jest krzywa ROC i AUC? Jeśli nie wiesz to ten serwis w przystępny, graficzny sposób pomoże to zrozumieć

Newsletter Dane i Analizy, 2021-12-27

Mon, 27 Dec 2021 15:00:00 +0000

To ostatni numer newslettera… w tym roku. Czy ten sam dowcip (o ostatnim numerze newslettera) działa dwa razy? Wątpię. Ale dobry suchar po całej masie pierogów, sałatek i ciast może okazać się zbawienny. Tak wiem - jest czerstwo, zatem zgodnie z planem ;-)

Przed Tobą ostatnia w tym roku dawka interesujących tekstów, nieco skromniejsza niż zwykle, ale liczę na to że również atrakcyjna.

#analiza_danych_koncepcje

How to Deal With Categorical Variable in Predictive Modeling
Jak radzić sobie ze zmiennymi kategorycznymi w danych? Kilka przydatnych metod

Newsletter Dane i Analizy, 2021-10-18

Mon, 18 Oct 2021 09:00:00 +0000

The State Of Web Scraping in 2021 – Mihai’s Blog
Author: Mihai Avram | Date: 10/02/2021 The area of web scraping has really expanded in the last few years, and it helps to know some of the main frameworks, protocols, and etiquette so that you can build the next awesome Web Scraping tool to revolutionize our world! Or maybe just your local neighborhood, or workgroup – that’s fine too. In this post, we will cover. What is web scraping? What are (…)

Newsletter Dane i Analizy, 2021-07-12

Mon, 12 Jul 2021 09:00:00 +0000

What is MLOps — Everything You Must Know to Get Started | by Harshit Tyagi
A complete walkthrough of ML systems development lifecycle and need for MLOps Until recently, all of us were learning about software development lifecycle(SDLC) and how it goes from requirement elicitation → designing → development → testing → deployment → all the way down to maintenance. We (…)

Vectorization Techniques in NLP [Guide] - neptune.ai
Natural Language is how we, humans, exchange ideas and opinions. There are two main mediums for natural language – speech and text. Listening and reading are effortless for a healthy human, but they’re difficult for a machine learning algorithm. That’s why scientists had to come up with Natural (…)

Newsletter Dane i Analizy, 2021-07-05

Mon, 05 Jul 2021 09:00:00 +0000

How to Create a Dashboard to Track Anything With Plotly And Dash
Or “How I stopped using third-party apps to track my investments”! It’s really easy to get started with your own template. Spoiler alert: this is not my actual portfolio! Ever since I started investing my hard-earned money, I was obsessed with having some sort of dashboard or tool that would allow (…)

State Of The Art of Speech Synthesis at the End of May 2021 | by Patrick Meyer | Jun, 2021
Thoughts and Theory Presentation of the state of the art in speech synthesis research at the end of May 2021 with a focus on deep learning technologies. I present a synthesis of 71 publications and give you the keys to understand the underlying concepts. Voice is the most natural way we have to (…)

Newsletter Dane i Analizy, 2021-06-21

Mon, 21 Jun 2021 09:00:00 +0000

Implementation of Top Design Patterns in Python
*according to developer & software architect with 9+ years of experience

A hands-on demo of analyzing big data with Spark
Scan a novel, calculate pi, and run regression on 50 million rows Conclusions This post was a deep dive on using Spark to process big data. We started with an overview of distributed computing before counting the frequency of each letter in Dostoyevsky’s War and Peace , estimating π with randomly (…)

Wywiad dla podcastu "Biznes Myśli"

Mon, 06 Jan 2020 17:00:00 +0000

Tuż przed końcem roku miałem przyjemność porozmawiać z Valdimirem na temat danych, ich analizy i wizualizacji.

Podczas rozmowy mówiłem między innymi o:

Kiedy możemy mówić, że dane są dobrej, a kiedy złej jakości
Co można zrobić, aby dane były dobrej jakości
Czym jest scrapowanie danych, kiedy można spróbować, kiedy lepiej unikać
Jak wizualizować dane, aby były jednoznacznie czytelne
Jak nie dać się oszukać przez dane i jak unikać nieświadomego przekłamywania danych
Jak powinien wyglądać dostęp do danych w idealnym świecie

Tutaj znajdziecie transkrypcję nagrania, a samo nagranie poniżej: