Muzyka i data science

Każdego dnia pojawia się nowa muzyka, w wielu różnych gatunkach. Jak wybrać to, czemu warto poświęcić czas?

Dodatkowo dowiemy się jakie znaczenie ma uczciwe przygotowanie danych.

Zdjęcie na okładce: Franck V. on Unsplash

Gdybym miał powiedzieć co lubię najbardziej bez wątpienia byłaby to muzyka. Słucham dużo, nie wyobrażam sobie życia w ciszy. Ale mimo dostępu do nieskończonych (powiedzmy) zasobów muzycznych chociażby poprzez Spotify zauważyłem, że zamykam się w bańce już znanych wykonawców i utworów. A ja lubię odkrywać nowe dźwięki, tylko nie mam czasu (trochę też zbyt na to jestem leniwy) na szukanie nieznanych utworów czy wykonawców. Po co mam poświęcać kupę czasu na szukanie czegoś co mi się nie spodoba?

Mechanizmy Spotify budujące co tydzień listy może ci się spodoba po jakimś czasie przestały podrzucać nowe rzeczy i na 30 utworów na liście mam na przykład 20 oznaczonych jako ulubione. Co to za odkrywanie? Może więc trzeba zabrać się za to samodzielnie?

Cel: automat, który z użyciem metod machine learning zbuduje dla nas w Spotify listę utworów, które powinny nam się spodobać.

Wykorzystamy do tego API Spotify, Pythona i pakiet spotipy.

W pierwszej kolejności potrzebujemy klucza API (jak to zwykle bywa). Zdobywamy go budując odpowiednią aplikację. Cały proces jest dobrze opisany w dokumentacji pakietu Spotipy, a wynikiem są dwa ciągi znaków:

• client_id
• client_secret

które w poniższym kodzie wstawiamy do zmiennych SpotifyClientID oraz SpotifyClientSecret.

Przydatne będzie też ID użytkownika – najprościej je uzyskać szerując swój profil. Dostajemy wtedy adres URL, w którym po ciągu http://open.spotify.com/user/ będzie nasze ID. To z kolei wpisujemy (jako string) do zmiennej username poniżej. Komplet powinien wyglądać tak:

Kolejna sprawa to zakres uprawnień na jakie użytkownik musi się zgodzić. Podajemy listę tych uprawnień, których potrzebujemy. Poniżej mamy przykładowe, razem z dostępem do modyfikacji publicznych playlist użytkownika i odczytem list prywatnych. Dość grube to uprawnienia…

Ostatni krok to pozyskanie tokenu i autoryzacja użytkownika:

Mając proces autoryzacji za sobą możemy stworzyć obiekt Spotipy na którego metodach będziemy dalej pracować:

Znowu Python… Pisałem kiedyś o tym samym z poziomu R!

Zacznijmy od sprawdzenia czy to w ogóle działa, na przykład próbując wydobyć informacje o użytkowniku:

albo liście najpopularniejszych piosenek przez niego słuchanych:

Co do tej listy mam pewne wątpliwości – niektóre z utworów tutaj jak najbardziej pasują, bo było grane w ostatnim czasie częściej (na przykład te z płyty “The Final Cut” Floydów), ale część tylko raz. Można również sprawdzić inny zakres czasowy (parametr time_range) ale też wychodzą mi dziwactwa. Może być tak, że Spotify przelicza te dane raz na jakiś czas – pryz tej liczbie użytkowników miałoby to sens.

Przy okazji: jeśli masz ochotę dodać mnie do znajomych czy obserwować – śmiało, nie mam nic przeciwko. A może muzyka której słucham spodoba się też Tobie?

To co w Spotify jest najciekawsze z punktu widzenia analityka danych to cechy utworów. Spotify w jakiś znany sobie sposób analizuje każdy utwór i podsumowuje w postaci kilku liczb określających właśnie te cechy. Oczywiście API pozwala na zapytanie o takie cechy. Weźmy przykładowy utwór o ID 5mc6EyF1OIEOhAkD0Gg9Lc i zobaczmy co dla niego mamy:

Pamiętamy jaki jest cel? Zrobić automat, który z użyciem metod machine learning zbuduje dla nas listę utworów, które powinny nam się spodobać.

Przydałoby się więc pobrać listę ulubionych utworów. To da nam muzyczny profil użytkownika i kawałek zbioru treningowego – będą to nasze jedynki, utwory które użytkownik lubi. Oczywiście jest na to metoda w API current_user_saved_tracks(). Zbierzemy więc wszystkie utwory, razem z ich cechami i zapakujemy do jednego pandasowego data frame’a:

Dla pewności zapiszemy sobie nasze zebrane dane, na przykład do pliku CSV:

Teraz przydałby się cały przegląd tego jakie cechy mamy, jak się rozkładają i co z nich można wykorzystać. Zobaczymy tylko rozkład wartości dla cech i korelację między nimi:

Kliknij w obrazek, aby powiększyć

Wszędzie (prawie) właściwie nie widać korelacji pomiędzy cechami, a po tym można sądzić że wszystkie cechy przydadzą się w modelu. Co więcej – większość z nich jest znormalizowana (w przedziale 0-1), część wygląda na wartości dyskretne (mimo że są liczbami – key, mode) a część jest ciągła i nie ma właściwie limitu – chociażby długość utworu (durration_ms).

Mamy piosenki, które lubię, mamy ich cechy – to są nasze jedynki. Tylko, żeby wytrenować model potrzebujemy też zer – czegoś czego nie lubię. Skąd wytrzasnąć takie dane? Kilka propozycji padło pod stosownym postem na fanpage’u Dane i Analizy:

Aby się nie męczyć za wiele wykorzystam listy przygotowane przez Spotify – wybierając te, które wyglądają że nie są z moim guście.

Wziąłem wszystkie jakie użytkownik spotify przygotował, wylistowałem ich zawartość i ręcznie wybrałem ID playlist, które wyglądają że nie są dla mnie. Stosowny kod:

Wynik jest dłuuugi, więc go sobie oszczędzimy.

Co nam się pozbierało i zostało po drobnych manipulacjach (usunięcie duplikatów i utworów wykonywanych przez artystów z listy lubianych)?

Możemy przejrzeć jak wyglądają cechy tych złych utworów i na oko porównać czy jakoś różnią się od lubianych. Nie będę tego analizował, ale mając te obrazki możecie uczynić to sami.

Kliknij w obrazek, aby powiększyć

Czas na przygotowanie zbiorów uczących. Weźmiemy na początek taką samą liczbę utworów nielubianych co lubianych (dzięki temu nie powinno być problemu niezbalansowanych klas). Później dla każdego ze zbiorów:

• 80% na trening
• 20% na test

Z pomocą przyjdzie nam scikit-learn.

Mając przygotowany zbiór uczący (X_train to cechy, y_train to odpowiedzi) oraz testowy (odpowiednio X_test i y_test) możemy przystąpić do budowania i weryfikowania modelu. Nie będziemy jednak tym razem w to zbytnio się zagłębiać – weźmiemy po prostu random forest z domyślnymi parametrami. Chodzi mi tutaj o pokazanie procesu (i tego co i dlaczego wyjdzie) a nie szykowanie idealnego rozwiązania..

Wygląda dobrze – wszystkie wskaźniki na poziomie w okolicach 97%.

Dodajmy do danych testowych informację o tym co zwrócił model, a następnie wybieramy z tego zbioru utwory:

• których do tej pory nie lubiłem (w teście są zarówno piosenki lubiane jak i nie lubiane)
• ale według modelu powinienem polubić:

idx	track_id	track_title	track_artist
161	4qug3gWrzeTNm0GhOkugJV	Love Yourself	Justin Bieber
181	10Oin6yhBlz0BF5XASDczp	Dark Pools	Circa Survive
201	0KpfYajJVVGgQ32Dby7e9i	Hey, Soul Sister	Train
229	6uP0XLqjRqFx8HAfesdcAg	X Gon’ Give It To Ya	DMX
250	3VmVapCFKcU9d3CJsoSUm8	Feels So Good	Remy Ma

Wyniki…. jak wyniki. Nie znam żadnego z tych utworów, wykonawcy gdzieś majaczą. Przesłuchajmy je.

Najprościej będzie dodać je do nowej playlisty i taką playlistę przesłuchać w dowolnym momencie.

I to właściwie koniec naszego procesu. W wyniku całej drogi, czyli:

• zebrania listu utowrów lubianych
• dodania do nich informacji o cechach audio
• zebrania informacji (razem z cechami) o utowrach potencjalnie nielubianych
• wytrenowaniu modelu klasyfikującego nieznane utwory na lubiane lub nie
• dodaniu potencjalnie lubianych do nowej playlisty

możemy przesłuchać zdecydowanie mniejszą liczbę utworów i zweryfikować organoleptycznie czy nasz model się sprawdza.

Do tej pory działaliśmy na utworach z playlist – to je scorowaliśmy w modelu. To samo możemy zrobić dla całego albumu. Weźmy na przykład “The Wall” Pink Floyd, którą uważam za najlepszą płytę jaką słyszałem w życiu. A przynajmniej taką w pierwszej piątce, bo najlepszych płyt na świecie to pewnie mam z 10, może 20. I wszystkie równorzędne.

Na początek musimy znaleźć ID albumu. Wyszukamy wszystkich albumów odpowiadających zapytaniu the wall pink floyd i zobaczymy jaki będzie efekt:

Jak widać jest 10 potencjalnych kandydatów. Oczywiście pierwszy jest najbardziej pasującym, ale wyniki te pokazuję dlatego, że w Spotify mamy bardzo często pełno różnych wersji remastered, deluxe edition, bonus trakcs, tribute to i tym podobnych. To jest problem. Najczęściej pierwszy zwracany wynik pasuje najlepiej, ale mimo wszystko trzeba być ostrożnym (prezydent Kwaśniewski o tym kiedyś mówił, #pdk mordeczki ;-).

Weźmy więc ten pierwszy album i sprawdźmy jakie utwory na nim znajdziemy:

Zgadza się – po tytułach i liczbie utworów to jest ta płyta.

Do dalszej pracy potrzebujemy ramki danych takiej samej jak wcześniej. Bo dalsza praca to sprawdzenie czy ten album mi się spodoba (uwaga – kilka z tych piosenek ma już moje lajki).

Dodajmy info o tym czy dany ID utworu znajduje się na liście ulubionych:

i zobaczmy proste podsumowanie:

idx	track_title	track_popularity	liked
0	In The Flesh? – 2011 Remastered Version	52	False
0	The Thin Ice – 2011 Remastered Version	49	False
0	Another Brick In The Wall, Pt. 1 – 2011 Remastered Version	54	False
0	The Happiest Days Of Our Lives – 2011 Remastered Version	53	False
0	Another Brick In The Wall, Pt. 2 – 2011 Remastered Version	71	False
0	Mother – 2011 Remastered Version	55	True
0	Goodbye Blue Sky – 2011 Remastered Version	53	False
0	Empty Spaces – 2011 Remastered Version	48	False
0	Young Lust – 2011 Remastered Version	52	False
0	One Of My Turns – 2011 Remastered Version	48	False
0	Don’t Leave Me Now – 2011 Remastered Version	47	False
0	Another Brick In The Wall, Pt. 3 – 2011 Remastered Version	49	False
0	Goodbye Cruel World – 2011 Remastered Version	49	False
0	Hey You – 2011 Remastered Version	61	False
0	Is There Anybody Out There? – 2011 Remastered Version	49	False
0	Nobody Home – 2011 Remastered Version	48	True
0	Vera – 2011 Remastered Version	47	True
0	Bring The Boys Back Home – 2011 Remastered Version	46	False
0	Comfortably Numb – 2011 Remastered Version	68	True
0	The Show Must Go On – 2011 Remastered Version	47	False
0	In The Flesh – 2011 Remaster	47	False
0	Run Like Hell – 2011 Remastered Version	51	False
0	Waiting For The Worms – 2011 Remastered Version	46	False
0	Stop – 2011 Remastered Version	43	False
0	The Trial – 2011 Remastered Version	48	False
0	Outside The Wall – 2011 Remastered Version	43	False

Teraz puszczamy wszystkie utwory przez model i sprawdzamy jakie jest prawdopodobieństwo jedynki (że się spodoba):

idx	track_title	liked	like_prob
0	In The Flesh? – 2011 Remastered Version	False	0.99
0	The Thin Ice – 2011 Remastered Version	False	0.93
0	Another Brick In The Wall, Pt. 1 – 2011 Remastered Version	False	0.75
0	The Happiest Days Of Our Lives – 2011 Remastered Version	False	0.95
0	Another Brick In The Wall, Pt. 2 – 2011 Remastered Version	False	0.97
0	Mother – 2011 Remastered Version	True	1
0	Goodbye Blue Sky – 2011 Remastered Version	False	0.88
0	Empty Spaces – 2011 Remastered Version	False	0.89
0	Young Lust – 2011 Remastered Version	False	0.96
0	One Of My Turns – 2011 Remastered Version	False	0.99
0	Don’t Leave Me Now – 2011 Remastered Version	False	0.98
0	Another Brick In The Wall, Pt. 3 – 2011 Remastered Version	False	0.91
0	Goodbye Cruel World – 2011 Remastered Version	False	0.73
0	Hey You – 2011 Remastered Version	False	1
0	Is There Anybody Out There? – 2011 Remastered Version	False	0.85
0	Nobody Home – 2011 Remastered Version	True	0.96
0	Vera – 2011 Remastered Version	True	0.93
0	Bring The Boys Back Home – 2011 Remastered Version	False	0.98
0	Comfortably Numb – 2011 Remastered Version	True	1
0	The Show Must Go On – 2011 Remastered Version	False	0.99
0	In The Flesh – 2011 Remaster	False	0.99
0	Run Like Hell – 2011 Remastered Version	False	0.98
0	Waiting For The Worms – 2011 Remastered Version	False	0.99
0	Stop – 2011 Remastered Version	False	0.86
0	The Trial – 2011 Remastered Version	False	1
0	Outside The Wall – 2011 Remastered Version	False	0.87

Zdecydowanie wszystkie utwory dostałyby jako klasę jedynkę, niektóre mniej inne bardziej. Można powiedzieć, że na (nie tak do końca) losowo wybranym przykładzie model empirycznie się sprawdza. “Goodbye Cruel World” został oceniony najniżej a jest jednym z moich ulubionych tracków na tej płycie. Zwróć uwagę, że nie był oserduszkowany.

Nic dziwnego, że wszystko z “The Wall” według modelu mi się powinno podobać, skoro trenowany jest głównie na tego typu muzyce. Ale zróbmy inny eksperyment. Lubię Bjork, chociaż ostatnio jakoś mniej jej słucham, najbardziej lubię płytę “Post”. Jedziemy zatem z tym samym kodem co wyżej dla ID albumu 3p7WXDBxhC5KS9IFXnwae7 (powyższy kod ubrałem w zgrabną funkcję)

idx	track_title	liked	like_prob
0	Army Of Me	False	0.98
0	Hyper-ballad	False	1
0	The Modern Things	False	0.93
0	It’s Oh So Quiet	False	0.94
0	Enjoy	False	0.99
0	You’ve Been Flirting Again	False	0.83
0	Isobel	False	1
0	Possibly Maybe	False	1
0	I Miss You	False	0.93
0	Cover Me	False	0.98
0	Headphones	False	0.84

Tutaj też wszystkie utwory dostałyby lajka! Ciekawe jest to, że “Isobel” większego niż “It’s oh so quiet”, a lubię odwrotnie.

To są przykłady pozytywne – wiem, że mi się podoba i model mówi to samo. A jak wiem, że mi się nie podoba to co powie model? O, na przykład o płycie 5C0YLr4OoRGFDaqdMQmkeH?

idx	track_title	liked	like_prob
0	Sola	False	0.03
0	Apaga La Luz	False	0.02
0	Le Pido Al Cielo	False	0.17
0	Imposible	False	0.13
0	Poco A Poco	False	0
0	Dime Que No Te Iras	False	0.23
0	Échame La Culpa	False	0.06
0	Tanto Para Nada	False	0.13
0	Despacito	False	0.03
0	Más Fuerte Que Yo	False	0.06
0	Calypso	False	0.2
0	Ahí Estas Tú	False	0.02
0	Despacito – Remix	False	0.03
0	Calypso – Remix	False	0.05
0	Sola – English Version	False	0.02

Sprawdza się.

Ale są też błędy. Na przykład model mówi, że nie, a ja po przesłuchaniu mówię że całkiem ok. Płyta 6R8ir7mqaqV3vrtv5pmvID wypada wg modelu bardzo słabo (Fonsi wygląda na lepszy, ale jak?):

idx	track_title	liked	like_prob
0	Koło fortuny	False	0.06
0	W domach z betonu	False	0.01
0	Matchboxy	False	0.01
0	Na rympał	False	0.02
0	Piekło jest w nas	False	0
0	Przebój nocy	False	0
0	Noc	False	0.03
0	Street Fighter	False	0.01
0	Zadzwoń do mnie	False	0.01
0	BMK	False	0.02
0	Mistrz ping-ponga	False	0.01
0	Szansa na sukces	False	0
0	Dym	False	0.01
0	Bagaże	False	0.03
0	Skrable	False	0.01
0	Outro	False	0.05

Płyta ta jest całkiem zgrabnym kawałkiem polskiego HH, którego nie lubię (z 20 lat temu napisałem o tym tekst do jakiegoś fun zina, ależ mnie zjechali! Nie umiem znaleźć tekstu niestety) i się na nim nie znam. Kudosy dla Pana Huberta z Warszawy za przedstawienie tej płyty.

Zauważyliście, że specjalnie nie podaję nazw tych płyt i liczę na to, że klikniecie albo rozpoznacie po tytułach utworów? Post edukacyjny zarówno z Pythona, prostego machine learning jak i muzyki. W czasach kwarantanny za darmo takie rzeczy… No chyba że kawkę postawisz.

Panu Maciejowi (również z Warszawy) obiecałem jeszcze płytę 7xV2TzoaVc0ycW7fwBwAml:

idx	track_title	liked	like_prob
0	Golden	False	0.08
0	Watermelon Sugar	False	0.03
0	Adore You	False	0
0	Lights Up	False	0.04
0	Cherry	False	0.2
0	Falling	False	0.05
0	To Be So Lonely	False	0.07
0	She	False	0.4
0	Sunflower, Vol. 6	False	0.2
0	Canyon Moon	False	0.15
0	Treat People With Kindness	False	0.11
0	Fine Line	False	0.3

Normalnie bym palcem nie kiwnął i nie zapuścił się w te rejony patrząc na cyferki. Ale włączyłem (pan Maciej z Warszawy podrzucał i podrzucał kolejnych wykonawców) i ta muzyka przypadła mi do gustu (ale nie mogłem zaserduszkować jeszcze, żeby test był fair).

Dlaczego więc model się myli?

Wytłumaczenie jest stosunkowo proste:

• jedynki są pewne. Sam musiałem wykonać akcję polegającą na kliknięciu w serduszko.
• ale z zerami poszliśmy na łatwiznę (oceniając trochę po okładce)
• dodatkowo nie było zer dla wykonawców, którzy mieli chociaż jedną jedynkę, a to duże uproszczenie

Przy poprawnym labelkowaniu trzeba pracę wykonać samodzielnie, niestety. Bo inaczej shit in, shit out.

Druga sprawa – sam model jest dość prosty, bez dobierania żadnych hiperparametrów, bez szukania cech dodatkowych (np. totalnie oderwanych od muzyki – średnia liczba znaków w tytule utworu na płycie z której utwór pochodzi ;) Może więc sieć nieuronowa? Może. Ale przede wszystkim uczciwy sposób oznaczania nielubianych.

Ciekawy tekst na ten sam temat na pisał też Grzesiek Zembrowski – polecam uwadze, bo Grzegorz skupił się na większej liczbie cech i poszedł nieco dalej z modelem (jakieś PCA po drodze).
Ja pisałem kiedyś o tym samym z poziomu R.