Späť

MusicPagesScraper

MusicPagesScraper detail zdrojového kódu
Popis
Web scraper na webstránky s hudbou
Typ projektu
Osobný — open source / freeware
Začiatok
november 2020
Koniec
december 2020
Adresa projektu
Zručnosti

O projekte

Pôvodne predpoklad ku https://kovo.space/projekty/bandzone-player-unofficial - SpringBoot backend na scrapovanie dát z webstránok s hudbou a cache užitočných dát do SQL databázy.

Motivácia pre tento backend:

  • Zníženie komplexnosti a náročnosti Android aplikácie - Android aplikácia pošle, čo chce nájsť - dostane len relevantné dáta, scraping neprebieha na mobilnom zariadení s obmedzeným výkonom.
  • Zrýchlenie hľadaní - výsledky hľadania a profily kapiel sa postupne cachujú do sql databáze - ďalšie otváranie profilu niektorej kapely alebo rovnaké vyhľadávanie je už podstatne rýchlejšie aj z pohľadu užívateľa - scraping zakaždým je pomerne drahá operácia
  • Rozšíriteľnosť / univerzálnosť - do budúcna bol pánovaný prehrávač, ktorý bude prehliadať viacero stránok, okrem Bandzone.cz bola napríklad pridaná ešte podpora na Freeteknomusic.org