Zabawy śniegochłopcem - wykrywanie słów kluczowych w trybie offline

Hej,

ostatnio znajomi postanowili dodać do swojego bota na discordzie funkcje wykonywania komend głosowych.

Ponieważ wysyłanie ciągłego strumienia danych do analizy przez google voice API jest kosztowo zabójcze (darmowa jest tylko 1sza godzina analizy głosu), stosuje się zazwyczaj słowo wyzwalające, które wykrywane jest lokalnie działajacym algorytmem. I tu wchodzi, cały na biało snowboy. Zainteresowanym polecam poczytać: https://github.com/seasalt-ai/snowboy

TL;DR snowboy wykorzystuje 3 nagrania interesującej nas komendy do wygenerowania modelu, na którym potem sobie operuje.

Funkcjonalnością, którą chcemy osiągnąć, jest możliwość dodania za pomocą webappki własnych komend głosowych. Aby to osiągnąć, aplikacja powinna nagrać na frontendzie 3 pliki audio, a następnie przesłać je do backendu, który zajmie się wygenerowaniem modelu dla snowboya.

Udało mi się znaleźć projekt, który robi prawie to wszystko. Backend w asyncio pythonie, frontend w gołym JSie bez node.js, mjodzio :flushed: :flushed: :flushed: https://github.com/rhasspy/snowboy-seasalt

Może chcemy się też w spejsie w coś takiego pobawić?