Raspberry Pi prevodi govor u znakovni jezik pomoću robotske ruke

Raspberry Pi se koristi za spajanje različitih veza, ali danas delimo projekat sa Raspberry Pi-jem koji prevazilazi jaz u ljudskoj komunikaciji.

Kreator i programer Prabhjot Singh stvorio je ono što naziva Deaf Link. Koristi Raspberry Pi kao središnji uređaj za prevod koji vam omogućava da pretvorite znakovni jezik u audio govor i govor u znakovni jezik koristeći robotsku ruku.

Prvi režim se naziva znak u govor. Da bi zabeležio znakovni jezik, Raspberry Pi koristi kameru. Ulazni podaci se obrađuju koristeći OpenCV i MediaPipe sa Google TensorFlow-om i stotinama slika znakovnog jezika. Kada se znak identifikuje, prevodi se u zvuk koji se reprodukuje na zvučniku.

Drugi režim je govor u znak, gde stvari postaju pomalo neverovatne. Audio se detektuje pomoću mikrofona, koji se zatim analizira putem Google-ove API platforme za prevođenje govora u tekst. Tekst se obrađuje putem MQTT posrednika koji ga šalje Arduino uređaju. Ovaj Arduino pokreće servomotore u robotskoj ruci kako bi rekreirao tekst u znakovni jezik.

Glavna ploča koja pokreće ovaj projekat je Raspberry Pi 4 B zajedno sa Arduino Nano 33 IoT. Raspberry Pi je povezan sa Raspberry Pi Camera Module 3 i Razer Seiren Mini mikrofonom. Arduino je povezan sa šest servomotora koji se koriste unutar proteze za ruku. Sve je smešteno unutar prilagođenog kućišta.

Izvor: www.pcpress.rs