SPEECH SYNTHESIZER baru saja diperkenalkan dan bisa disebut cukup berhasil menangkap ritme otak berpikir seperti apa dan menerjemahkan menjadi kalimat yang bisa didengar.
Bisa dibayangkan bahwa pikiran setiap orang sebetulnya adalah hal yang unik, respon pikiran tertentu sebetulnya adalah respon terkait kata atau kalimat tertentu.
Para ilmuwan mencoba menangkap kalimat atau kata dalam pikiran dan dipindahkan ke alat yang bisa menerjemahkannya menjadi kalimat yang diucapkan oleh alat dan terdengar oleh manusia.
Alat ini kedepannya sudah tentu akan berguna banyak, para penderita penyakit khusus terkait pengucapan akan banyak ditolong. Dengan kemajuan teknologi saat ini bahkan banyak perangkat sudah bisa diminta memberikan respon melalui suara. Digabung dengan AI atau Artifial Intelligent maka perangkat ini akan memenuhi banyak keperluan.
Konsep dan penjelasan dari alat ini baru saja diterbitkan dalam paper di Nature dengan judul Speech synthesis from neural decoding of spoken sentences.
Technology that translates neural activity into speech would be transformative for people who are unable to communicate as a result of neurological impairments. Decoding speech from neural activity is challenging because speaking requires very precise and rapid multi-dimensional control of vocal tract articulators. Here we designed a neural decoder that explicitly leverages kinematic and sound representations encoded in human cortical activity to synthesize audible speech. Recurrent neural networks first decoded directly recorded cortical activity into representations of articulatory movement, and then transformed these representations into speech acoustics. In closed vocabulary tests, listeners could readily identify and transcribe speech synthesized from cortical activity. Intermediate articulatory dynamics enhanced performance even with limited data. Decoded articulatory representations were highly conserved across speakers, enabling a component of the decoder to be transferrable across participants. Furthermore, the decoder could synthesize speech when a participant silently mimed sentences. These findings advance the clinical viability of using speech neuroprosthetic technology to restore spoken communication.
Kemampuan alat ini sudah luar biasa karena dapat menerjemahkan pola bunyi yang mirip dengan kalimat yang dimaksud.
Alat ini sendiri sebetulnya dapat disebut merupakan pencapaian yang hebat karena tidak hanya mencoba melakukan pemecahan kode pikiran menjadi maksud kata tetapi juga memecahkan bunyi dari pikiran tersebut.
Untuk menangkap pikiran, para ilmuwan menanamkan semacam sensor seperti lapisan plastik tipis pada kepala. Lapisan ini disebut dengan the electrode array. Alat ini yang akan memecahkan pola respon di otak menjadi suatu kode mengenai bunyi. Bunyi ini diterjemahkan menjadi kalimat yang mendekati suara manusia.
Bagaimana electrode array ini persisnya bekerja?
Alat array tersebut sebetulnya bukan alat mind reading (membaca pikiran) tetapi lebih tepatnya adalah brain reading (membaca respon otak).
Alat membaca otak sepertinya memberi perintah terhadap otot (area muka) sebelah mana dan kemudian jika otot itu diberi reaksi maka suara akan seperti apa.
Suara yang keluar kemudian dicoba dicari pendekatannya akan memberi suara dengan pendekatan kata seperti apa.
Alat ini terlebih dahulu perlu database mengenai bunyi atau kata seperti apa yang akan keluar jika memberi respon otak khusus. Suatu program dengan pengumpulan database dan artificial intelligent sudah dipakai agar alat ini berjalan dengan hebat.
Para ilmuwan tentu saja masih akan memperbaiki perangkat ini menjadi jauh lebih hebat lagi karena mimik dan intonasi tertentu masih merupakan level yang belum bisa dicapai perangkat ini sekarang. Pencapaian alat ini saja sebetulnya sudah sangat hebat.
Untuk melihat lebih lanjut sebaiknya berkunjung ke paper Speech synthesis from neural decoding of spoken sentences dalam link disini.