Studi Korelasi Sinyal Motorik Otot Wajah dan Sinyal Suara Ucap pada Artikulasi Fonem Vokal

1 Pendahuluan

Informasi aktivitas motorik otot serta suara ucap saat ini telah dimanfaatkan pada berbagai bidang. Terdapat beberapa penelitian yang memanfaatkan sinyal motorik otot pada proses pengenalan suara ucap (speech recognition) [1]-[4]. Penggunaan sinyal otot dan suara ucap pada penelitian tersebut dapat digunakan juga pada bidang rehabilitasi bicara, namun penelitian terkait pemanfaatan kedua sinyal pada bidang rehabilitasi bicara masih sangat terbatas dan dilakukan di luar negeri [1].

Sistem gerak pada setiap bagian tubuh manusia sangat erat kaitannya dengan aktivitas syaraf motorik otot. Sistem saraf motorik berkomunikasi dengan menggunakan perubahan ion pada neurotransmitter. Perubahan ion tersebut mengakibatkan terjadinya perbedaan tegangan yang dapat dideteksi oleh elektroda, sehingga aktivitas saraf motorik dapat terukur dengan jelas [5]. Teknik perekaman aktivitas sinyal listrik dari otot menggunakan elektroda dinamakan electromyography (EMG). Sementara itu, suara ucap manusia dihasilkan dari kontraksi otot-otot pembentuk artikulator serta kontraksi pada bentuk pita suara [3]. Proses ini melibatkan berbagai organ artikulator, salah satunya adalah organ artikulator di sekitar rongga mulut. Perubahan bentuk artikulator ini berpengaruh pada suara ucap yang dihasilkan, sehingga setiap fonem memiliki karakteristik pola artikulasi yang berbeda-beda. Karakteristik pola artikulasi otot rongga mulut terhadap pembentukan suara setiap fonem dapat dilihat dengan menggunakan informasi sinyal suara ucap dan sinyal motorik otot artikulator wajah yang diukur menggunakan EMG. Namun pengukuran sinyal EMG pada wajah juga memiliki tantangan dalam menentukan titik ukur yang tepat serta menghindari artefak akibat pergerakan tubuh responden.

Penelitian terkini [1] membuktikan bahwa terdapat peningkatan akurasi sistem pengenal suara saat menggunakan informasi multimodal (sinyal otot dan sinyal suara ucap), namun penelitian ini dilakukan dengan menggunakan suku kata pada bahasa Thailand. Organ artikulator setiap suku bangsa tentu memiliki bentuk fisiologis yang berbeda menyesuaikan dengan kondisi geografis dan bahasa yang digunakan, sehingga penggunaan referensi dari penelitian ini perlu disesuaikan dengan kondisi di Indonesia. Oleh karena itu, penelitian ini berfokus pada konfigurasi sistem pengambilan data multifisis serta studi awal terkait pola kontraksi otot artikulator wajah terhadap suara ucap yang dihasilkan pada proses pengucapan fonem vokal di Indonesia. Temuan dari penelitian ini diharapkan dapat menjadi referensi awal dalam membangun sistem kuantifikasi terapi bicara di Indonesia.

2 Metode

Penelitian diawali oleh perancangan konfigurasi bioamplifier untuk menghindari artefak yang disebabkan oleh gerakan tubuh responden. Dilakukan pula penentuan titik peletakan elektroda pada wajah. Selanjutnya dilakukan perekaman data suara ucap dan sinyal EMG yang kemudian diolah dan dianalisis untuk mendapatkan kesimpulan.

2.1 Penentuan Peletakan Elektroda

Konfigurasi elektroda pada EMG bergantung pada tujuan penggunaannya. Pada penelitian ini sinyal EMG diukur pada otot-otot artikulator wajah yang berperan pada artikulasi fonem vokal. Untuk mendapatkan titik ukur yang optimal dilakukan pencarian titik kontraksi maksimum dengan pengolahan optical flow pada frame dengan perubahan posisi artikulator. Optical flow merupakan pola gerakan dari benda, bidang dan tepi dari adegan visual yang diakibatkan oleh gerakan relatif antara pemantau dan sebuah objek pandang. Optical flow dalam suatu gambar adalah suatu distribusi kecepatan dari perubahan kecerahan pada suatu piksel gambar [6, 7].

Pada tahap ini, diambil citra wajah responden saat mengucapkan fonem vokal pada kondisi awal dan saat terjadi kontraksi maksimum. Kemudian masing-masing pasangan frame ini diolah menggunakan optical flow sehingga diperoleh grafik vektor untuk setiap fonem vokal. Masing-masing grafik vektor kemudian digabungkan ke dalam satu grafik. Daerah dengan jumlah vektor yang paling dominan menandakan adanya pergeseran yang paling banyak pada proses berbicara yang berarti terdapat kontraksi maksimum pada otot, sehingga daerah-daerah tersebut digunakan sebagai titik peletakan elektroda. Proses pengolahan dengan metode optical flow dapat dilihat pada Gambar 1.

Gambar 1. Proses pengolahan optical flow

2.2 Metode Pengambilan Data

Responden penelitian ini adalah seorang laki-laki dan seorang perempuan sehat berusia muda dalam rentang 19-25 tahun dan menggunakan bahasa Indonesia sehari-hari. Sinyal EMG serta sinyal suara ucap diambil pada saat responden mengucapkan fonem vokal /a/, /i/, /u/, /e/, /o/. Pengambilan data dilakukan sebanyak 5 kali dengan setiap set data berisi 5 kali pengucapan untuk setiap fonem uji.

Pada penelitian ini digunakan 1 kamera Canon EOS 650D dengan setting 1280x720 pixel, 60 FPS untuk perekaman video yang diletakkan 1 meter di depan responden, OpenBCI cyton board dengan frekuensi sampling 250 Hz, 4 kanal elektroda gold plated bipolar yang dipasang pada otot artikulator wajah dan terkoneksi dengan 1 laptop untuk akuisisi data sinyal EMG, serta 1 laptop lain yang digunakan sebagai layar pemandu. Ilustrasi konfigurasi instrumen pengambilan data yang digunakan pada penelitian ini dapat dilihat pada Gambar 2.

Gambar 2. Konfigurasi instrumen pengambilan data

Perangkat bioamplifier dipasang pada kepala agar mengurangi artefak akibat gerakan yang tidak diinginkan. Elektroda berlapis emas digunakan karena emas memiliki konduktivitas listrik yang tinggi, serta stabilitas kimia dan biokompatibilitas yang baik sehingga dapat menangkap sinyal bioelektrik dengan baik dan tidak mudah rusak. Konfigurasi bioamplifier serta posisi penempatan elektroda pada responden dapat dilihat pada Gambar 3.

Gambar 3. Konfigurasi bioamplifier (a) sisi belakang, (b) sisi atas, dan (c) posisi pemasangan pada responden

2.3 Metode Ekstraksi Fitur untuk Evaluasi Sinyal Otot Artikulator

Pengondisian dilakukan sebelum proses ekstraksi fitur-fitur sinyal otot artikulator. Untuk menghilangkan background noise dan informasi yang tidak diinginkan, dilakukan filtering menggunakkan discrete wavelet transform (DWT) dan wavelet denoising.

Wavelet adalah fungsi yang menunjukan kondisi osilasi pada periode waktu yang singkat. Transformasi wavelet dapat digunakan untuk mencari informasi domain frekuensi dan waktu dari suatu sinyal [8]. Secara matematis transformasi wavelet dituliskan sebagai :

\[W_{a,b}(t) = \int y(t) \frac{1}{\sqrt{|a|}} \phi\left(\frac{t-b}{a}\right) dt \tag{1}\]

Dengan y(t) merupakan fungsi EMG domain waktu, Wa,b(t) merupakan fungsi domain fungsi basis (t). Sementara (t) adalah fungsi basis "mother wavelet", b merupakan translasi, dan a adalah konstanta scaling.

DWT adalah transformasi wavelet yang dilakukan pada sinyal diskrit. Pada DWT, proses translasi dan scaling dibentuk menjadi a=2-j dan b=k2-j dengan j dan k adalah integer yang merepresentasikan translasi dan scaling. Sehingga persamaan DWT menjadi :

\[W_{j}(k) = \int y(n)2^{\frac{j}{2}}\phi(2^{j}n - k)\] (2)

Wavelet denoising digunakan untuk mengurangi noise pada sinyal. Metode ini terdiri dari transformasi serta rekonstruksi-dekomposisi wavelet. Dekomposisi wavelet dilakukan dengan cara meneruskan sinyal ke HPF dan LPF yang kemudian didapat koefisien aproksimasi (An) dan koefisien detail (Dn). Hasil dekomposisi wavelet direkonstruksi kembali dengan aturan fungsi batas untuk memilah bagian wavelet yang mengandung sinyal dan noise. Penelitian ini menggunakan teknik wavelet denoising 6 tingkat.

Setelah sinyal terkondisikan selanjutnya dilakukan enveloping dengan root mean square (RMS) envelope untuk mendapatkan karakter sinyal secara keseluruhan. Fungsi RMS envelope (ye) didapatkan dengan merataratakan RMS dari sinyal dalam suatu window kemudian menggeser window tersebut hingga keseluruhan sinyal, dapat ditulis [9]:

\[y_E(n) = \frac{1}{N} \sum_{i=n-\frac{window}{2}}^{n+\frac{window}{2}} y_{RMS}(i). h(n-i)\] (3)

Dengan h adalah rectangular window dan N adalah jumlah data dalam window.

Setelah dilakukan pengondisian menggunakan wavelet denoising, dihitung pula nilai energi dari sinyal EMG. Dalam pemrosesan sinyal, Energi dari sinyal didefinisikan sebagai jumlah total dari kuadrat magnitude sinyal atau dalam persamaan matematis ditulis [10]:

Dengan h adalah rectangular window dan N adalah jumlah data dalam window.

Sementara itu, untuk melihat koordinasi antar otot artikulator, dilakukan korelasi silang pada 4 pasang elektroda tersebut. Korelasi silang secara matematis didefinisikan sebagai [10]:

\[r(l) = \sum_{n = -\infty}^{\infty} y_1(n) y_2(n - l)\] (5)

Dengan l adalah indeks lag atau delay, serta y1(n) dan y2(n) merupakan sinyal EMG yang berasal dari elektroda ke 1 dan 2.

Dari hasil korelasi ini, ditinjau pula nilai time delay kedua sinyal. Puncak terbesar dari hasil korelasi terjadi ketika kedua sinyal memiliki banyak kesamaan, peak delay tersebut dapat diestimasi secara matematis dapat dituliskan sebagai [11]:

\[l_{estimasi} = argmax(Corr(l))\] (6)

Dalam domain waktu maka waktu dari peak delay atau disebut time delay (tdelay) dapat dicari dengan membagi peak delay dengan frekuensi sampling atau dapat ditulis :

\[t_{delay} = \frac{l_{estimasi}}{Fs} \tag{7}\]

2.4 Metode Ekstraksi Fitur untuk Sinyal Suara Ucap

Suara ucap memiliki karakteristik stasioner pada rentang 10-20 ms [12] sehingga suara ucap dapat dicacah dalam segmen tersebut. Short Time Energy (STE) merupakan total energi dari energi yang diambil dalam setiap segmentasi tertentu [13], atau dapat ditulis :

\[E_n = \sum_{n = -\infty}^{\infty} [x(n)h(i-n)]^2\] (8)

Dengan x(n) adalah sinyal suara ucap dan h(i-n) adalah fungsi window.

3 Hasil & Diskusi

3.1 Peletakan Posisi Elektroda

Daerah dengan vektor terbanyak berdasarkan pengolahan optical flow dapat dilihat pada Gambar 4. Dari gambar tersebut terlihat bahwa terdapat 4 area dengan kontraksi otot yang dominan pada pengucapan fonem vokal, sehingga dapat disimpulkan bahwa bagian otot wajah yang berperan dalam pengucapan fonem vokal adalah otot zygomaticus major yang berfungsi untuk menarik bagian mulut superior (titik 2 dan 3) serta otot depressor anguli oris yang berperan untuk mendorong bagian bawah mulut (titik 1 dan 4). 4 titik tersebut selanjutnya digunakan sebagai titik pengukuran sinyal kontraksi otot wajah.

Gambar 4. Posisi peletakan elektroda

3.2 Analisis Koordinasi Antar Elektroda Sinyal EMG

Dilakukan 4 variasi korelasi, yaitu korelasi untuk elektroda bagian atas (elektroda 2&3), bawah (1&4), kanan (3&4) serta kiri wajah (1&2). Dari korelasi tersebut didapatkan nilai nilai peak delay yang ditabulasikan pada

Tabel 1. Data ini kemudian diurutkan dengan nilai delay mendekati nol merupakan nilai terkecil. Selanjutnya keempat data dibandingkan satu sama lain dan dilakukan pengurutan berdasarkan elektroda mana yang lebih dulu berkontraksi.

Tabel 1. Ringkasan parameter fisik

Nilai delay yang rendah untuk seluruh pasangan elektroda pada setiap pengucapan untuk kedua responden menandakan sinkronisasi untuk keempat pasang elektroda tersebut. Dari pengolahan ini juga didapatkan informasi bahwa pengucapan responden 1 dominan pada kiri bawah atau elektroda 1 kemudian pengucapan berputar dari elektroda 1 menuju elektroda 4 searah jarum jam kecuali pada pengucapan /u/ dan /e/. Sementara itu, nilai delay antar elektroda pada responden 2 memiliki kecenderungan membentuk artikulator yang menyerong ke kanan bawah dan kiri atas lebih dulu saat mengucapkan hampir seluruh fonem vokal (selain fonem /u/). Untuk pengucapan fonem /u/, responden 2 memiliki kecenderungan membentuk artikulator memutar searah jarum jam dari area kiri atas ke kanan lalu ke kiri bagian bawah otot artikulator.

3.3 Perbandingan Energi EMG dan Suara Ucap

Dilakukan perhitungan rasio total energi kontraksi otot yang diperlukan pada proses artikulasi terhadap energi suara ucap yang dihasilkan. Rasio energi kontraksi terhadap suara ucap yang telah dinormalisasi terdapat pada Gambar 5.

Gambar 5. Rasio energi EMG dan suara ucap pada responden 1 (kiri) dan 2 (kanan)

Secara umum, energi kontraksi otot artikulator bagian bawah (depressor anguli oris) bernilai lebih tinggi jika dibandingkan dengan otot artikulator bagian atas (zygomaticus major). Hal ini menandakan otot artikulator bagian bawah berperan lebih banyak dalam proses pengucapan fonem vokal. Pada responden 1, rasio total energi kontraksi terhadap energi suara pada pengucapan fonem /o/ dan /i/ memiliki nilai yang paling besar, sedangkan fonem /a/ memiliki nilai yang relatif paling kecil. Sementara itu, pada responden 2, nilai rasio total energi pada fonem /a/ memiliki nilai yang paling besar, sementara fonem /u/ bernilai relatif paling kecil selama proses artikulasinya.

Selanjutnya, untuk meninjau energi kontraksi yang dibutuhkan setiap kondisi pada proses artikulasi, data pengucapan dibagi ke dalam 3 segmen, yaitu segmen persiapan posisi artikulator (selama 700 ms sebelum suara terdengar), segmen pengucapan, dan segmen pengembalian posisi artikulator (selama 700 ms setelah suara hilang). Semua nilai yang diperoleh kemudian dinormalisasi terhadap nilai energi terbesar. Hasil normalisasi energi EMG pada masing-masing segmen dapat dilihat pada Gambar 6-8.

Gambar 6. Total energi EMG pada segmen persiapan responden 1 (kiri) dan 2 (kanan)

Dari Gambar 6 dapat dilihat bahwa pada segmen persiapan posisi artikulator pada responden 1, dibutuhkan kontraksi yang paling tinggi pada persiapan artikulator membentuk fonem /o/, sedangkan energi kontraksi untuk mempersiapkan artikulator dalam membentuk fonem /i/ relatif lebih rendah. Sementara itu, pada responden 2, fonem yang membutuhkan energi paling tinggi dalam persiapan posisi artikulatornya adalah fonem /a/, sedangkan yang paling rendah adalah fonem /o/.

Gambar 7. Total energi EMG pada segmen pengucapan responden 1 (kiri) dan 2 (kanan)

Dari Gambar 7, terlihat bahwa pada segmen pengucapan, responden 1 membutuhkan energi kontraksi otot yang paling tinggi untuk menahan posisi artikulator pada saat pengucapan fonem /i/. Sedangkan pada saat pengucapan fonem /a/ dan /o/, dibutuhkan energi kontraksi otot yang paling rendah untuk menahan posisi artikulator. Sementara itu, untuk responden 2 dibutuhkan energi kontraksi yang lebih tinggi pada saat pengucapan fonem /e/. Sedangkan pada saat pengucapan fonem /u/, energi kontraksi yang diperlukan lebih rendah.

Gambar 8. Total energi EMG pada segmen pengucapan responden 1 (kiri) dan 2 (kanan)

Sementara itu, pada Gambar 8, untuk responden 1, kontraksi otot terbesar untuk mengembalikan artikulator ke posisi semula dibutuhkan pada pengucapan fonem /o/ dan /i/, serta kontraksi otot paling rendah terjadi pada pengucapan fonem /u/. Pada responden 2, energi kontraksi terbesar dibutuhkan pada saat pengembalian posisi artikulator pada proses pengucapan fonem /a/ jika dibandingkan dengan fonem lainnya.

4 Kesimpulan

Konfigurasi instrumen pengambilan data yang dirancang berhasil digunakan untuk mendapatkan informasi multifisis (sinyal kontraksi otot artikulator, suara ucap dan video) untuk keperluan analisis sederhana. Selain itu, titik kontraksi maksimum otot artikulator wajah untuk pengucapan fonem vokal dan diftong berdasarkan analisis optical flow terdapat pada otot zygomaticus major (elektroda 2 dan 3) serta otot depressor anguli oris (elektroda 1 dan 4). Metode enveloping, perhitungan energi kontraksi otot artikulator serta short-time energy suara ucap untuk tiga segmen pengucapan dapat digunakan untuk mengidentifikasi korelasi sinyal motorik otot artikulator dan sinyal suara ucap pada proses artikulasi fonem vokal.

Sementara itu, penemuan terkait sinyal gerak otot artikulator dan sinyal suara ucap serta korelasinya pada proses artikulasi fonem vokal adalah sebagai berikut: terdapat kemiripan kontraksi pada pasangan otot artikulator bagian atas (zygomaticus major) dan pasangan otot artikulator bagian bawah (depressor anguli oris) maupun antar otot artikulator bagian atas dan bawah yang ditandai dengan tingginya koefisien korelasi dan rendahnya nilai delay. Nilai delay menandakan kecenderungan bentuk artikulator seseorang pada proses berbicara. Nilai delay ini dipengaruhi oleh berbagai aspek dan dapat berbeda-beda untuk setiap fonem pengucapan dan untuk setiap responden. Secara keseluruhan, otot artikulator bagian bawah (depressor anguli oris) berperan lebih banyak dibanding otot artikulator bagian atas (zygomaticus major) dalam proses pengucapan fonem vokal. Hal ini ditandai dengan lebih tingginya total energi kontraksi otot artikulator bawah dibanding otot artikulator atas. Selain itu, energi kontraksi otot yang diperlukan untuk mempersiapkan, menahan serta mengembalikan posisi artikulator memiliki pola yang berbeda untuk setiap fonem. Ditemukan adanya indikasi bahwa besarnya energi kontraksi otot artikulator wajah pada proses artikulasi suara ucap juga dipengaruhi oleh jenis kelamin seseorang. Untuk memastikan temuan ini, dibutuhkan penambahan jumlah responden dari kedua kelompok. Penelitian ini merupakan tahap awal. Meskipun begitu, hasil dari penelitian ini diharapkan dapat dijadikan referensi untuk pengembangan karakterisasi artikulasi fonem berdasarkan perilaku kontraksi otot artikulator pada penelitian berikutnya.

5 Referensi

• [1] N. S. Jong, A. G. S. de Herrera and P. Phukpattaranont, "Multimodal Data Fusion of Electromyography and Acoustic Signals for Thai Syllable Recognition", IEEE Journal of Biomedical and Health Informatics, vol. 25, no. 6, pp. 1997-2006, 2021.
• [2] N. Srisuwan, P. Phukpattaranont, , & C. Limsakul, "Comparison of feature evaluation criteria for speech recognition based on electromyography". Medical & Biological Engineering & Computing, 56(6), pp. 1041– 1051, 2017.
• [3] M. Janke, , & L. Diener, "Emg-to-speech: Direct generation of speech from facial electromyographic signals". IEEE Transactions TASLP, 25(12), pp. 2375-2385, 2017.
• [4] M. Zhu et al., "Automatic Speech Recognition in Different Languages Using High-Density Surface Electromyography Sensors," in IEEE Sensors Journal, vol. 21, no. 13, pp. 14155-14167, 2021.
• [5] M. B. I. Reaz, M. S. Hussain, and F. Mohd-Yasin, "Techniques of EMG Signal Analysis: Detection, Processing, Classification and Applications", Biol Proced Online, vol. 8, pp. 11–35, 2006.
• [6] Y. Lyu, Y. Yang and J. Ru, "Gesture Motion Detection Algorithm Based on Optical Flow Method", in IEEE International Conference on Computer and Communications (ICCC), pp. 128-132, 2015.
• [7] Suprijanto et al., "Development System for Emotion Detection Based on Brain Signals and Facial Images." World Academy of Science, Engineering and Technology, International Journal of Medical, Health, Biomedical, Bioengineering and Pharmaceutical Engineering, vol. 3, pp. 13-20, 2009.
• [8] S Strang, G., Nguyen. T, Wavelet and Filter Banks, Wellesey: Wellesey-Cambridge Press, 1996.
• [9] L, Brian. "Amplitude Analysis Root Mean Square EMG Envelope", 4 November 2014. [Online]. Available: https://delsys.com/amplitude-analysis-root-mean-square-emg-envelope/. [Accessed 3 October 2020].
• [10]John G. Proakis and Dimitris G. Manolakis. Digital Signal Processing (3rd ed.): Principles, Algorithms, and Applications, USA: Prentice-Hall, Inc., 1996.
• [11]S. Scholl, "Correlation for Time Delay Analysis with Application to RTL-SDR based TDOA", April 2019. [Online]. Available: http://www.panoradio-sdr.de/correlation-for-time-delay-analysis/. [Accessed 6 September 2020].
• [12]Oday Kamil. "Frame Blocking and Windowing Speech Signal", Journal of Information, Communication, and Intelligence System, JICIS, vol. 4, pp. 87-94, 2018.
• [13]X. Yang, et al., "Comparative Study on Voice Activity Detection Algorithm", in International Conference on Electrical and Control Engineering, ICECE, 2010.