1 Pendahuluan
Deteksi perubahan dan tingkat akurasi menjadi informasi penting untuk mengontrol suatu objek. Pergerakan jari memiliki sudut dan derajat kebebasan yang banyak, sehingga memiliki informasi yang luas dan dapat diaplikasikan pada berbagai bidang. Apabila didapatkan informasi yang tidak sesuai dengan pergerakan jari, maka akan menimbulkan permasalahan pada sistem yang akan dikontrol.
Berbagai sistem metode dan yang dapat digunakan untuk mendeteksi suatu perubahan pergerakan pada jari dapat menggunakan sensor citra seperti kamera (RGB) [1], Sensor Kinect (RGB-D) [2], Leap Motion [3], dan sensor fisik seperti sensor flex [4-6], sensor EMG [7]. Pengembangan pendeteksian jari menggunakan kamera dapat menggunakan perbedaan warna objek. Dengan adanya sensor infra merah tambahan, maka akan didapatkan informasi kedalaman objek(Depth) seperti pada sensor kinect dan leap motion.
Akan tetapi penggunaan sensor citra untuk mendeteksi gerakan jari memiliki kekurangan pada tingkat kepresisian sudut pergerakan jari. Selain itu, objek yang akan dijadikan informasi memiliki keterbatasan gerak pada pengguna. Pada leap motion memiliki sudut baca tangkap kamera sebesar 140o dan daerah interaksi pembacaan sensor sebesar 147mm x 235 mm. Perubahan gerakan jari di luar daerah interaksi itu tidak akan terbaca oleh leap motion [3].
Penggunaan sensor fisik memberikan kebebasan pada pengguna untuk melakukan aktivitas tanpa harus memindahkan sensor, karena pada umumnya sensor akan terpasang pada bagian luar dari jari atau tangan. Sensor yang sering digunakan untuk mendeteksi perubahan jari menggunakan sensor flex. Sensor flex menghasilkan perubahan nilai hambatan listrik (resistansi) yang sebanding dengan perubahan kelengkungan yang dialaminya [4]. Dari hal ini dapat dimanfaatkan untuk mendeteksi besar perubahan pergerakan jari. Namun perubahan sudut tekukan dari setiap jari yang dihasilkan belum tentu berbanding lurus dengan perubahan resistansi dari sensor flex. Dan hasil pembacaan sensor flex akan berbeda pada setiap orang bergantung dari panjang dan lebar dari setiap jari serta kondisi tekuk yang dihasilkan [5].
Dalam paper ini digunakan sensor flex dan sensor IMU (Inertial Measurement Unit) untuk mendeteksi perubahan pergerakan jari. Sensor IMU digunakan untuk mengetahui respon gerak jari secara alami sekaligus mengamati hasil resistansi dari sensor flex. Hasil tersebut nantinya akan digunakan sebagai acuan oleh sensor flex untuk mengetahui kondisi jari berdasarkan respon resistansinya.
2 Sistem Arsitektur
2.1 Anatomi Jari
Diantara anatomi tubuh manusia, tangan manusia memiliki jumlah derajat kebebasan yang lebih banyak di antara yang lain. Model struktur kerangka tangan normalnya memiliki 23 jumlah derajat kebebasan yang terbagi dalam lima jari. Ibu jari memiliki lima derajat kebebasan dengan dua diantaranya berada di daerah sendi Trapeziometacarpal (TM), dua derajat kebebasan di sendi Metacarpophalangeal (MCP) dan satu derajat kebebasan berada di sendi Interphalangeal (IP). Sedangkan pada keempat jari lainnya memiliki empat jumlah derajat kebebasan yang sama. Pada bagian sendi Metacarpophalangeal (MCP) memiliki dua jumlah derajat kebebasan dan masing-masing satu jumlah derajat kebebasan pada Proximal Interphalangeal dan Distal Interphalangeal. Gambar 1 menunjukkan struktur sendi penyusun pada jari dan telapak tangan.
Tiap antar sendi dihubungkan oleh kerangka yang memiliki ukuran panjang yang berbeda pada setiap jari. Pada telapak tangan hingga bagian Metacarpophalangeal (MCP) dihubungkan oleh Metacarphal yang kemudian dilanjutkan dengan Proximal Phalange yang menghubungkan sampai pada Proximal Interphalange (PIP). Dari Proximal Interphalange sampai pada Distal Interphalange dihubungkan oleh Middle Phalange yang kemudian dilanjutkan pada Distal Phalange hingga ujung jari [6, 8].
Pergerakan jari untuk menekuk, menggenggam dan menengadah merupakan suatu pergerakan alami yang secara tidak langsung setiap orang memiliki kemiripan gerakan yang sama pada setiap sendinya. Terdapat dua model gerakan jari dalam melakukan pergerakannya yaitu pergerakan secara abduction-adduction dan pergerakan secara flexion-extension.
Gerakan flexion-extension merupakan gerakan yang hampir melibatkan semua sendi. Persamaan dalam menentukan suatu pergerakan jari secara flexion-extension berdasarkan posisi dari gambar 1 ada pada persamaan (1) [9].
\[\theta_{DIP} = \frac{2}{3} \; \theta_{PIP} \tag{1}\]
Gambar 1 struktur sendi penyusun pada jari
Gambar 2 sudut perubahan DIP, PIP dan MCP
Perubahan pergerakan dipengaruhi oleh perubahan dari yang ilustrasi perubahannya dapat dilihat pada gambar 2. Perubahan dipengaruhi oleh yang merupakan sendi penghubung sebelumnya. Persamaan untuk mendapatkan ada pada persamaan (2).
\[\theta_{PIP} = \frac{3}{4} \; \theta_{MCP} \tag{2}\]
Berbeda dengan model ibu jari yang hanya memiliki 2 sendi, persamaan untuk menentukan pergerakan ibu jari ada pada persamaan (3).
\[\theta_{IP} = \frac{1}{2} \; \theta_{MCP} \tag{3}\]
2.2 Desain Sistem
Desain sistem dalam perancangan untuk pendeteksian pergerakan jari terlihat pada gambar 3 yang terdiri atas sensor flex dan sensor IMU menggunakan sensor MPU6050 dengan data pengolah informasi menggunakan mikrokontroller.
Gambar 3 desain sistem perancangan deteksi gerakan
Dalam sistem ini digunakan sensor flex yang diletakkan pada masing-masing jari. Setiap perubahan yang terjadi pada sensor flex di masing-masing jari akan dikirimkan pada mikrokontroller. Sensor IMU akan membaca perubahan sudut yang terjadi dan mengirimkan informasi perubahan pada mikrokontroller. Informasi data sensor IMU dan sensor flex disimpan pada mikrokontroller secara bersamaan, sehingga akan dapat diketahui perubahan sudut flex yang terjadi pada posisi sudut yang dihasilkan.
2.3 Data Glove
Untuk memudahkan dalam pengambilan data pada setiap orang, maka perancangan sensor flex diletakkan pada sarung tangan. Sensor flex memberikan respon berupa perubahan resistansi yang dapat berubah-ubah bergantung dari kondisi tekukan. Sensor flex yang digunakan merupakan produksi dari spectra symbol dengan ukuran 4.5 inci dengan rentang ukur resistansi dari 60K Ohm sampai 110K Ohm. Sensor flex dengan ukuran tersebut mampu membaca pergerakan sendi jari dan strukturnya sepanjang dari metacarpal hingga distal phalange. Untuk mengetahui pergerakan perubahan setiap jari, maka diletakkan sensor flex pada masing-masing jari yang dapat dilihat pada gambar 4.
2.4 Multi Sensor IMU
Untuk mengetahui perubahan , , dan yang terjadi pada pergerakan jari dapat menggunakan sensor Inertial Measurement Unit (IMU). Sensor IMU yang digunakan merupakan sensor MPU6050 yang memiliki 3-axis accelerometer dan 3-axis gyroscope. Untuk mendapatkan sudut yang akurat terhadap perubahan suatu kemiringan objek, maka dilakukan penggabungan antara accelerometer dan gyroscope yang saling mengkompensasi satu sama lain hingga dapat menghasilkan nilai yaw, pitch dan roll. Nilai pitch pada sensor IMU digunakan untuk mengetahui perubahan dari gerakan jari.
Gambar 4 sistem peletakan sensor flex
Gambar 5 perancangan sensor IMU pada jari
Gambar 6 sudut tekuk pada sensor IMU
Sensor IMU diletakkan sejajar diatas sensor flex dengan posisi berada di dua area, yaitu area pada proximal phalange dan distal phalange seperti pada gambar 5. Frame koordinat yang dibentuk oleh sensor IMU1 [x1, y1, z1] dan sensor IMU2 [x2, y2, z2] berdasarkan referensi dari koordinat sistem awal [x0, y0, z0]. Sistem pergerakan sendi yang bergerak sejajar terhadap sumbu y pada tiap jari, sehinggga hanya terdapat perubahan panjang lengan terhadap perubahan transformasi koordinat awal.
Dengan diletakkannya dua sensor IMU tersebut, maka akan dihasilkan dan dari hasil pergerakan jari yang ada pada gambar 6. merepresentasikan nilai dari yang kemudian nilai dari dan dapat dicari dengan menggunakan persamaan (1) dan (2). Namun dikarenakan pergerakan tiap orang berbeda pada kondisi menekuk, maka nilai dan dapat dilihat berdasarkan nilai dari dengan persamaan (4)
J.Oto.Ktrl.Inst (J.Auto.Ctrl.Inst) Vol 11 (1), 2019 ISSN : 2085-2517, e-ISSN: 2460-6340
\[\theta_2 = \theta_{DIP} + \theta_{PIP} + \theta_{MCP} \tag{4}\]
Dengan mentransformasikan persamaan (1) pada persamaan (4), maka didapatkan nilai pada persamaan (6) dan nilai pada persamaan (7)
\[\theta_2 = \theta_{DIP} + \frac{3}{2} \theta_{DIP} + \theta_{MCP} \tag{5}\]
\[\theta_{DIP} = \frac{2}{5}(\theta_2 - \theta_1) \tag{6}\]
\[\theta_{PIP} = \frac{3}{4} \,\theta_1 \tag{7}\]
3 Eksperimen dan Hasil
Dengan ditempatkannya sensor flex pada setiap jari, maka pergerakan setiap jari dapat ditelusuri berdasarkan respon resistansinya. Respon yang diberikan oleh sensor flex akan berbeda pada tiap jari, sehingga dilakukan percobaan untuk mengetahui perilaku respon saat posisi tangan membuka dan menggenggam seperti pada gambar 7. Percobaan tersebut dilakukan sebanyak tiga kali perulangan untuk mengetahui nilai pengukuran terbesar dan terkecil pada masing-masing sensor flex di tiap jari. Dari hasil percobaan tersebut, didapatkan grafik perubahan resistansi sensor flex berdasarkan waktu yang merupakan perubahan gerakan dari jari pada gambar 8.
Pada grafik tersebut terlihat perubahan besar pada resistansi secara memuncak dan menurun. Kondisi memuncak tersebut merupakan kondisi saat tangan menggenggam dan kondisi menurun saat tangan membuka. Perubahan yang dihasilkan secara keberulangan tiga kali memilki perubahan batas nilai yang sama di tiap masing-masing sensor flex. Terdapat perbedaan hasil pada sensor flex di ibu jari, hal ini dikarenakan posisi penekukan ibu jari tidak seperti pada jari yang lain. Dari hasil pengamatan tersebut, didapatkan delta resistansi rata-rata perubahan pada jari terhadap data resistansi maksimal sebesar 0.12%.
Gambar 7 pengujian sensor terhadap perubahan jari
Gambar 8 grafik respon resistansi sensor terhadap jari
Gambar 9 pengujian dan menggunakan IMU
Untuk mengetahui perubahan pada dan di jari, maka diletakkan sensor IMU seperti pada gambar 9. Pengujian dilakukan pada jari telunjuk secara berulang sebanyak tiga kali untuk mengetahui respon perubahan dan kesalahan nilai pengukuran pada titik yang sama. Titik sudut yang menjadi acuan adalah dan dilakukan perhitungan dan menggunakan persamaan 6 dan persamaan 7. Grafik respon perubahan dan dengan gerakan jari secara menggenggam terdapat pada gambar 10.
Dari hasil grafik tersebut, diketahui perubahan hasil memiliki nilai yang berbeda pada percobaan pertama dan berikutnya. Hal ini dikarenakan terdapat perbedaan pada cara menekuk pada ujung jari, sehingga mempengaruhi perubahan di nilai . Namun dari hasil grafik tersebut, terdapat kondisi perubahan yang stabil saat berada di sudut 22o ke atas dan mengalami kenaikan drastis pada sudut awal di 2o.
Respon kemudian dibandingkan dengan hasil perubahan resistansi sensor flex yang terdapat pada gambar 11. Pada grafik tersebut, didapatkan kenaikan secara drastis pada saat sudut awal di 2o, lalu mengalami kondisi perubahan yang stabil di sudut tengah di 20o sampai pada sudut 40o.
Gambar 10 grafik hubungan antara dan di jari telunjuk secara berulang
Gambar 11 grafik hubungan antara perubahan resistansi sensor flex terhadap secara berulang
Terdapat hasil yang menyimpang pada percobaan pertama dikarenakan kondisi menekuk yang berbeda pada jari telunjuk.
Percobaan selanjutnya dilakukan pengambilan data ulang dengan informasi data menggunakan respon dari tiap jari. Grafik respon hubungan yang dihasilkan antara dengan di tiap jari terdapat pada gambar 12.
Pada grafik tersebut didapatkan respon yang berbeda pada setiap jari walaupun berada di yang sama. Walaupun memiliki arah gerakan menekuk yang sama, nilai dan yang dihasilkan oleh sensor IMU berbeda pada setiap jari. Sehingga dalam mencari persamaan untuk mengontrol suatu objek menggunakan jari, persamaan tersebut tidak bisa diterapkan pada semua jari. Hal ini pun juga terlihat pada hasil respon yang diberikan pada resistansi sensor flex terhadap perubahan seperti pada grafik gambar 13. Namun perubahan resistansi sensor flex antar jari dengan yang lainnya memiliki kenaikan kemiripan yang sama dalam terhadap perubahan dari .
Gambar 12 grafik hubungan antara dengan di tiap jari
Gambar 13 grafik hubungan perubahan resistansi sensor flex terhadap di tiap jari
4 Kesimpulan
Penggunaan sensor flex sering digunakan untuk mendeteksi perubahan pergerakan jari. Perubahan resistansi sensor flex tidak berbanding lurus dengan perubahan pergerakan jari. Dengan ditempatkannya sensor IMU, maka akan diketahui perubahan resistansi sensor flex pada titik yang telah ditentukan. Dari hasil percobaan tersebut, didapatkan bahwa respon resistansi sensor flex yang dihasilkan memiliki nilai yang berbeda di gerakan yang sama secara berulang. Dengan memperhatikan dengan pada jari, didapatkan informasi perubahan model sudut penekukan jari yang berbeda di tiap jari. Sehingga respon resistansi sensor flex yang diberikan akan bergantung pada sudut penekukan. Namun terdapat persamaan pola perubahan resistansi sensor flex di setiap jari. Sehingga perubahan respon sensor flex bergantung pada pergerakan sudut jari. Proses deteksi perubahan pergerakan jari tidak cukup hanya dengan menggunakan sensor flex, akan tetapi dibutuhkan sensor IMU agar didapatkan deteksi gerakan jari secara presisi.
5 Daftar Pustaka
- [1] S. Ganapathyraju. Hand Gesture Recognition Using Convexity Hull Defects to Control an Industrial Robot, In 3rd International Conference on Instrumentation Control and Automation, pp. 63-67, 2013.
- [2] T. Q. Vinh and N. T. Tri. Hand Gesture Recognition Based on Depth Image Using Kinect Sensor , 2nd National Foundation for Science and Technology Development Conference on Information and Computer Science, pp. 34-39
- [3] Y. Pititeeraphab ; P. Choitkunnan ; N. Thongpance ; K. Kullathum ; C. Pintavirooj, Robotarm control system using LEAP motion controller, International Conference on Biomedical Engineering, pp. 109-112
- [4] G. Saggio, F. Rillio, L. Sbernini and L. R. Quitadarmo., Resistive flex sensors: a survey, Smart Materials and Structure, vol. 25, 2016.
- [5] G. Saggio, Mechanical model of flex sensors used to sense finger movements, Sensors and Actuators A: Physical, 185 pp. 53-58, 2012.
- [6] G. Ponraj and H. Ren. Sensor Fusion Of Leap Motion Controller And Flex Sensors Using Kalman Filter For Human Finger Tracking, IEEE Sensors Journal, Vol. 18 No. 5, pp. 2042-2049
- [7] H. Chen, Y. Zhang, Z. Zhang, Y. Fang, H. Liu and C. Yao. Exploring the Relation between EMG Sampling Frequency and Hand Motion Recognition Accuracy, IEEE International Conference on Systems, Man, and Cybernetics, pp. 1139-1144, 2017.
- [8] K. Li, I. Chen, S. H. Yeo, C. K. Lim. Development of finger-motion capturing device based on optical linear encoder, Journal of Rehabilitation Research & Development, vol. 48, No. I, pp. 69-82.
- [9] S. Cobos, M. Ferre, M. A. Sánchez-Urán, and J. Ortego, Constraints for Realistic Hand Manipulation, Proc. 10th Annu. Int. Workshop Presence, Barcelona, Spain, Oct. pp. 369–370, 2007.