Emergent Effects in Multimodal Feedback from Virtual Buttons

Judul Asli : Emergent Effects in Multimodal Feedback from Virtual Buttons

Penulis : ADAM FAETH, Iowa State University

  CHRIS HARDING, Iowa State University

URL DOI :  http://dx.doi.org/10.1145/2535923

Abstrak Asli :

The continued advancement in computer interfaces to support 3D tasks requires a better understanding of how users will interact with 3D user interfaces in a virtual workspace. This article presents two penelitianes that investigated the effect of visual, auditory, and haptic sensory modalitas feedback presented by a virtual button in a 3D environment on task performance (time on task and task errors) and user rating. Although we expected task performance to improve for conditions that combined two or three modalitas feedback over a single modality, we instead found a significant emergent behavior that decreased performance in the trimodal condition. We found a significant increase in the number of presses when a user released the button before closing the virtual switch, suggesting that the combined visual, auditory, and haptic feedback led participants to prematurely believe they actuated a button. This suggests that in the design of virtual buttons, considering the effect of each feedback modality independently is not sufficient to predict performance, and unexpected effects may emerge when modalitas feedback are combined.

Pengkaji : Putri Indo Pertiwi (G64144052 - Ilmu Komputer, Institut Pertanian Bogor)

Kajian :

Virtual button merupakan salah satu komponen penting dari user interface dalam mendukung task 3D di berbagai bidang seperti kedokteran, manufaktur , geoscience , dan engineering. Virtual button bukan hanya mampu memanipulasi secara langsung dan gestural (untuk beberapa task di workspace 3D), tapi juga mampu menemukan dan menghasilkan interface secara alami.

Interaksi dengan 3D Virtual Button

Dalam konteks user interface design, ada asumsi umum bahwa peningkatan jumlah modalitas feedback pada virtual button dapat mempengaruhi peningkatan performa. Untuk membuktikan hal ini, akhirnya peniliti melakukan dua penelitian dalam menyelidiki bagaimana kehadiran modalitas feedback mempengaruhi performa dan perjalanan feedback secara subjektif. Tujuan dipecahnya penelitian ini kedalam dua bagian adalah untuk menguji kontribusi modalitas feedback visual, auditory, dan haptic untuk mencegah kesalahan dan pengurangan waktu yang dibutuhkan dalam menekan button di lingkungan virtual 3D.

PENELITIAN I

Peneliti meminta peserta (12 laki-laki dan 8 perempuan, berusia antara 19 dan 59 tahun) memasukkan 7 digit nomor telepon menggunakan keypad yang menerapkan prinsip virtual button (dengan ukuran 3.0 cm kuadrat pada layar dan tebal 2.5 mm dengan pergerakan 1,5 cm). Lalu peneliti secara acak menentukan urutan kondisi sistem yang disajikan untuk peserta. Kemudian peserta mengulangi tugas selama lima kali dan menyelesaikan penelitian dalam 30 menit. Setelah itu, mereka diberi waktu untuk beristirahat.

Urutan tugas : peserta memasukkan nomor ke keypad(kiri), menilai feedback button(tengah), dan melihat hasil dari tugas(kanan)

Peneliti mempertimbangkan 3 komponen, yaitu waktu penyelesaian tugas, jumlah kesalahan yang dibuat saat memasukkan nomor telepon, dan rating subjektif peserta dari button feedback. Dalam waktu penyelesaian tugas, peneliti menggambarkan waktu pengguna menyentuh, menekan, deactuated, dan merilis setiap button yang ditekan serta menghitung berapa kali unactuated task pengguna (aksi menyentuh dan merilis button tanpa pergerakan).

Setelah itu, peneliti meminta peserta memberikan rating subjektif dari feedback yang diberikan oleh virtual button dengan memberikan sebuah pernyataan, “Button yang sebelumnya memberikan saya feedback yang cukup ketika saya menekan mereka”. Peneliti meminta langsung rating subjektif setelah melakukan setiap tugas untuk mengantisipasi kesulitan peserta dalam mengingat rating setiap kombinasi modalitas feedback yang dilakukan sebelumnya.

Dari 7 variabel penjelas tunggal yang ditentukan oleh peneliti : V , A , H , VA , VH , AH , dan VAH, dan 700 hasil selama percobaan, dua puluh peserta melakukan 5 pengulangan dalam memasukkan nomor telepon per masing-masing kondisi. Peneliti mengukur jumlah kesalahan yang dilakukan per tugasnya dengan menghitung perbedaan antara nomor telepon yang ditetapkan dalam tugas dan nomor yang diputar oleh peserta. Jumlah kesalahan selama kondisi VAH menonjol ketika menilai distribusi kesalahan di setiap kondisi. Peneliti mengharapkan jumlah kesalahan menurun atau tetap sama pada saat jumlah feedback modalitas meningkat (misalnya , V → VA → VAH ), namun peneliti malah menemukan jumlah kesalahan meningkat dalam kondisi trimodal.

PENELITIAN II

Peneliti melakukan penelitian kedua, yaitu mengukur kedalaman tekanan button pada setiap kondisi. Tekanan yang datang pada saat aktuasi dapat memberikan petunjuk tentang mengapa tekanan dirilis diawal. Dengan mengukur kedalaman tekanan button untuk menentukan seberapa dekat peserta (9 perempuan dan 11 laki-laki, dari usia 19 sampai 42 tahun) datang ke titik aktuasi di setiap tekanan. Model button feedback juga ditingkatkan menjadi 3.0 mm dan jarak tempuh button dari 1,5 cm sampai 2.0 cm. Alasannya adalah karena pada penelitian I, peneliti mengamati peserta menekan button lebih jauh dari yang dibutuhkan.

Penelitian kedua memberikan hasil yang sama dengan penelitian pertama. Ketika feedback visual atau auditory ditambahkan ke haptic feedback, ada pengurangan yang terjadi pada kedalaman tekanan. Peningkatan jarak pergerakan pada penelitian kedua tidak mampu menghapus kasus dimana peserta menekan tiga atau empat kali lebih jauh dari yang dibutuhkan. Peneliti mengumpulkan kedalaman tekanan button rata-rata untuk masing-masing peserta dan kondisi. Hasil penelitian menyatakan bahwa feedback VH menunjukkan beberapa efek dalam mengurangi kedalaman tekanan button yang diamati dengan feedback trimodal.

Ketika diperiksa dalam konteks kedalaman tekanan yang berbeda antara kondisi H , AH , VH , dan VAH, peserta mungkin telah merasakan berbagai tingkat kekuatan dari keypad tergantung pada kombinasi dari modalitas. Oleh karena itu, peneliti berhipotesis bahwa feedback visual, auditory, dan haptic memberikan persepsi yang salah kepada peserta bahwa mereka menggerakkan button sebelum mencapai titik aktuasi. Padahal ketika menyajikan kombinasi modalitas visual, auditory, dan haptic, feedback memproduksi sinyal yang kuat dari pasangan sinyal yang disarankan. Hal ini yang menyebabkan peserta melepaskan button sebelum mencapai titik aktuasi, lalu akhirnya percaya mereka sudah menekan button.

Kesimpulan dari penelitian ini adalah, sebagai desainer sangat penting mengeksplorasi feedback multimodal secara terus menerus untuk menyampaikan transisi antar event. Dan perlu diperhatikan juga bahwa, pada penelitian ini properti tidak akan mudah diamati pada button yang kurang bergerak secara fisik (button-button hanya menghasilkan feedback ketika diaktifkan atau dilepaskan). Di masa yang akan datang, penelitian dapat membahas apakah pengguna menganggap variasi haptic dalam kehadiran isyarat warna dan suara. Peneliti juga berharap temuan mereka akan berhubungan dengan user interface 3D yang lebih kompleks dari tugas entri. Peneliti menemukan bahwa mempertimbangkan efek dari masing masing modalitas yang independen tidak cukup untuk merancang feedback multimodal, yang artinya penting untuk mempertimbangkan bagaimana jumlah dari bagian yang mungkin muncul untuk membuat prilaku feedback yang tak terduga.