Integrasi aero-tactile dalam persepsi ucapan | sifat

Integrasi aero-tactile dalam persepsi ucapan | sifat

Anonim

Abstrak

Maklumat visual dari wajah pembicara dapat meningkatkan 1 atau mengganggu 2 persepsi pendengaran yang tepat. Penyepaduan maklumat di seluruh aliran auditori dan visual telah diperhatikan dalam kajian pencitraan fungsional 3, 4, dan biasanya dikaitkan dengan kekerapan dan kekukuhan yang mana perceivers bersama-sama menemui maklumat khusus peristiwa dari kedua modaliti ini 5 . Menambah modaliti sentuhan telah lama dianggap sebagai langkah seterusnya yang penting dalam memahami integrasi multisensori. Walau bagaimanapun, kajian terdahulu telah menemui pengaruh input sentuhan mengenai persepsi ucapan hanya dalam keadaan terhad, sama ada di mana perceivers tahu tentang tugas 6, 7 atau di mana mereka telah menerima latihan untuk menubuhkan pemetaan silang modal 8, 9, 10 . Di sini kita menunjukkan bahawa perceivers mengintegrasikan maklumat taktikal semula jadi semasa persepsi ucapan pendengaran tanpa latihan sebelumnya. Melukis pada pemerhatian bahawa bunyi ucapan menghasilkan semburan kecil aspirasi (seperti bahasa Inggeris 'p') 11, kami menggunakan sedikit sedutan udara pada kulit peserta pada salah satu daripada dua lokasi: tangan kanan atau leher. Suku kata yang didengar secara serentak dengan puffs udara kutaneus lebih cenderung untuk didengar sebagai aspirasi (contohnya, menyebabkan peserta untuk mishear 'b' sebagai 'p'). Hasil ini menunjukkan bahawa perceivers mengintegrasikan maklumat taktil yang berkaitan dengan peristiwa dalam persepsi pendengaran dengan cara yang sama seperti mereka melakukan maklumat visual.

Main

Banyak bahasa menggunakan pengusiran udara, atau 'aspirasi', untuk menyampaikan perbezaan leksikal asas 12 . Pembesar suara bahasa Inggeris menggunakan mekanisme ini untuk membezakan bunyi yang disedari seperti 'pa' dan 'ta' dari bunyi yang tidak diinget seperti 'ba' dan 'da'. Semua empat mekanoreceptor dermal manusia 13, serta mekanoreceptor folikel rambut 14, bertindak balas terhadap udara. Aerodynamically, sedutannya dicirikan sebagai aliran udara bergolak yang pendek dengan tekanan awal yang lebih tinggi 15, 16, khas corak tekanan sementara yang dihasilkan dalam bunyi ucapan yang disuarakan 17 .

Kami mencipta rangsangan pendengaran dengan mencatatkan lapan ulangan setiap suku kata 'pa', 'ba', 'ta' dan 'da' daripada seorang penutur asli bahasa Inggeris lelaki, yang sesuai untuk tempoh (390-450 ms setiap), frekuensi asas ( (dari 90 Hz ke 70 Hz) dan keamatan (normal kepada 70 decibel (10 -5 W m -2 ). Peserta mendengar suku kata dalam dua blok berasingan: satu yang mengandungi hanya konsonan labial ('pa' dan 'ba'). lain yang mengandungi hanya konsonan alveolar ('ta' dan 'da'). 16 butiran unik di setiap blok didengar empat kali setiap satu-dua kali sebagai kawalan pendengaran dan dua kali dipasangkan dengan rangsangan sentuhan rangsangan auditori disertai dengan bunyi putih yang dimainkan di satu volum yang bertujuan untuk mengurangkan ketepatan pengenalan token secara keseluruhan dan seterusnya menghasilkan kekaburan yang ketara; ketepatan sebenar didokumenkan dalam Jadual Tambahan 1-3.

Kami menggunakan injap solenoid yang melekat pada pemampat udara untuk mensintesiskan puffs udara kecil yang direka untuk meniru profil tekanan (keadaan sempadan sementara), bunyi frekuensi tinggi, tempoh frekuensi 'pop' yang rendah dan hubungan temporal kepada permulaan vokal aspirasi ucapan semulajadi.

Dalam percubaan pertama kami, puffs udara digunakan secara cutaneously pada permukaan punggung tangan di antara ibu jari kanan dan telunjuk melalui tiub vinil ¼ inci (0.635-cm) pada 6 paun per inci persegi (psi; 6 psi ≈ 421.84 g cm - 2 ) ditetapkan pada 8 cm dari permukaan kulit. Punggung tangan dipilih kerana ia mempunyai kepekaan sensitiviti tinggi 18, dan kerana ia adalah lokasi di mana rangsangan sentuhan termasuk aliran udara telah diperhatikan untuk mendapatkan pengaktifan bukan spesifik beberapa neuron kortikal pendengaran peringkat kedua dalam macaques 19 .

Kami menganggap bahawa para peserta mungkin mempunyai banyak pengalaman terdahulu dengan puffs udara di tangan dan bunyi ucapan-dari serentak mendengar suara mereka sendiri dan merasakan nafas sendiri di tangan semasa ucapan. Untuk menentukan sama ada interaksi itu akan berterusan walaupun di lokasi badan yang tidak mempunyai pengalaman sendiri yang kerap, kami merancang satu percubaan kedua di mana kami menggunakan puffs udara ke tengah leher di takik suprasternal-lokasi di mana para peserta biasanya tidak menerima aliran udara langsung semasa pengeluaran ucapan mereka sendiri (walaupun perceivers mungkin lakukan, sekurang-kurangnya pada masa yang jarang berlaku, rasa udara aspirated interlocutors pada kulit mereka). Seperti percubaan tangan, puffs udara disampaikan melalui tiub vinil ¼ inci pada 6 psi yang ditetapkan pada 8 cm dari permukaan kulit.

Sebagai tambahan kepada percubaan tangan dan leher, satu eksperimen 'auditori' hanya dirancang untuk memastikan bahawa penyedutan udara udara tidak dapat didengar oleh para peserta. Dalam percubaan ini, tiub ¼ inci ditempatkan dengan segera di sebelah fon kepala kanan peserta pada jarak 5 cm dan tekanan 6 psi, yang diarahkan secara tangensial supaya aliran udara tidak dirasakan terus pada kulit atau rambut.

Satu isyarat audio stereo yang dibekalkan kedua-dua rangsangan auditori yang didengar oleh peserta dan isyarat pengaktifan untuk membuka injap udara. Saluran yang betul membawa suku kata yang dituturkan kepada kedua telinga melalui fon kepala yang dipakai oleh peserta, manakala saluran kiri mengaktifkan solenoid dengan mengeluarkan gelombang sinus 50-ms 10-kHz pada amplitud maksimum kad bunyi komputer (~ 1 V) melalui voltan penguat kepada geganti. Gelombang sinus adalah masa yang sejajar dengan isyarat ucapan sedemikian, selepas pembetulan untuk latensi sistem, puffs udara keluar dari tiub bermula 50 ms sebelum permulaan vokal dan berakhir pada masa permulaan vokal, dengan itu mensimulasikan masa konsonan yang dihasilkan secara semulajadi bahasa Inggeris .

Peserta lelaki dan perempuan diuji dalam semua eksperimen. Sebelum percubaan, peserta diberitahu bahawa mereka mungkin mengalami bunyi latar belakang dan udara yang tidak dijangka. Para peserta telah duduk di dalam bilik kalis bunyi dan diminta mengenal pasti dengan menekan butang sama ada mereka mendengar 'pa' atau 'ba' dalam blok labial, dan 'ta' atau 'da' dalam blok alveolar. Peserta kemudian ditutup dengan mata dan diberi rangsangan pendengaran melalui fon kepala yang mengasingkan bunyi. Persediaan peralatan untuk menyampaikan rangsangan sentuhan telah selesai selepas peserta ditutup mata untuk menyembunyikan lokasi badan udara sedutan.

Reka bentuk bercampur berulang analisis varians dilakukan dengan dua syarat aspirasi konsonan (disedut dan tidak dihirup) oleh dua keadaan aliran udara (kehadiran dan ketiadaan) oleh dua tempat artikulasi (labial dan alveolar) oleh tiga eksperimen (tangan, leher dan pendengaran- sahaja). Keputusan menunjukkan kesan utama aspirasi yang lemah ( F (1, 63) = 5.426, P = 0.023) (iaitu, perceivers yang telah dikenal pasti terhenti berhenti sedikit lebih mudah di semua eksperimen) dan tempat ( F (1, 63) = 6.714, 0.012) (iaitu, perceivers adalah alveolar yang lebih bijak dan lebih tepat berbanding perhentian labial), dan kesan utama aspirasi × ​​aliran udara ( F (1, 63) = 26.095, P <0.001) (aliran udara menyebabkan persepsi kedua-dua hujung yang tidak diaspal dan disedut dan aspirasi × ​​aliran udara × eksperimen ( F (2, 63) = 7.600, P = 0.001) (iaitu, kesan aliran udara yang digunakan untuk eksperimen leher dan tangan, tetapi bukan kepada eksperimen hanya auditori) . Tiada kesan utama dari aliran udara, atau interaksi antara aliran udara dan eksperimen (iaitu, penggunaan aliran udara tidak mempengaruhi ketepatan persepsi rangsangan keseluruhan). Tiada kesan penting lain yang diperhatikan.

Untuk mengenal pasti sama ada terdapat interaksi yang signifikan antara aspirasi dan aliran udara dalam eksperimen tangan dan leher, tetapi bukan eksperimen hanya auditori, analisis berasingan variasi dengan faktor-faktor ukuran yang berulang aspirasi (aspirated versus unaspirated) dan udara sedutan (sekarang versus tidak hadir) adalah dijalankan untuk blok alveolar dan labial bagi semua eksperimen. Selain itu, untuk menentukan sama ada interaksi ini menunjukkan peningkatan persepsi berhenti aspirasi serta gangguan terhadap persepsi berhenti yang tidak diingini, analisa berulang-satu analisis varians membandingkan puffs udara (sekarang berbanding tidak hadir) dijalankan secara berasingan untuk token yang disedut dan tidak diingini.

Keputusan untuk percubaan tangan menunjukkan bahawa interaksi udara dengan persepsi aspirasi adalah signifikan ( α = 0.05) untuk kedua-dua alveolar ( F (1, 21) = 17.888, P <0.001, sebahagian η 2 = 46.0%) labial ( F (1, 21) = 14.785, P <0.001, blok partial η 2 = 41.3%) (Rajah 1). Tambahan pula, kehadiran puff udara ditingkatkan pengenalpastian yang betul bagi token aspirasi ('pa' ( F (1, 21) = 14.309, P = 0.001, sebahagian η 2 = 40.5%) dan 'ta' ( F (1, 21) = 8.650, P = 0.008, separa η 2 = 29.2%)), dan campur tangan dengan pengenalpastian yang betul bagi token yang tidak diingatkan ('ba' ( F (1, 21) = 5.597, P = 0.028, sebahagian η 2 = 21.0% 'da' ( F (1, 21) = 16.979, P <0.001, parsial η 2 = 44.7%)).

a, Labial; b, alveolar.

Imej saiz penuh

  • Muat turun slaid PowerPoint

Keputusan untuk ujian leher menunjukkan bahawa interaksi udara dengan persepsi aspirasi adalah penting untuk kedua-dua alveolar (F (1, 21) = 5.486, P = 0.029, sebahagian daripada η 2 = 20.7%) dan labial (F (1, 21) = 8.404, P = 0.009, separa η 2 = 28.6%) (Rajah 2). Tambahan pula, kehadiran puff udara ditingkatkan pengenalpastian betul token aspirated ('pa' ( F (1, 21) = 7.140, P = 0.014, separa η 2 = 25.4%) dan 'ta' ( F (1, 21) = 6.020, P = 0.023, separa η 2 = 22.3%)) dan menunjukkan kesan yang lemah terhadap pengenalpastian dengan betul tanda-tanda yang tidak diingini ('ba' ( F (1, 21) = 3.421, P = 14.0%) dan 'da' ( F (1, 21) = 1.291, P = 0.269, separa η 2 = 5.8%)).

a, Labial; b, alveolar.

Imej saiz penuh

  • Muat turun slaid PowerPoint

Tiada interaksi yang signifikan antara aspirasi dan sedutan udara ditemui untuk eksperimen hanya auditori (blok alveolar atau labial, F (1, 21) <1), mengesahkan bahawa peserta tidak dapat mendengar aliran udara atau pengaktifan pemampat (Rajah 3).

a, Labial; b, alveolar.

Imej saiz penuh

  • Muat turun slaid PowerPoint

Penemuan kami menyokong hipotesis bahawa sistem persepsi manusia mengintegrasikan maklumat spesifik dan peristiwa yang berkaitan dengan auditori dan cara sentuhan dengan cara yang sama seperti yang telah diperhatikan dalam gandingan auditori-visual. Kesan ini berlaku di perceivers tanpa latihan sebelumnya atau kesedaran tentang tugas, dan di lokasi badan di mana kesan tidak mungkin diperkuat oleh pengalaman yang kerap. Hasil ini melengkapkan kerja baru-baru ini yang menunjukkan penglibatan sistem somatosensori dalam persepsi ucapan 20, yang menunjukkan bahawa pemprosesan saraf pidato lebih meluas daripada yang diyakini sebelumnya. Kaedah yang digunakan dalam makalah ini mewakili model yang akan membolehkan kajian pencitraan fungsional masa depan integrasi audio-sentuhan dan visual-taktil pasif, serta kajian tingkah laku pelbagai deria dalam populasi yang belum pernah dikenal pasti, termasuk bayi dan orang buta. Oleh kerana penemuan ini menggambarkan peningkatan persepsi semasa persepsi pasif, mereka membayangkan kemungkinan arah masa depan dalam aplikasi audio dan telekomunikasi dan bantuan untuk gangguan pendengaran.

Ringkasan Kaedah

Air sintetik udara sintetik

Peranti aliran udara terdiri daripada pemampat udara kurang jual 3-galon (11.35-l) Jobmate yang disambungkan ke Injap IQ atas injap solenoid dua hala (model W2-NC-L8PN-S078-MB-W6.0-V110 ) disambungkan ke penapis udara Campbell Hausfeld MP513810, yang mengurangkan jumlah bunyi yang dilakukan melalui tiub vinil ¼ inci. Tiub itu telah melalui port kabel ke dalam bilik kalis bunyi dan dipasang pada pendorong mikrofon. Aliran udara sedutan sintetik cepat bergolak apabila meninggalkan tiub, dengan tempoh pergolakan rata-rata 84 ms, berbanding dengan masa permulaan suara 60 ms untuk rata-rata speaker (min) 'pa', dan dekat dengan jarak masa permulaan suara sebanyak 54 -80 ms untuk perkataan Inggeris-bersuara tanpa suara (disedut) berhenti 12 . Tekanan output sedutan yang disintesis telah diselaraskan supaya impak tidak dapat dilihat oleh peserta. Oleh itu, rakaman mikrofon pada 8 cm menunjukkan purata puncak tekanan bukan dimensi purata 0.023 untuk sedutan sintetik, berbanding dengan 0.096 untuk purata 'pa' pembesar suara kami.

Prosedur

Secara keseluruhan, kami menguji 66 peserta, 22 untuk setiap percubaan percubaan (tangan dan leher) dan perbicaraan-audit hanya. Setengah menerima blok labial ('pa', 'ba') terlebih dahulu, dan separuh menerima blok alveolar ('ta', 'da') terlebih dahulu. Dalam setiap blok, para peserta mendengar 12 token amalan (enam dan enam tanpa puffs udara) diikuti oleh 16 token eksperimen untuk setiap keadaan (aspirated versus tanpa pukulan, puff versus tiada puff, rawak), berjumlah 64 token eksperimen setiap blok. Program komputer yang dibina khas yang ditulis dalam Java 1.6 merekodkan respons dari pad kekunci tersuai dan menyampaikan token baru 1, 500 ms selepas setiap tindak balas. Setengah peserta menekan butang kiri untuk menunjukkan tindak balas yang disedut, dan separuh menekan butang kanan.

Maklumat tambahan

Fail PDF

  1. 1.

    Maklumat Tambahan

    Fail ini mengandungi Kaedah Tambahan, Tambahan Rajah 1 dan Legenda dan Jadual Tambahan 1-3.

Komen

Dengan menghantar ulasan anda bersetuju mematuhi Terma dan Garis Panduan Komuniti kami. Jika anda mendapati sesuatu yang kasar atau yang tidak mematuhi terma atau garis panduan kami, sila tandakan ia tidak wajar.