Summary

視覚画像の効果を調べると、ブーバとキキに対するシェイプオーディオ規則性の学習

Published: September 13, 2019
doi:

Summary

提示されたプロトコルの目的は、ブーバ/キキ効果における視覚画像の役割を調査することです, ブーバ/キキの形状の規則性に気づく訓練は、ブーバ/キキ効果と個々のブーバとキキ形状の認識に影響を与えるかどうか,そして最後に、これらの規則性がどのような精神的なイメージを生み出します。

Abstract

この記事では、ブーバ/キキ効果における視覚画像の役割を調査するためのプロトコルを提示し、ブーバ/キキシェイプオーディオの規則性に気付くトレーニングがブーバ/キキ効果と個々のブーバとキキ形状の認識に影響を与えるかどうか、そして最後に、これらの規則性がどのような精神的なイメージを生み出します。ブーバ/キキシェイプオーディオの規則性を生成するために、形状(塗りつぶし、輪郭を描く)と2種類のオーディオ(単語、非単語音)がありました。視覚、目隠し、視覚の3つの実験に参加しました。実験は参加者間で一定の順序で行われ、両者の間に休憩はありませんでした。実験1(グループ内で3回繰り返されるテスト後の設計)では、参加者は聴覚ブーバ/キキに関連する形状を選ぶように求められました。実験2(被験者内設計)では、1つの形状といくつかのオーディオ(時には一致し、時には不一致)を「ブーバ」または「キキ;」とし、実験3(テスト後のみの設計)で、聴覚ブーバ/キキに関連付けられた形状を描画します。この結果は、目隠しグループが新しい問題を解決するために視覚的な画像を描画することを示唆していますが、長期的ではありません。ブーバ/キキシェイプオーディオの規則性に気づくトレーニングは、ブーバ/キキ効果と個々のブーバとキキの形状の認識に影響を与えますが、各実験グループでは異なります。そして、すべての実験グループは、ブーバ(曲線)とキキ(角度)の最も特徴的な形状の特徴の精神的なイメージを作成します。実際、ビジュアルイメージの効果はタスク全体で堅牢ですが、長期的には堅牢ではありません。シェイプオーディオの規則性を学習する効果は、長期的には堅牢ですが、タスク間では使用できません。提示されたプロトコルは、視覚的な画像の効果を調査し、それらが発生したとき、およびそれらがどれほど堅牢であるかを学習するために適切です。特定の個人や個人のグループで。このプロトコルは、トレーニングとテスト中に視覚画像と感覚情報の両方を制御し続けるというユニークな方法です。

Introduction

世界の人口の95%は聴覚視覚的なブーバ/キキ効果を示し、視覚的に丸みを帯びた形を話し言葉「bouba;」と、視覚的に角の形を「キキ;」と関連付け、経験がない場合でもこれを行います。図形または単語1のいずれかで.ブーバ/キキ効果は言語学習に先行します。それは言語1、2、3、4、5の間で起こり、ブーバとキキの両方(視覚的な角度に対する視覚的な曲線に対する人々の好み6、7),8,9)、母音と子音の組み合わせに依存します(例えば、「ビビ」と「くく」では起こりません。1,5,10歳,11歳,12.この形と単語の関連付けは、主にブーバとして、主に角状である限り、他の形状と単語のペアと同様に発生します,キキ11,13;「ブーバ」と「キキ」の母音と子音の組み合わせは、「バルマ」と「タケテ」、「マルマ」と「タケテ」、「ウルーモ」と「タケテ」、「マーブーマー」と「トゥーキーティー」1、3、3、 4,10,11,12,14.実際、丸みを帯びた視覚的図形を、連続する子音 (/l/および /m/など) を含む話し言葉と、開く母音 (///、///)、および視覚的な角度形状を、プロシブ子音を含む読み上げ語 (/ など) と関連付けます。k/ および /t/) と閉じる前の母音 ((/ε/ および /I/)11121516など。彼らは母音よりも子音の影響を受け、特に無声の子音(例えば、/k/および/t/)11、12、15、16によって影響を受けます。確かに、グローバルシェイプの特徴(カーブと角度17)と話し言葉の音(メロディー17)は、グローバルな形や言葉そのものであり、最も重要なようです。

ある研究では、視覚ブーバ/キキの形の代わりに触覚ブーバとキキを使ったブーバ/キキ効果を調べた結果、視覚障害を持つ参加者は有意に堅牢なブーバ/キキ効果(約64%)を示した。完全に見られた(〜90%)よりも18.この研究は、視覚画像の欠如によって目が見え、部分的に目が見える参加者の間で有意に堅牢なブーバ/キキ効果が原因であると主張しました:完全に目が見られた参加者は、環境内の規則性に気づきました。視力が損なわれたときに簡単にアクセスできます 18.しかし、この研究からは、ブーバ/キキ効果が起こるのに視覚画像が必要かどうかは明らかではない:視覚障害を持つ42人の参加者のうち6人だけが先天的に全盲であったため、視覚画像は全く持っていなかった。さらに、目隠しをした他の参加者は、ブーバ/キキの単語を発表する際に実験者の唇の動きを観察した可能性があります – 「キキ」1を発表する際に「ブーバ」と角唇の動きを発表する際に丸みを帯びた唇の動き,18 – 任意の視覚画像に描画するのではなく、触覚視覚聴覚ブーバ/キキ効果を示す.さらに、触覚聴覚規則性に気付いた効果は、例えば、4つの試験すべてにわたって効果を計算するのではなく、試験1と試験4に対するbouba/kiki効果を比較することによって、調査されなかった。さらに、触覚ブーバとキキは試験間でかなり異なっていました:試験では、1と2は3Dと2D形状(曲線v角)でした。試験3と4では、形状(円)が同一で、テクスチャが異なる(滑らかvラフ、滑らかなvスパイキー)18.関連する静脈では、1つの研究は、目隠し(完全に目が見える)個人の運動性聴覚ブーバ/キキ効果を調査し、ブーバとキキの軌跡を描くためにプログラムされたロボットスタイラスを保持する2分間のトレーニング期間の後に発見しました。82%がブーバ/キキ効果19を示した。しかし、この研究からは、トレーニング期間のためにブーバ/キキ効果が起こったかどうかは明らかではない:研究は、事前テストもコントロールグループも含んでいなかった。

この目的のために、我々は、触覚/視覚聴覚ブーバとキキの規則性に気づく訓練がブーバ/キキ効果に影響を与えたかどうか、および個々の触覚/視覚ブーバの認識に影響を与えたかどうか、ブーバ/キキ効果における視覚画像の役割を調査しました。キキシェイプ、そして最後にこれらのシェイプオーディオの規則性が17を生成したどのような精神的なイメージ.ブーバ/キキシェイプオーディオの規則性を生成するために、例えば、キキシェイプ/キキワードの特殊性1は、触覚/視覚ブーバ/キキ形状(塗りつぶし;概要)と聴覚ブーバ/キキの2種類を含んでいました[単語;非単語音)]17.3つの実験に参加した個体群:ブラインド(N=12)、目隠し(N=12)、および視力(N=12)。実験は参加者間で一定の順序で行われ、参加者間に休憩を取らずに、参加者のブーバとキキの経験の量と種類を制御し続けました。実験1(グループ内で3回繰り返されるテスト後の設計)では、参加者は聴覚ブーバ/キキに関連する触覚/視覚的形状を選ぶように求められました。実験2(被験者内設計)では、1つの触覚/視覚的形状といくつかのオーディオ(時には一致するが、時には不一致)を「ブーバ」または「キキ;」とし、実験3では、それらが関連付けられている触覚/視覚的形状を描く聴覚ブーバ/キキ17.全体として、この研究は、視覚的な画像の効果はタスク間で堅牢であるが、各タスク内の長期的には堅牢であるのに対し、シェイプオーディオの規則性を学習する効果は、各タスク内で堅牢であるが、タスク17間では堅牢ではないことを示唆した。この資料では、この研究 17 からのプロトコルを紹介します。提示されたプロトコルは、視覚的な画像の効果を調査し、それらが発生したとき、およびそれらがどれほど堅牢であるかを学習するために適切です。特定の個人や個人のグループで。このプロトコルは、トレーニングとテスト中に視覚画像と感覚情報の両方を制御し続けるというユニークな方法です。

Protocol

オックスフォード大学の医学部門間研究倫理委員会(IDREC)は、このプロトコルの承認を提供しました(参照番号:MS-IDREC-C1-2015-200、R46287/RE002、およびR42687/RE004)。 1. 設計と条件 すべての参加者と一定の順序で次の3つの実験を行います:実験1、実験2、実験3は、それらの間に休憩なしで。実験2のすべての参加者が実験1に参加し、実験3のすべての参加者が実験2(および実験1)にも参加していることを確認してください。 実験1を実施する – ブラインド、目隠し、およびビジョンの3つの実験グループで、テスト後の設計を行います。そして、グループ内で3つの繰り返し対策を繰り返しました。すべての参加者に一定の順序でトライアルを提示します。(試行回数:8) プレテスト(トライアル1)を実施し、インスタント触覚/視覚聴覚ブーバ/キキ効果をテストします。 繰り返されるグループ内測定(トライアル4)を実施し、繰り返される触覚/視覚形状(塗りつぶしまたは輪郭を描かれた)と多様なオーディオ(単語と非単語の音)の効果をテストします。 新しい触覚/視覚的形状(輪郭を描いたり塗りつぶされたり)と多様なオーディオ(単語と非単語の音)の効果をテストするために、グループ内の2番目の測定(トライアル5)を実施します。 3番目のグループ内測定とポストテスト(トライアル8)を実施し、多様な触覚/視覚的形状(塗りつぶしと輪郭を描いた)と多様なオーディオ(単語と非単語音)の効果をテストします。 試用版 1-4 (塗りつぶしまたは輪郭を描く) に存在する触覚/視覚ブーバ/キキ図形の種類をランダムに割り当てます。試験4-8で他のタイプを提示します。次に、トライアル1に提示する聴覚単語(ブーバまたはキキ)と、トライアル2-8の各1つに提示する聴覚ブーバ/キキ(ブーバまたはキキのいずれか、単語または非単語音)をランダムに割り当てます。注:合計で4つのブーバと4つのキキトライアルがあることを確認してください。4つの塗りつぶされ、4つの輪郭を描いた触覚/視覚的形状の試験;4つの聴覚単語と4つの聴覚非単語の音の試験。 実験2を実施する – 目隠し、目隠し、および視覚の3つの実験グループで、被験者内の設計。と2つのグループ内のメジャー。すべての参加者に一定の順序でトライアルを提示します。(試行回数合計:8) 合体(ブーバ/キキ+ブーバ/キキ)シェイプオーディオ(トライアル1)のインスタント認識をテストします。 (a) コングラフィ(ブーバ/キキ+ブーバ/キキ)、および(b)不一致(ブーバ/キキ+キキ/ブーバ)形状オーディオの認識をテストする[一種の一種の試験(試験1-8)]。 試用版 1-8 で提示する触覚/視覚ブーバ/キキ形状の種類 (塗りつぶしまたは輪郭を描く) をランダムに割り当てます。次に、どの合致触覚/視覚的形状と聴覚非ワードサウンド(ブーバ+ブーバまたはキキ+キキ)をトライアル1にランダムに割り当て、最後にどのタイプのコングラップ(合致または違和感の触覚/視覚ブーバ/キキ形状+聴覚)を割り当てます。bouba/キキノンワードサウンド)は、トライアル2-8の各1つに提示します。注:合計で4つの触覚/視覚ブーバと4つの触覚/視覚キキトライアルがあることを確認してください。4つの満たされ、4つの輪郭を描いた触覚/視覚試験;4つの一致し、4つの不一致(形状+非単語音)の試行。(聴覚ブーバ/キキワードは、この実験には含まれていません。 実験3を実施する – ブラインド、目隠し、および視覚の3つの実験グループで、テスト後の設計。すべての参加者に定順でトライアルを提示する(トライアルの総数:4)。 シェイプオーディオの規則性(実験1と実験2)に気づく精神的なイメージをテストし、4つの別々の試験で生成しました:ブーバ語、ブーバ非単語音、キキワード、キキノンワード。 試験1-4の各1つに存在する聴覚ブーバ/キキの種類(ブーバまたはキキのいずれか、単語または非単語音)をランダムに割り当てます。注:合計で、1つの聴覚ブーバ単語試験、1つの聴覚ブーバ非単語の音の試験、1つの聴覚キキワードトライアル、および1つの聴覚キキ非単語の音の試験があることを確認してください。 2. 参加者 先天的に盲目の参加者の1つのグループを募集します。つまり、生後4ヶ月未満の失明20,21,22: カテゴリー 5: 全盲;4:光知覚(光源を知覚する)と光投影(光源がどこにあるかを知覚する)22.それらがすべて点字リーダーであることを確認してください。 先天性盲目の参加者のグループの2倍の大きさで、完全に目が見える参加者の1つのグループを募集します。それらはすべて正常/正常な視力に修正されていることを確認してください。注:すべての参加者が18歳から70歳の間で、正常/正常な聴覚に修正され、認知遅延や障害、身体障害はなく、ブーバ/キキ効果に対してナイーブであることを確認してください。 完全に目が見える参加者の半分を目隠しグループにランダムに割り当て、残りの半分をビジョングループに割り当てます。注:参加者、触覚/視覚ブーバ/キキシェイプの種類、聴覚ブーバ/キキの種類、および一致性は、すべて目隠しまたはビジョンの2つのカテゴリのいずれかにランダムに割り当てられます。塗りつぶしまたは輪郭を描く;単語または非単語の音;ブーバやキキ;一致または不一致。したがって、ランダムな割り当ては、コンピュータプログラムまたは手動(例えば、コインをトスすることによって)行うことができます。 3. 材料 触覚/視覚材料を生成する 視覚的なブーバ/キキの形(30 x 23 mm)を、パソコンから印刷するか、画像からコピーして膨らむ用紙に移します。2種類のビジュアルブーバ/キキシェイプを必ず転送してください: 1 つの塗りつぶしと 1 つの輪郭を描いた [(1.5 pt. ライン] )Cf.図 1]。 膨らんだ紙をヒートフューザーに通します。触覚ブーバ/キキの形状が約0.5mmの高さまで上がっていることを確認します。または、視覚障害者(PDFファイルが添付されている)のための転写サービスから触覚/視覚ブーバ/キキ形状を注文します。 泡板[白(5mmの厚さ)]に膨らみ紙を接着します。スプレー接着剤を使用します。 膨らんだ紙と泡板をサイズ(50 x 50 mm)に切り、4枚の別々の触覚/視覚的な絵カードを作成します:ブーバ充填、ブーバの輪郭、キキ充填、キキの輪郭を描きます(図1)。壁紙を切断するためのナイフを使用してください。 触覚/視覚ブーバ/キキの形を覆うためのカートンプレート/フォームボードをサイズ(297 x 210 mm)にカットします。壁紙を切断するためのナイフを使用してください。または、A4 形式を注文します。 コピー用紙/プラスチックエンボスフィルムをサイズ(210 x 148 mm)にカットします。ギロチンを使えまたは、A5 形式を注文します。 ゴムマットをサイズ(230 x 150 mm)にカットします。ナイフまたははさみを使用してください。または、ムーンハンドフレームを注文し、ゴムマットを明らかにするために分解します。 図1:ブーバ/キキの2種類:塗りつぶしと輪郭この図のより大きなバージョンを表示するには、ここをクリックしてください。 聴覚材料の生産 話されたブーバ(cf.オーディオ1)とキキの言葉を録音します。MP3 形式で保存する: bouba ワード用に 1 つのファイルとキキワード用のファイル。 話し言葉「ブーバ」と「キキ」の持続時間と周波数(メロディー)を模倣して、ブーバとキキの非単語の音を作成します。音波発生器とピッチベンドを使用します。MP3形式で保存する:ブーバサウンド(cf. Audio 2)用に1つのファイルとキキサウンド用のファイルを保存します。 スマートフォンに iOS 用の VLC アプリをインストールします。ブーバとキキのMP3ファイルをVLCアプリに転送します。 オーディオ 1: ブーバ語このファイルをダウンロードするには、ここをクリックしてください。 オーディオ2:ブーバサウンドこのファイルをダウンロードするには、ここをクリックしてください。 4. 手順とスコアリング テスト セッションの設定 色が中立の静かな部屋で3つの実験を行い、参加者全員を個別に行います。目隠しグループの参加者に、触覚/視覚聴覚材料を設定する前に目隠しをしてもらい、3つの実験の間に目隠しを続けるようにしてもらいます。 触覚/視覚材料の設定 ゴムマットを参加者の正面に置き、直接お手入れします。次に、2つの触覚/視覚ブーバとキキ形状(実験2)を配置し、1つの触覚/視覚ブーバまたはキキ形状(実験3)と、ゴムマットの上にコピー用紙/プラスチックエンボスフィルムを配置する。注:実験1では、常に左側にブーバを表示し、右側にキキを表示してください。実験1と実験2の両方で、常に同じ向きに提示する(cf.図1):参加者の位置や向きから干渉することなく、ブーバとキキの形の精神的なイメージを形成する能力を高めるゴムマット。触覚/視覚的なブーバとキキの形状のこの固定プレゼンテーションについて参加者に知らせないようにしてください。ビジョングループでは、常にカートンプレート/フォームボードの後ろにテスト材料を設定し、これらの参加者が店内にあるものをこっそり覗くことを防ぎます。 聴覚材料の設定 MP3 プレーヤーを参加者の正面(ゴムマットの反対側)に直接配置し、スピーカーを最も近い場所に配置します。注:MP3プレーヤーからの聴覚情報を口頭で繰り返さないように:ビジョングループの参加者がブーバ/キキワードトライアル1の唇の動きを観察するのを防ぎ、すべての実験グループ間で制御を維持する感覚情報の量と種類。 実験1、実験2、実験3を実施 触覚形状(ブラインドと目隠しグループ)を探索して描画する参加者を招待し、ゴムマット(タッチで)を探索する:例えば、サイズや質感のために、触覚/視覚的な絵カードやコピー用紙やプラスチックを使用せずに上に置かれたエンボスフィルム。 実験1の実施 2枚の絵のカードがゴム製のマットに表示され、それぞれが触覚/視覚的な形状を描いていることを説明します。次に、一部のオーディオが MP3 プレーヤーから再生され、このオーディオが触覚/視覚的な図形のいずれかに対応することを説明します。注:触覚/視覚ブーバ/キキ(塗りつぶしと輪郭を描く)と聴覚ブーバ/キキ(音と言葉)の2種類について参加者に通知しないでください。 2 枚の触覚/視覚的な図のカードをゴム製マットに置きます (図1)。 目隠しと目隠しのグループでは、参加者に両手を使って拳を作り、提示された触覚/視覚的な絵カードの上に拳を置き、必要に応じてそれらを導きます。参加者の拳の上に左手を置きます。 参加者に、タッチによる目隠しと目隠しグループ、ビジョングループの2つを探求してもらい、拳の上の手(ブラインドと目隠しグループ)/カートンプレートまたはフォームボード(ビジョングループ)を取り除き、’と言うように依頼します。彼らが探検を終えたら、はい。 参加者の拳(ブラインドおよび目隠し群)/カートンプレートまたはフォームボード(ビジョングループ内)から左手を取り外します。 参加者が「はい」と言ったらすぐに、触覚/視覚的な絵カードをカバーします。 MP3プレーヤーからオーディオを再生します。注:MP3プレーヤーからの聴覚情報を1回だけ再生し、参加者に口頭で繰り返さないようにします。 参加者に、オーディオに関連付ける触覚/視覚的な形状を、例えば「左/右」、「曲線/角」、または「花/星」と言って、与えられた形状を通知してもらいます。参加者の回答に応答しないでください。 参加者の回答が正しいか正しくないかをスコア付けします。注: 8 回の試行すべてに対して 4.5.2 ~ 4.5.9 を繰り返します。 実験2の実施 触覚/視覚的な形状を描く1枚の画像カードがゴム製マットに表示され、MP3プレーヤーからいくつかのオーディオが再生されることを説明します。次に、参加者が触覚/視覚的な形状を調べ始めるとすぐに、オーディオがピクチャ カードごとに 1 回再生されることを説明します。注:触覚/視覚ブーバ/キキ(塗りつぶしと輪郭を描いた)、聴覚ブーバ/キキ(音)の1つのタイプ、および2種類の一致性(一致性と不一致)について参加者に知らせない。 ラバーマットの上に触覚/視覚的な絵カードを置きます。 目隠しと目隠しのグループでは、参加者に両手を使って拳を作り、提示された触覚/視覚図カードの上に拳を置き、必要に応じてそれらを導きます。参加者の拳の上に左手を置きます。 触覚/視覚的な形状、視覚による目隠しと目隠しグループ、視覚による視覚グループ、拳の上の手(ブラインドおよび目隠しグループ)/カートンプレートまたはフォームボード(ビジョングループ)を取り外し、耳を傾けるオーディオ。次に、触覚/視覚的な形状とオーディオに「ブーバ」または「キキ」のいずれかの名前を付けてもらいます:彼らは探検を終えたときに、1つの名前だけ23、24、25。 参加者の拳(ブラインドと目隠しグループ)/カートンプレートまたはフォームボード(ビジョングループ内)から左手を取り外し、MP3プレーヤーからオーディオを再生します。注:MP3プレーヤーからの聴覚情報を1回だけ再生し、参加者に口頭で繰り返さないようにします。 参加者が触覚/視覚的な形状とオーディオに名前を付けるとすぐに、画像カードをカバーし、与えられた名前をメモします。参加者の回答に応答しないでください。 参加者の回答が正しいか正しくないかをスコア付けします。注: 8 回の試行すべてに対して 4.6.2 ~ 4.6.7 を繰り返します。 一致した、不一致の試行を通じて、触覚/視覚ブーバとキキの形状の≥75%を認識した場合、参加者を「正しい」とカウントします。 実験3を実施する:コピー用紙/プラスチックのエンボスフィルムの一部は、触覚/視覚図カードの代わりにゴムマットの上に置かれ、参加者はそれを描く必要があることを説明します。ブラインドと目隠しグループでは、参加者に異なる描画装置を試してみて、コピーペーパーまたはプラスチックエンボスフィルムとローラーボールペンまたはサドルバックスタイルを自分で決定するように招待します。次に、一部のオーディオが MP3 プレーヤーから再生され、参加者がこのオーディオに関連付けられている触覚/視覚的な形状を描画することを説明します。注:聴覚情報(ブーバとキキ)、および聴覚ブーバ/キキ(音と言葉)の2種類について参加者に通知しないでください。 コピー用紙/プラスチックエンボスフィルムをゴムマットの上に置きます。 3つの実験グループ(ブラインド、目隠し、ビジョン)のすべてで、ローラーボールペン/サドルバックスタイルを持ちながら両手で拳を作り、必要に応じてコピーペーパー/プラスチックエンボスフィルムの上に拳を置き、必要に応じてそれらを導くよう参加者に依頼します。参加者の拳の上に左手を置きます。 拳の上の手を取り外すときに、提示されたオーディオに関連付ける形状を描画するように参加者に依頼します。ブラインドと目隠しグループでは、参加者に触覚形状を描いてもらいます。そして、ビジョングループでは、視覚的な形状。絵を描き終わったら「はい」と言ってもらいます。 参加者の拳から左手を取り出します。 MP3プレーヤーからオーディオを再生します。注:MP3プレーヤーからの聴覚情報を1回だけ再生し、参加者に口頭で繰り返さないようにします。 参加者が「はい」と言ったらすぐに、ゴムマットから触覚/視覚的な図面を取り除き、正しい試用番号で右下隅にラベルを付けます。参加者の回答/描かれた形状に対する返信やコメントは行わなくしてください。注: 4 つの試行ごとに 4.7.2 ~ 4.7.7 を繰り返します。 各テスト セッションの直後に、すべての触覚/視覚図面 (1:1 サイズ) を jpg 形式にスキャンします。注:実験3は、すべての図面データが収集された後、スコアラーのグループによって得点されます。 図面データを採点するためのアンケートを作成する (cf.図 2): スキャンしたすべての図面を縮小して、横 A4 形式のページごとに 12 枚の画像を含めます。 ブバ/キキトライアル、サウンド/ワードトライアル、ブラインド/ブラインド/ビジョンドロワーをランダムに割り当てます。 各画像の左上隅に試用版番号を追加します。 各画像の下に「ブーバ」と「キキ」と「ブラインド」、「目隠し」と「視力」を追加します。 18歳以上のグループスコアラーを募集する。正常/正常な聴覚と視覚に修正;認知遅延や障害、身体的障害を伴わず、それは、この研究に対してすべて素朴であり、視覚的な形状印刷された単語bouba/キキ効果を示しています。 アンケートの画像ごとに2つの複数選択の質問に答えてもらいます。(1)「写真の形は『ブーバ』か「キキ;」、(2)「生まれてから、目隠しをして、目隠しをしている人が描いた形か」。17. アンケートの写真の数に応じて、得点者のグループの半分にアンケートの半分を得点し、残りの半分を得点するように依頼します。 トライアルごとに、「対応」、”対応しない”、”決定的でない” をカウントします。 (i)スコアラーの75%がどの触覚/視覚的形状(ブーバまたはキキ)が描かれているかに合意し、(ii)この形状がこの試験で提示された聴覚ブーバ/キキに対応した場合の「対応」。 (i)スコアラーの75%がどの触覚/視覚的形状(ブーバまたはキキ)が描かれているかに合意し、(ii)この形状がこの試験で提示された聴覚ブーバ/キキと一致しなかった場合、「対応しない」。 得点者の<75%がどの触覚/視覚的形状(ブーバまたはキキ)が描かれたかに同意したとき、「決定的ではない」。統計分析から「決定的でない」写真/参加者の図面を削除します。 裁判を通じて、参加者を描いた精神的なイメージの75%が「対応」としてカウントします:つまり、触覚/視覚的な形状は、提示された聴覚ブーバ/キキに対応しています。 各裁判について、「認識済み」、”認識されない”、”決定的でない” を数えます。 (i) ≥66.6%の得点者がどの実験グループ(ブラインド、目隠しまたは視覚)が絵の形を描いたかに合意した場合、「認識」し、(ii)これはこの試験で正しかった。 (i) ≥66.6%の得点者がどの実験グループ(ブラインド、目隠しまたは視覚)が絵の形を描いたかに合意した場合、「認識されない」と、(ii)この試験では正しくありませんでした。 得点者の<66.6%が、どの実験グループ(ブラインド、目隠しまたはビジョン)が絵の形を描いたかに同意したとき、「決定的ではない」。統計分析から「決定的でない」参加者の認識を除外します。 トライアル全体(および「決定的でない」参加者の認識が削除された場合)は、すべての試験の75%で認識された場合、参加者を「認識」としてカウントします。 図 2: 図面データを採点するためのアンケートの例この図のより大きなバージョンを表示するには、ここをクリックしてください。

Representative Results

ブーバ/キキ効果 先天性盲検者12名のうち6名(50%)、目隠しをした12人中9人(75%)、完全に視力を失った12人のうち10人(約83%)。インスタント触覚/視覚聴覚ブーバ/キキ効果を示した:すなわち、目隠しと視力群の両方が有意にチャンスレベル(50%)を上回っていた:φ2(1)N = 12) = 3.00、p = 0.08 および φ2(1。 N = 12) = 5.33, p = 0.02 (実験 1, 試用 1)17.3つの実験群(実験1、事前試験)17の間のフィッシャーの正確な試験によって有意な差は見つからなかった。(Cf.表 1.) 長期的な触覚/視覚聴覚ブーバ/キキ効果に関しては、グループ内で最初に繰り返された測定では、先天的に盲目の参加者9人と、完全に視力を失った9人と7人がブーバ/キキ効果を示した。目隠し: ブラインドとビジョングループは、チャンスレベル(50%)を大幅に上回っています: φ2(1.N = 12) = 3.00、p = 0.08 および φ2(1。 N = 12) = 3.00, p = 0.08 (実験 1, 試用 4)17.グループ内で繰り返される2回目の測定では、視覚および視覚グループの11人の参加者が触覚/視覚聴覚ブーバ/キキ効果を示した:両方の実験群は再び有意に有意に有意に有意に有意に有意に上回った(50%):φ2(1)。N = 12) = 8.33、p = 0.00 および φ2(1。 N = 12) = 8.33, p = 0.00;目隠し群の7つ(実験1、試験5)17.最後に、グループ内の測定と後のテストを繰り返した3回目では、先天性盲人の12人中9人(75%)、目隠しをした12人のうち6人(50%)、完全に視力を失った12人の参加者全員(100%)触覚/視覚聴覚ブーバ/キキ効果を示した。ブラインドとビジョングループの両方が再び有意に有意にチャンスレベル(50%)を上回った:φ2(1。N = 12) = 3.00、p = 0.08 および φ2(1。 N = 12) = 12.00、 p = 0.00 (実験 1、試用 8)17.フィッシャーの正確なテストは、目隠しとビジョングループ[p = 0.01] の間に有意な差を見つけました。(実験1、後試験)]17. (Cf.表 1.) 参加者グループ インスタントブーバ/キキ効果 長期ブーバ/キキ効果 事前テスト 繰り返しメジャー 1 繰り返しメジャー 2 繰り返し測定 3/ポストテスト ブラインド 50.0% 75.0% 91.7% 75.0% 目隠し 75.0% 58.3% 58.3% 50.0% ビジョン 83.3% 75.0% 91.7% 100.0% 表1:インスタントおよび長期のブーバ/キキ効果 ブーバとキキの形の認識 先天性盲検者12名のうち11名(約92%)、目隠しをした12人中9人(75%)、完全に視力を失った12人全員(100%)即座に一致する触覚/視覚と聴覚ブーバ/キキを認識しました。3つの実験群すべてが、有意にチャンスレベル(50%)を上回った:φ2(1)N = 12) = 8.33、 p = 0.00、φ2(1。N = 12) = 3.00、p = 0.08、および φ2(1。 N = 12) = 12.00、 p = 0.00 (実験 2、試用 1)17.(Cf.表2.) 長期的には、ブラインドグループの11人の参加者が、触覚ブーバ/キキの形状を一致性のオーディオと一緒に認識し、10人の参加者が不一致のオーディオを持つ:両方のタイプの一致が有意にチャンスレベル(50%)を上回って認識された:1. N = 12) = 8.33、p = 0.00 および φ2(1。 N = 12) = 5.33, p = 0.02 (実験 2, 試用 1-8)17.目隠しグループの9人の参加者は、一致するオーディオと8人の参加者と一緒に触覚形状を認識し、8人の参加者と不一致のオーディオを認識しました。言い換えれば、合体形状とオーディオは、チャンスレベル(50%)を大幅に上回っていました: φ2(1.N = 12) = 3.00, p = 0.08 (実験 2, 試用 1-8)17.ビジョングループの12人の参加者全員が、視覚的なブーバ/キキの形状を、一致するオーディオと一緒に認識し、6人の参加者は、偶然のレベル(50%)を大幅に上回って認識された:1。N = 12) = 12.00、 p = 0.00 (実験 2、試用 1-8)17.(Cf.表2.) 参加者グループ ブーバ/キキ形状のインスタント認識 ブーバとキキ形状の長期認識 コングラップシェイプとオーディオ コングラップシェイプとオーディオ 違和感のある形状とオーディオ ブラインド 91.7% 91.7% 83.3% 目隠し 75.0% 75.0% 66.7% ビジョン 100.0% 100% 50.0% 表2:ブーバとキキ形状の即時および長期認識 ブーバとキキの精神的イメージ 先天性盲目の12人のうち8人[~73%(1つの「決定的でない」参加者の図面を削除した)、目隠しされた12人のうち8人[~89%(3つの「決定的でない」参加者の図面が削除された))、および完全に目が見えた12人のうち8人[80%(2つの「決定的でない」参加者の図面を削除した)]即座に精神的なイメージを描いた:提示された聴覚ブーバ/キキに対応した触覚/視覚的形状(実験3、試験1)17。目隠しと視力群の両方が有意にチャンスレベル(50%)を上回った:φ2(1.N = 9) = 5.44、p = 0.02 および φ2(1。 N = 10) = 3.60, p = 0.06 (実験 3, 試用 1)17.(Cf.表3.) ブーバとキキの長期的な精神的イメージについて:盲人グループ11名、目隠しグループ8名、ビジョングループ12名が、発表された聴覚ブーバ/キキに対応した触覚/視覚ブーバ/キキの形状を描きました(実験3、トライアル 1-4)17.ブラインドとビジョングループの両方が有意にチャンスレベル(50%)を上回っていました: φ2(1.N = 12) = 8.33、p = 0.00 および φ2(1。 N = 12) = 12.00, p = 0.00 (実験 3, 試用 1-4)17.フィッシャーの正確なテストは、目隠し群とビジョン群[p= 0.09(実験3、試験1-4)]17との間に有意な差を見出した。(Cf.表3.) 参加者グループ ブーバ/キキのインスタントメンタルイメージ ブーバとキキの長期的な精神的イメージ ブラインド 72.7% 91.7% 目隠し 88.9% 66.7% ビジョン 80.0% 100.0% 表3:ブーバとキキのインスタントと長期の精神的イメージ さら。参加者図面全体の約83%は、グローバルブーバとキキ形状の最も特徴的な形状特徴を含んでいました:曲線と角度、それぞれ(実験3、試験1-4)17。参加者の図面は、曲線/角度の量(例えば、キキワードの1と5の角度:cf.図2、試験1、6、および9)と曲線/角度の方向で異なっていました[すなわち、水平、垂直または対角:cf.図2、試験2、5、8(ブーバ音))は、通常、グローバルブーバ/キキ形状を含んでいなかった[実験3、試験1-4(図1;;図 2)]17.最後に、実験グループは、スコアの回答の約43%で認識されました:盲検グループの5人、目隠しグループの3人、ビジョングループの5人。実験群は有意に有意に有意に有意に有意に有意に有意に有意に有意に有意に上回った[33.3%(実験3、試験1-4)]17. 視覚画像と学習の効果 提示されたプロトコルは、ブーバ/キキ効果における視覚画像の役割を調査することに成功しました, 触覚/視覚聴覚ブーバとキキの規則性に気づく訓練がブーバ/キキ効果と個々の触覚の認識に影響を与えたかどうか/ビジュアルブーバとキキの形、そして最後にこれらのシェイプオーディオの規則性が17を生成したどのような精神的なイメージ.視覚経験のない1つの実験グループ(すなわち、ブラインドグループ)と視覚経験を持つ2つの実験グループ(すなわち、目隠しと視覚グループ)を含むことで、視覚画像の効果をテストすることができました。そして、視覚経験と広範な触覚経験を持たない1つの実験グループ(すなわち、盲検グループ)と広範な視覚経験と触覚経験のない1つの実験グループ(すなわち、目隠しグループ)を含むことで、テストすることが可能でした。触覚聴覚規則に気づく訓練の効果。この結果は、目隠しグループが新しい触覚聴覚の問題を解決するために視覚画像を描いたが、長期的ではないことを明らかに示唆している(実験1-3)。ブーバ/キキシェイプオーディオの規則性に関するトレーニングは、触覚/視覚聴覚ブーバ/キキ効果(実験1)と個々の触覚/視覚ブーバとキキ形状の認識に影響を与えた[すなわち、一緒に合体オーディオ(実験2)]は、実験群毎に異なるが(実験1-2)、全ての実験グループがブーバ(曲線)とキキ[(角度)実験3]の最も特徴的な触覚/視覚聴覚形状の特徴の精神的な画像を作成した。Cf.表 1;表 2;表 3]17.また、インスタントおよび長期効果のグループ内測定を繰り返し含め(実験1-3)、視覚画像と学習形状オーディオ規則の効果が実際に発生した場合にテストすることが可能であった。そして、3つの異なるタスク(すなわち、実験1の触覚/視覚聴覚ブーバ/キキ効果)を含め、実験2で個々の触覚/視覚ブーバ/キキ形状を一緒に認識し、精神的なイメージを描くことによって実験3のブーバ/キキオーディオ)は、これらの効果がどれほど堅牢だったかをテストします。この結果は、視覚画像の効果が各タスク内で長期間堅牢ではなかったことを明らかに示唆している。.触覚タッチを使用する場合[cf. 目隠し群(実験1-3)]。一方、学習の効果は、形状オーディオの規則性であったが、タスクを越えて[cf.盲目および視力群(実験1-3)。Cf.表 1;表 2;表 3.]17歳

Discussion

提示されたプロトコルは、視覚的な画像の効果を調査し、それらが発生したとき、およびそれらがどれほど堅牢であるかを学習するために適切です。特定の個人や個人のグループで。

このプロトコルは、精度だけでなく、探査時間のテストにも適しています:実験者が参加者の拳から左手を取り出すとき(ブラインドおよび目隠しグループで)/カートンプレートまたはフォームボード(で参加者が「はい」と言うときまで、ビジョングループ)。統計分析では、実験グループごとの試行あたりの最長探査時間は4つに分けられ、各実験グループの「高速」、「中」、および「遅い」参加者の数は、この探査時間の≤25%を使用して「高速」とカウントされます。26-75%を使用し、≥75%を使用して「遅い」を使用して媒体。試験全体で、参加者は実験2のようにカウントされます:つまり、すべての試験の66.6%で「速い」としてカウントされ、すべての試験の66.6%で「中」としてカウントされる場合は「中」としてカウントされます。(「決定的でない」、すなわち参加者は「速い」、’中’または「遅い」、cf. 実験3としてカウントすることはできません。サンプルサイズや正解と間違った解答の数に応じて、正解と誤解の探索時間を個別にテストすることができます。テストの精度、探査時間、またはその両方のいずれであっても、3 つの実験を固定順序で行い、すべての参加者に対して一定の順序で試験を行う必要があります。参加者は、3つの実験の全てにブーバとキキが含まれることを認識してはならない。さらに、MP3プレーヤーからの聴覚情報は一度だけ再生され、参加者に口頭で繰り返されるべきではありません(3つの実験すべて)。実験1および実験2では、触覚/視覚ブーバとキキを同じ位置と向きで提示する必要があります。ビジョングループ(すべての3つの実験)の場合、試験材料はカートンプレート/フォームボードの後ろに設置する必要があります。最後に、目隠しグループでは、実験3が完了するまで、参加者は目隠しを取り外すべきではありません。これらのステップは、触覚/視覚および聴覚ブーバおよびキキに関する情報の量と種類が、すべての実験グループにわたって制御されることを保証することである。さらに、実験2では、参加者が触覚/視覚ブーバ/キキの探索を開始するとすぐに聴覚ブーバ/キキを提示することが重要です。これにより、マルチモーダル (一致または不一致) 情報が表示されます。さらに、このプロトコルは、個人の他のグループをテストする場合にも適しています。これらを統合するために、このような参加者グループを別々の実験グループとして追加することができます:例えば、色知覚グループと形状知覚グループ。22突然の視力喪失グループと進行性視力喪失グループ;20歳,聴覚障害および/または自閉症スペクトラム障害13を有する21および/または特定のグループを追加することができる。

このプロトコルを使用すると、各グループ内のメジャー、および/またはタスクを含む、各インスタントおよび長期的な効果に対して特定のグループのグループ規範(正確性および/または探索時間)を確立することが可能になります。その後、グループの規範に反して個人をテストする:特定の個人またはグループ全体がシェイプオーディオの規則性に気付くためにさらなるトレーニングを必要としているかどうか。各インスタントおよび長期効果のグループノルム(グループ内の測定を繰り返す、および/またはタスクを含む)は、シェイプオーディオの規則性に気づくために必要なトレーニングの種類を決定することを可能にします:例えば、触覚を用いたより多くの試験/視覚聴覚ブーバ/キキ効果(実験1)および/またはより多くの試験は、一致し、違和感のある触覚/視覚的形状とオーディオ(実験2)。実際、各タスクで試行回数とグループ内での繰り返し対策の回数を増やすだけでなく、その間の時間を変更することで、より個別のトレーニングとテストを可能にすることが可能になります。

ただし、このプロトコルは、どのような種類の材料(例えば、ブーバやキキ、塗りつぶされたまたは輪郭を描かれた触覚/視覚形状、および/または聴覚音または単語)をテストする場合に変更する必要があります。このプロトコルを変更する可能な方法は、ブロック内の異なる材料を提示することを含むことができる:例えば、充填された触覚/視覚形状と聴覚音および/または輪郭を描かれた触覚/視覚形状と聴覚単語(実験1)。これらのブロックは、1つの実験グループのすべての参加者にランダムな順序で提示することができます。あるいは、4つのブロックのそれぞれを別々の実験群にする(実験1)。このプロトコルは、ビジュアル画像の堅牢性や、タスク内およびタスク間で学習されたシェイプオーディオの規則性をさらにテストする場合にも変更が必要になります。この変更には、トレーニングに含まれるものとは異なる触覚/視覚的形状および/またはオーディオを持つグループ内のメジャーを繰り返し追加する必要があります。例えば、触覚/視覚ブーバとキキの形と聴覚の言葉(実験1)1、3、4、10、およびトレーニング後の「maa-boo-maa」と「tuh-kee-tee」の聴覚音で、11歳,12歳,13歳,14歳,15歳,16. 別のオプションは、主に湾曲/角度ではない第3の触覚/視覚的形状を実験110、11、12の触覚/視覚ブーバとキキ形状と一緒に提示する必要があります ,13,14,15,16.聴覚ナンセンスワードと音は、この触覚/視覚的形状のために作成され、第3の形状ワードペア14、15、16および第3の形状音対17(実験1)を生成することができる。その後、シェイプサウンドペアをキャッチトライアルとして実験2に含めることができる。または通常の一致試験として、および対応する不一致の試験として。最後に、実験3で音(実験2と実験1から)および/またはナンセンスワード(実験1から)を提示することができました。3 番目のオプションは、実験 2 と実験 3 をまったく実行せず、実験 1 で繰り返されるグループ内のメジャーでタスクとしてランダムな順序で実行する必要があります。

提示されたプロトコルは、トレーニングとテスト中に視覚画像と感覚情報の両方を制御し続けるというユニークな方法です。それは柔軟です:大小のサンプルおよび特定の個人は自分自身に対してテストすることができる(cf.グループ内テスト)および/または他のグループの個人(cf.グループ間テスト)。精度と探査時間の両方をテストし、各実験で試行回数を変更し、グループ内で繰り返し測定を行い、試行や実験の順序を変更または折りたたむことも可能です。

Disclosures

The authors have nothing to disclose.

Acknowledgements

出資:
この研究は、マリー・スクロドウスカ・キュリー・アクション(交付契約番号657440)とノルウェー盲人・視覚協会の下で、欧州連合のHorizon 2020研究・イノベーション・プログラムによって資金提供されました。

フィルムメイク:
メイクアップアーティストのレイチェル・パレイ。

Materials

Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. . Gestalt psychology. , (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
  22. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  23. Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
  24. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
check_url/59954?article_type=t

Play Video

Cite This Article
Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

View Video