Waiting
Processando Login

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

スマートフォンでのキーボード設計評価の評価方法とツールキット

Published: October 5, 2020 doi: 10.3791/61796
Automatic Translation
1, 1, 1, 2, 3, 1
1Department of Psychology, School of Social Sciences, Tsinghua University, 2Department of Computer Science, Beijing Normal University, 3Haier Innovation Design Center, Haier Company

ERRATUM NOTICE

Summary

提示されたプロトコルは、さまざまな評価方法を統合し、スマートフォンでキーボードの設計を評価する方法を示しています。英字で一致するペアが入力材料として提案され、2つのキー間の遷移時間が従属変数として使用されます。

Abstract

キーボード入力は、膨大なユーザーベースとの人間とコンピュータの相互作用に不可欠な役割を果たしており、キーボードの設計は常にスマートデバイスに関する研究の基本的なオブジェクトの1つとなっています。スクリーン技術の開発により、より正確なデータと指標をスマートフォンで収集し、キーボードの設計を詳細に評価することができました。携帯電話の画面の拡大は、特に片手入力のために、不十分な入力経験と指の痛みにつながっています。入力効率と快適さが研究者やデザイナーの注目を集めており、親指の生理学的構造とほぼ一致するサイズ調整可能なボタンを備えた湾曲したキーボードは、大画面スマートフォンでの片手使用を最適化するために提案されました。しかし、その本当の効果はあいまいなままでした。そこで、このプロトコルは、5インチスマートフォンにおける曲面型QWERTYキーボード設計の効果を、客観的な行動データ、主観的フィードバック、各タッチポイントの座標データなどの詳細な変数を持つ自己開発ソフトウェアを通じて評価する一般的かつ要約的な方法を実証しました。仮想キーボードの評価には十分な既存の文献があります。しかし、そのうちのほんの一部だけが体系的に要約し、評価方法とプロセスを反映しました。したがって、このプロトコルはギャップを埋め、分析と可視化のために利用可能なコードを持つキーボード設計の体系的な評価のプロセスと方法を提示します。それは追加または高価な装置を必要としないし、実施し、作動しやすい。さらに、このプロトコルは、設計の欠点の潜在的な理由を得るのに役立ち、設計の最適化を啓発します。結論として、オープンソースのリソースを持つこのプロトコルは、初心者に研究を開始するよう促すクラス内実証実験であるだけでなく、ユーザーエクスペリエンスと入力方式エディタ企業の収益の向上にも貢献する可能性があります。

Introduction

キーボード入力は、人間とスマートフォンの相互作用の主流の方法である 1,2, スマートフォンの普及に伴い, キーボード入力は、ユーザーの数十億を取得します.2019年の世界のスマートフォン普及率は41.5%3に達し、最も普及率が高い米国は79.1%4に達した。2020年第1四半期まで、Sogouモバイルキーボードは、毎日約4億8000万人のアクティブユーザー5を持っていました。2020年5月6日まで、Google Gboardは10億回以上6回ダウンロードされていました。

携帯電話の画面の拡大に伴って、不十分なキーボード入力の経験が増加します。拡大画面は視聴体験の向上を目的としたものの、スマートフォンの重力、サイズ、重量が変化し、ユーザーが遠隔地(右手のユーザー向けのボタンAやQなど)に到達するように姿勢を繰り返し変更し、入力の非効率性を引き起こします。筋肉のストレッチは、筋骨格系障害、手の痛み、および異なるタイプの疾患(例えば、手根管症候群、親指変形性関節症、および親指テノソノビティス7、8、9、10)に苦しむ可能性があります。片手で使用を好むユーザーは、より悪い条件の下で 11,12.

そのため、キーボード設計の評価と最適化は、心理学的、技術的、人間工学的研究のホットな話題となっています。可変的なキーボード設計と概念は、入力操作性を最適化するために入力操作性と効率を最適化するために、常に提案されてきました。

キーボード設計の既存の評価方法は、いくつかの高い評価指標を除いて研究者によって異なり、より正確な指標が提案されています。しかし、さまざまな指標では、キーボード設計の評価と分析のプロセスを実証するために提供される要約された体系的なプロトコルはありません。フィットの法則17と人間とコンピュータの相互作用を記述したその拡張バージョン FFitts 法18は広くキーボードのパフォーマンスを評価するために採用されました19,20,21,22.また、親指の機能領域はキーボード設計を改善するために提案され、入力タスク23を快適に完了させる親指の湾曲運動領域を説明した。これらの理論に基づいて、1分あたりの単語、単語エラー率、および主観的フィードバック(知覚されたユーザビリティ、知覚されたパフォーマンス、知覚された速度、主観的な作業負荷、知覚された運動と痛み、および使用する意図など)を含む指標は、以前の研究24、25、26、27、28、29で部分的に使用されました。 モデリングとシミュレーションの方法を除く。また、タッチポイントのフィット楕円を各ボタンとそのオフセット30,31に合わせて、入力イベントの正確な性能を調査するために近年使用されました。また、ガルバニック皮膚応答、心拍数、筋電図活動、手のジェスチャー、および身体運動32、33、34、35は、直接的または間接的にユーザーの筋肉疲労、快適性、および満足度を評価するために採用された。しかし、これらの様々な方法は、使用される指標の適切性に反映されていない、と初心者の研究者は、彼または彼女の研究のための適切な指標を選択するために混乱する可能性があります。

キーボード設計に関する研究も容易に行い、操作し、分析することができます。画面技術のブームにより、より多くの行動データを簡単に収集してキーボード設計を詳細に評価することができます(例えば、2つのキー間の遷移時間と各タッチポイントの座標データ)。上記のデータに基づいて、研究者はキーボード設計の詳細を正確に探求し、その欠点と利点を分析することができました。他の人とコンピュータの相互作用研究と比較すると、ポータブルスマートフォンのキーボード設計の研究は、高価な機器、複雑な材料、または必要な巨大な実験室スペースを持たない広大なユーザーベースのための高いアプリケーション価値を持っています。調査に関するアンケート、スケール、および Python スクリプトはオープンソースで、簡単にアクセスできます。

本研究の目的は、スマートフォンでのキーボード設計を評価し分析するための体系的、正確、一般的なプロトコルを実証するための、これまでの方法を要約することです。例示的な実験と結果は、サイズ調整可能なボタンを備えた湾曲したQWERTYキーボードが、従来のQWERTYキーボードと比較して5インチスマートフォン上の片手入力の入力体験を最適化できるかどうかを示し、データ分析の視覚化方法とPythonスクリプトを共有することを目的としています。

Subscription Required. Please recommend JoVE to your librarian.

Protocol

この研究は倫理原則に従って実施され、清華大学倫理委員会によって承認されました。 図1 は、スマートフォンのキーボード設計を評価するプロセスを示しています。

Figure 1
図1:キーボード実験を行い、キーボード設計を評価する一般的なプロセスこの図の大きなバージョンを表示するには、ここをクリックしてください。

1. 準備

  1. 実験計画
    1. 研究課題を定義し、仮説を提案する。
    2. 仮説に従って実験を設計し、独立変数(例えば、キーボードレイアウト、タイピング姿勢)を定義します。参加者間の差異によって生じる交点要因と分散を減らすために、対象内設計を使用します。
  2. 従属変数
    1. 図2に示すように、手の長さ、入力指の長さ、およびテープ測定によって測定された入力指の円周を含む物理データを使用する。
    2. ガルバニック皮膚応答(携帯用無線生理検出器で測定)、心拍数(携帯用無線生理検出器で測定)、筋電図活動(表面筋電図で測定)などを含む生理学的データを使用する。
    3. 入力パフォーマンスを使用する:1分あたりの単語数、単語エラー率、2つのキー間の切り替え時間。
      1. 1 分あたりのワードは、参加者の入力速度 (すなわち、1 分あたりの正しい入力語数) を指します。
      2. Word エラー率は、参加者の入力精度を示します (すなわち、誤入力された単語の数を 1 つの条件下の単語の合計数で割った値)。修正されたエラー率、未修正のエラー率、および合計エラー率は、以前の研究でも使用されています36.
      3. 2つのキー間の遷移時間は、正しく入力された単語22 の2つのタッチポイント間の参加者の反応時間(すなわち、第2のタッチポイントの開始時刻から最初の文字の出発時間を引いた時間)を指す。
    4. 手のジェスチャーや体(指)の動きなどの身体運動データを使用します。それらはモーションキャプチャシステム35によって収集することができる。
    5. 知覚されたユーザビリティ、使用意図、知覚精度と速度、知覚された運動と痛み、主観的な作業負荷などの主観的なデータを使用します。主観的なデータは、既存のスケールやアンケートを通じて取得することができ、高い信頼性と有効なキーボード設計に関する参加者の主観的フィードバックをより良く評価します。
      1. 精神、物理的、時間、パフォーマンス、労力、およびフラストレーションの次元を通じて主観的な作業負荷を測定するために使用される21ポイントのスケールであるNASA-TLXを使用してください。高いスコアは、主観的なワークロードが高いことを示します。
      2. システムユーザビリティスケール、10項目の5ポイントアンケートを使用し、1人の参加者の回答は0から100までの単一スコアとして計算されます。高いスコアは、高い知覚ユーザビリティ24を示します。
      3. 0 から 10 までのボーグ CR10 スケールを使用して、知覚された痛みや運動を測定します。高いスコアは、高レベルの知覚痛と運動25を示す。
      4. [スケールを使用する意図] : 参加者がテクノロジまたは製品を使用する可能性を測定するために使用される 10 ポイントのアンケートを使用します。高いスコアは、高レベルの尤度28を示します。
      5. 知覚された速度と知覚精度はすべて50ポイントのスケールで測定され、高いスコアは良好な知覚性能28を示す。
    6. 各タッチポイントの座標データを収集し、各ボタン30、31のタッチポイントのフィット楕円(95%CI)に変更します。各フィット楕円の面積と、フィットした楕円の中心から各ボタンのターゲット中心までのオフセットを従属変数として採用します。
      メモ:座標データは、スマートフォン上の自己開発アプリケーションによって正確に収集することができます。座標データを取得するのが難しい場合は、目的データと主観的データで、キーボード設計を大まかに評価できます。

Figure 2
図2:手の測定。この図の大きなバージョンを表示するには、ここをクリックしてください。

  1. 料
    1. 実験用スマートフォンを選択します。重量、解像度、画面サイズを考慮します。
    2. スマートフォンで実験ソフトウェアを設計・開発します(オプション)。
      注:2つのキー間の切り替え時間は、このソフトウェアまたはモーションキャプチャセンサー(すなわち、加速度計センサー)によって自動的に記録することができます。手動で収集することは困難な場合があります(例えば、時計やストップウォッチ)。
    3. 仮説に基づいて以下の提案から入力タスクを選択し、研究目的に合わせて修正します。
      1. キャラクタ ペア入力タスクでは、26 個の英語文字を 676 のペアにランダムに組み合わせ、実験計画に基づいて複数のグループに平均分割します。
      2. フレーズ(文)入力タスクでは、中程度の長さ、覚えやすいフレーズ、および対象言語の代表を使用します。対象言語が英語の場合は、500 フレーズセット37から 15 ~ 20 (または研究目的に基づく) フレーズまたは単語を抽出します。
  2. 参加者募集
    1. G*Power ソフトウェアを使用してサンプルサイズを計算します。
    2. アンケートを投稿して、潜在的な参加者を募集します。
    3. たとえば、年齢、健康、視力、利き手、入力経験など、必要な特性を持つ潜在的な参加者をフィルタリングします。参加者の入力エクスペリエンスがバランスよく行えるようにします。

2. 手順

  1. 実験手順、タスク、および精神的または身体的な傷害に遭遇するかどうかなど、参加者に実験のインフォームドコンセントフォームを読み上げてください。参加者が参加することに同意した場合は、インフォームド・コンセントフォームに署名する必要があります。そうでなければ、彼らはすぐに撤退することができます。インフォームド・コンセント・フォームによると、参加者は実験のどの段階でも撤回することができます。
  2. 人口統計データだけでなく、物理的なデータも収集します。手のサイズの違いの影響を排除し、また、将来の研究のために繰り返し可能なデータを提供するために、一人一人の参加者の手を測定するために、テープメジャーを使用してください(図2)。年齢、性別、正確な入力経験、職業などの人口統計データを収集します。
  3. すべてのデバイスを消毒し、デバイスに触れる参加者の身体部分をきれいにします。
    1. 参加者に手を洗い、スマートフォンの画面をきれいにして、スマートフォンのセンサーの感度を高めてもらいます。
    2. 参加者に、携帯用のワイヤレス生理学的検出器またはモーションキャプチャシステムを着用するよう依頼します。非支配的な手にポータブルワイヤレス生理学的検出リストバンドを着用し、騒音干渉を避けてガルバニック皮膚応答と心拍数を記録するように参加者に依頼します。
      1. 爪の上にモーションキャプチャシステムのパッシブマーカーを配置し、指の近位ファランクス、頸椎(C3-C5)、腕を正確に身体と指の動きを集めます。2本の腕と2つの前腕の皮膚にワイヤレス電極を貼り付け、筋電図活動を検出します(任意ステップ)。
    3. 実験で使用したすべてのデバイスを調整します。
  4. 練習パーツ
    1. 参加者にトレーニングタスクを完了させます。トレーニングタスクは、参加者が入力タスクやキーボードに精通して、実験結果に対する練習や不慣れな影響を軽減するために使用されます。676の英語ペアセットまたは500フレーズセットからランダムに選択された50組または20の単語で構成されています。入力精度が150秒で80%以上に達した場合にのみ、正式な試験に入ることができます。模範的な研究は、トレーニングタスクとして50組を入力する採用しました。
  5. メイン タスク
    1. 参加者は、すべての実験条件の下で正式な試験を完了してみましょう。入力タスクの最中にできるだけ早く精度を確保する必要があります。正式な試験は、研究で評価され、分析される実際の入力タスクです。それぞれのペア、単語、または文は試行を表し、異なる実験計画は異なる実験条件を生成する。
    2. 参加者にランダムな順序またはバランスの取れた順序で入力タスクを完了させます。投入材料の分割方法は以下の通りである。まず、676組を各実験条件にランダムに分割することができます(すなわち、参加者は、すべての実験条件を完了したときにすべてのペアを入力しました)。第二に、各実験条件の下で、676組をランダムに複数のブロックに分割することができ、参加者はこれらのブロックをランダムに完了する必要があります。第3に、言葉を入力するためには、各条件で約20回の試験を完了する必要があります。第四に、文章を入力するために、参加者は各条件の下で約10-15の試験を完了する必要があります。研究者は、各条件の下で参加者が入力した文字数と文字数との間に有意な差がないことを確認する必要があります。例示的研究は、最初の方法を採用し、4つの実験条件を持っていました。
    3. 各条件の後、参加者に対して、すべてのアンケート(主観的経験を評価するスケール)をランダムに完了させ、1分以上休ませる。
  6. 実験の最後に、各参加者が包括的なアンケート(Q&A)を完了させ、主観的なフィードバックを得ます。
  7. 金銭的または物質的な報酬を持つ参加者に感謝を表明する。

3. データ分析

  1. 適切なパラメトリック検定または非パラメトリック検定による仮説検定
    1. 物理的、生理的、および身体運動のデータを分析し、参加者間の差がユーザーの結果と表現力に大きく影響するかどうかをテストします(任意のステップ)。
    2. 参加者の入力パフォーマンスを分析し、キーボードの入力効率をテストします。
    3. 主観的データを分析して、キーボードの知覚されたユーザビリティと主観的フィードバックをテストします。
    4. 練習効果と疲労効果が結果に大きく影響するかどうかを把握します。各条件について、試行はタイムスタンプに従って2つの部分に分けられます(すなわち、前半部分と後半部分)。具体的には、各条件下で、前半部と後半部の入力性能の差を調べ、練習効果や疲労効果が存在するかどうかを調べます。
    5. 各ボタンのタッチポイントのフィット楕円の領域と、各ボタンの中心からターゲットの中心までのオフセットを分析します(オプションのステップ)。
      1. ソフトウェアで各ボタンのすべてのタッチポイントを収集し、彼らは大まかに二変量ガウス分布と一致します。x 方向と y 方向の両方の各ボタンの 95% 信頼区間は、ピクセル単位の各タッチポイントの座標データを通じて導き出され、各キーボードのボタンの 1:1 のアウトラインに対する 95% 信頼度楕円は、ピクセル座標の Python スクリプトを通して取り付けられます ( コードファイル 2を参照)。
      2. フィットした楕円(95%CI)とその領域を使用して、各ボタンのタッチポイントの分散を示します。各ボタンでは、Python スクリプトで計算されたフィット楕円のオフセットは、ボタンのターゲットポイントに対するフィット楕円の中心点として定義され、X 方向と Y 方向方向から表すこともできます (つまり、X 軸と Y 軸では 、コーディング ファイル 3を参照)。
  2. モデリングとシミュレーション
    1. データ駆動モデルは、キーボードの位置と方向の関数として使用して、Python スクリプトによる指の動きを予測します。指の動きはすべて8方向38( 上から下、下から上、左から右、右から右、右下から右下、右下から右下、右下から左下、右上から左下)に分かれています。各方向について、2 つのキー間の平均遷移時間が、キーボードのデザインを評価するために使用される指の動きの効果を表すために計算されます (オプションのステップ)。
    2. Python スクリプトによる統合されたコグニティブ アーキテクチャ39 を使用して 2 つのキー間の遷移時間を予測する拡張フィット則 (またはその拡張バージョンの FFitts の法則) モデルを構築するには、線形回帰分析を使用します。強化されたFittsの法則モデルは、キーの位置と有効幅に関する分析と、2つのキーの距離(オプションのステップ)に基づいて、キーボード設計に関するより良い予測と評価を提供することができます。

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

代表的な研究は、主に、上記のプロトコルに従っています。この研究では、2(キーボードレイアウト:湾曲QWERTY対伝統的なQWERTY)×2(ボタンサイズ:大きく、6.3mm×9mm対小、4.9mm×7mm)を採用し、曲面QWERTYが従来のQWERTYと比較して従来のQWERTYと比較して入力効率と快適性を向上させることができるかどうかを評価します。).この研究は、高価な生理学的検出器装置やモーションキャプチャシステムを採用しておらず、データ解析にはモデリングやシミュレーションが含まれていませんでした。

Figure 3
図3:従来のQWERTYキーボードと湾曲したQWERTYキーボードソフトウェアのインターフェース。
(A)大きなボタンサイズ(文字キーサイズ:6.3ミリメートル×9 mm)を備えた伝統的なQWERTYキーボード。(B)大きいボタンサイズのカーブQWERTYキーボード(文字のキーサイズ:6.3 mm×9 mm)。(C)小さいボタンサイズの従来のQWERTYキーボード(文字のキーサイズ:4.9 mm×7 mm)。(D) 小さいボタンサイズの湾曲したQWERTYキーボード(文字キーサイズ:4.9 mm × 7 mm)。各文字キーの縦横比は 7:10 で、各機能キーの幅 (削除、スペース、Enter) は文字キーの 2 倍です。削除とスペースは作業が行われなくて済みます。参加者は Enter キーをクリックして次のトライアルに移行します。この図の大きなバージョンを表示するには、ここをクリックしてください。

清華大学の健康な学生24人が参加しました(女性12名、M=22.46歳、SD=3.04年)。その場合、右手の長さ(M=17.98cmSD=1.20cm)、右手親指の長さ(M=6.00cm、SD=0.68cm)、右手親指の円周(M=5.14cm、SD=0.52cm)を測定した。 サンプルサイズはG*Power 3.1.9.2(効果サイズf = 0.25、α=0.05、パワー=0.80、反復測定間の相関= 0.5)で計算されました。実験用スマートフォンは5インチのスマートフォンです(重量138g、画面サイズ5.0インチ、ppi 294、px 1280×720、電話サイズ143.5×69.9×7.6mm)。

入力性能(2つのキー間の遷移時間、ワードエラー率)、主観的フィードバック、各ボタンのフィット楕円を収集し、測定ANOVAを繰り返し分析した。入力マテリアルは文字ペアであり、2 つのキー間の遷移時間が遷移タッチ イベントをより正確に評価できるため、このスタディでは、1 分あたりの単語ではなく 2 つのキー間の切り替え時間が使用されます。代表的な結果は以下の通りです(表1)。

キーボードレイアウト ボタンサイズ キーボード レイアウト × ボタン サイズ
F p Equation 1 F p Equation 1 F p Equation 1
単語エラー率 48.90 <.001*** 0.68 30.57 <.001*** 0.57 2.63 0.12 0.10
2 つのキー間の切り替え時間 10.19 .004** 0.31 43.57 <.001*** 0.66 12.75 .002** 0.36
知覚された運動と痛み 2.33 0.14 0.09 1.36 0.26 0.06 0.28 0.60 0.01
使用する意図 7.41 .012* 0.24 3.62 0.07 0.14 0.63 0.44 0.03
知覚精度 1.32 0.26 0.54 2.94 0.10 0.11 0.69 0.42 0.03
知覚速度 0.56 0.47 0.02 0.98 0.33 0.04 0.25 0.62 0.01
知覚されたユーザビリティ 0.63 0.44 0.03 5.48 .028* 0.19 0.03 0.87 0.001
主観的なワークロード 精神 19.30 <.001*** 0.46 8.88 .007** 0.28 0.01 0.91 0.001
形而下 2.41 0.13 0.10 5.55 .027* 0.19 0.07 0.78 0.003
時間 0.02 0.9 0.001 10.26 .004** 0.31 0.37 0.55 0.02
パフォーマンス 11.51 .003** 0.33 12.25 .002** 0.35 0.02 0.90 0.001
努力 4.66 .042* 0.17 16.33 .001** 0.42 0.13 0.72 0.006
フラストレーション 9.32 .006** 0.29 8.87 .007** 0.28 2.11 0.16 0.08
フィット楕円の面積 90.00 <.001*** 0.78 1368.78 <.001*** 0.98 31.99 <.001*** 0.56
フィット楕円のオフセット X方向 10.94 .003** 0.30 1.4 0.25 0.05 6.08 0.21 0.19
Y方向 23.49 <.001*** 0.48 0.48 0.50 0.02 13.74 .001** 0.36

表1:各ボタンの入力性能、主観的フィードバック、および適合楕円の統計分析 * を持つ項目は p < 0.05 を意味し、** を持つ項目は p < 0.01 を意味し、*** を持つ項目は p < 0.001 を意味します。

入力パフォーマンスでは、キーボードレイアウトとボタンサイズの相互作用は、2つのキー間の遷移時間においてのみ有意であり(図4)、湾曲したQWERTYでは、小さいボタンサイズの2つのキー間の遷移時間が大きなボタンサイズ(p <0.001)よりも大幅に長くなったことを示しています。キーボードレイアウトの主な効果は、2つのキー間のエラー率(図5)と遷移時間の両方で重要であり、従来のQWERTYのこれらの効果が曲がったQWERTYのそれらより著しく低いことを示しています。ボタンサイズの主な効果は、2つのキー間の単語エラー率と遷移時間の両方で有意であり、大きなボタンサイズのこれらのサイズが小さなボタンサイズのそれよりも大幅に低いことを示しています。他の重要な結果は見つかりません。

Figure 4
図4:3D棒グラフは、4つのキーボードで2つのキー間の遷移時間の視覚化(左は最初の文字、右側は2番目の文字)の視覚化です。
各バーの高さは、遷移時間の値を表します。グラデーションカラー(青、緑、黄、赤)は、数値分布の状況を示すために使用されます( 補足コーディングファイル1を参照)。 この図の大きなバージョンを表示するには、ここをクリックしてください。

Figure 5
図5:各キーボードのワードエラー率。誤差範囲は 95% の CI を表します。この図の大きなバージョンを表示するには、ここをクリックしてください。

主観的なフィードバック (図 6 および図 7)では、キーボード レイアウトとボタン サイズの間のすべての操作は重要ではありません。キーボードレイアウトの主な効果は、使用および主観的な作業負荷(精神的、パフォーマンス、労力、およびフラストレーション)を意味し、参加者が主観的な作業負荷(上記の4つのファセット)を知覚し、従来のQWERTYと比較して湾曲したQWERTYを使用する可能性が高いことを示しています。ボタン サイズの主な効果は、知覚されるユーザビリティと主観的な作業負荷のすべての側面において重要であり、参加者は小さいボタン サイズと比較すると、主観的な作業負荷が少なく、大きなボタン サイズのユーザビリティが高いと感じることを示します。他の重要な結果は見つかりません。

Figure 6
図6:知覚された運動と痛み、使用する意図(左Y軸)、知覚精度、知覚、および知覚されたユーザビリティ(右Y軸)を各キーボードの。
知覚された運動と痛みの高得点は不十分な経験を示し、他の指標は反対を示す。誤差範囲は 95% の CI を表します。 この図の大きなバージョンを表示するには、ここをクリックしてください。

Figure 7
図 7: 主観的なワークロードの 6 つのディメンション。
誤差範囲は 95% の CI を表します。 この図の大きなバージョンを表示するには、ここをクリックしてください。

フィット楕円の領域(図8)では、キーボードレイアウトとボタンサイズの相互作用が有意であり、小さいボタンサイズと大ボタンサイズの両方について、従来のQWERTYの面積が湾曲したQWERTY(p<0.001)よりも大きいことを示していますが、両方のキーボードレイアウトでは、小さなボタンの領域は大きなボタン(p)よりも小さい(p) < 0.001)ボタンサイズとキーボードレイアウトの主な効果は重要であり、従来のQWERTYと大きなボタンの領域がそれぞれ湾曲したQWERTYと小さなボタンの領域よりも大きいことを示しています。他の重要な結果は見つかりません。

Figure 8
図8:4つのキーボードのフィット楕円(95%CI)。
これらは、タッチポイントのピクセル位置を4つのキーボードに合わせることによって描画されます。楕円の中心の座標は、各ボタンのすべてのタッチポイントの平均値です ( 補足コーディング ファイル 2を参照)。 この図の大きなバージョンを表示するには、ここをクリックしてください。

フィット楕円のオフセット(図9 と 図10)では、キーボードレイアウトとボタンサイズの相互作用はy方向のオフセットで有意であり、湾曲したQWERTYでは、小さなボタンのy方向のオフセットが大きなボタンのオフセットよりも大幅に短いことを示しています(p <0.001)。 ボタンの両方のサイズでは、湾曲したQWERTYのy方向のオフセットは、従来のQWERTYのそれよりも大幅に短くなります。キーボードレイアウトの主な効果は、x方向とy方向の両方で有意であり、曲面QWERTYのy方向のオフセットが従来のQWERTYのオフセットよりも大幅に短いことを示しています。他の重要な結果は見つかりません。

Figure 9
図 9: x 方向のフィット楕円のオフセット。
ビジュアライゼーションのために図の 1.2 倍の比率で拡大された矢印の長さは、オフセットの値を表します。また、色の違いによって、各ボタンの平均オフセットから x 方向のオフセットまでの標準偏差 (±) の値が視覚化されます。-1σ 未満の値は緑で、+1σ より大きい値は赤、-1σ と +1σ の間の値はオレンジ色です ( 補足コーディング ファイル 3を参照)。 この図の大きなバージョンを表示するには、ここをクリックしてください。

Figure 10
図 10: y 方向にフィットした楕円のオフセット。
ビジュアライゼーションのために図の 1.2 倍の比率で拡大された矢印の長さは、オフセットの値を表します。また、各ボタンの平均オフセットから y 方向のオフセットまでの標準偏差 (±) の値を、色によって異なります。-1σ 未満の値は緑で、+1σ より大きい値は赤、-1σ と +1σ の間の値はオレンジ色です ( コード ファイル 3を参照し、y 方向のスクリプトは x 方向の場合はわかりやすいです)。 この図の大きなバージョンを表示するには、ここをクリックしてください。

この実習効果はt-testを使用してテストされ、文字ペアの前半と後半の間の入力パフォーマンス (単語エラー率と 2 つのキー間の遷移時間) を比較します。エラー率については、小さなボタンサイズで曲線QWERTYの2つの文字ペアのグループ間に有意差はありません。 t (46) = 2.03, p = 0.05, 大きなボタンサイズの湾曲した QWERTY, t(46) = -0.47, p = 0.64, 大きなボタンサイズを持つ伝統的な QWERTY, t(46) = 0.31, p = 0.76, および従来の QWERTY t(46) = 0.05、 p = 0.97。2つのキー間の切り替え時間については、 大きなボタンサイズを持つ湾曲したQWERTYの2つの文字ペアの間に有意な違いはありません, t(46) = 0.33, p = 0.74, 小さなボタンサイズを持つ湾曲したQWERTY, t(46) = 0.22, p = 0.83, 従来のQWERTYと大きなボタンサイズt(46) = 0.66, p.51, p.51 ボタンサイズが小さい従来のQWERTY、t(46)= 0.09、p = 0.93。 結果は、入力タスクのメインプロセス中に練習効果や疲労効果がなく、参加者が各キーボードに到達し、最高の努力を維持していることを示しています。最高の努力はキーボードに精通していることを示すだけなので、異なるキーボードの最大の努力の絶対値は異なるかもしれません 100 パーセント。

この代表的な研究は、5インチのスマートフォンでは、湾曲したQWERTYが従来のQWERTYよりも悪く、大きなボタンサイズが小さなボタンサイズよりも優れていることを示しています。この代表的な研究では、最高のキーボードは大きなボタンサイズの伝統的なQWERTYキーボードですが、最悪のキーボードは小さなボタンサイズの湾曲したQWERTYキーボードです。すべての結果は、練習効果と疲労効果の影響を受けていません。2つのキー間のエラー率と遷移時間は、曲がったQWERTY設計が2文字間の参加者の反応時間を増加させ、キーの位置と精神的回転のために認識ワークロードを文字に増強し、入力性能が不十分になり、結果は5インチスマートフォンのサイズ縮小ボタンサイズ(小さなボタンサイズのQWERTYキーボード)と同じであることを示しています。主観的フィードバックのほとんどの指標と次元は重要ではありませんが、主観的な作業負荷は、サイズ縮小ボタンと湾曲した QWERTY キーボードを使用して QWERTY キーボードの高い認識ワークロードを示します。しかし、適合楕円の解析から、結果、 および図 8 および 図 10 は、曲線 QWERTY のオフセットが少なく、タッチポイントの分散が少なく、そのオフセットが主に右手の使用のために左上隅に向かっていることを示しています。この結果は、キーボードの曲率を調整し、自動補正機能を追加し、ボタンのサイズをモデレートすることで、曲面のQWERTY設計を最適化できることを示しています。また、 図 8 および 図 10から、曲面 QWERTY キーボードの "R, T, Y, U, I, O, D, F, G, H, J, K, X, C, V, B, N, M" の代わりに使用される曲面 T9 キーボードは、最適化されたキーボードの可能性があります。

したがって、この代表的な研究は、オープンソースのPythonスクリプトを用いたキーボード設計の評価のプロトコルを大まかに示すものであり、今後の研究における研究者の研究目的に基づいて分析と最適化方法を詳細に議論することができる。

補足コーディング ファイル 1: 2 つのキー間の遷移時間の 3D プロット。このファイルをダウンロードするには、ここをクリックしてください。

補足コーディングファイル2:フィット楕円とその領域。このファイルをダウンロードするには、ここをクリックしてください。

補足コーディング ファイル 3: フィット楕円のオフセット。このファイルをダウンロードするには、ここをクリックしてください。

Subscription Required. Please recommend JoVE to your librarian.

Discussion

本研究では、スクリーン技術の発展に基づき、キーボード設計評価の概要と一般的なプロトコルを提示し、キーボード設計を体系的かつ正確に評価した。これまでの研究の既存の指標とメソッド、英語の文字と一致するペア、および2つのキー間の遷移時間が統合され、効果的なプロトコルを生成するように変更されます。

このプロトコルでは、いくつかの重要なポイントに注目する必要があります。変数と指標の選択は、分析の視点を決定し、キーボード設計評価実験の後の段階で評価モデルを構築するために使用することができるので、不可欠です。主観的なデータはユーザーエクスペリエンスの向上に重要な役割を果たすため、目的変数を除き、実験計画では複数の次元から慎重に検討する必要があります。座標データは、自己開発アプリケーションとPythonスクリプトを介してプロトコルで任意に収集され、計算することができ、例えば、各ボタンのタッチポイントのフィット楕円(95%CI)および各ボタンのターゲットセンターへのフィット楕円の中心からのオフセット。フィット楕円の解析と視覚化により、キーボード設計の最適化方法が明るみになる可能性があります。さらに、ウェアラブル機器に依存する生理学的測定と移動測定もオプションですが、キーボードユーザーの非表現性の経験を深く探求するのに役立ちます。

キーボード研究の手順の重要なステップの1つは、手のグリースと汗が画面感覚の感度に影響を与える可能性があるため、参加者に手を洗い、実験前に画面をクリアするように求めることです(ウェアラブル検出器と同じです)。参加者間の物理的な違いが実験結果や再現性に影響を与える可能性があるため、参加者の物理的データ(手の長さ、指の長さ、および親指の周り)も測定または報告する必要があります。

また、プロトコルは次の制限から逃れることはできません。本研究で提案された全ての入力資料は、他の言語を考慮せずに主に英語の言語に集中することができる。さらに、実験データを収集するキーボードソフトウェアを自己開発することは、従来の手動収集および測定方法を使用する代わりに、このプロトコルで提案されるかもしれません。自己開発ソフトウェアは、より正確でアトリビューション指標を収集して計算し、実験条件下で現在のキーボード設計の効果を結論付けるだけでなく、キーボード設計に関する明確な最適化提案を提供するのに役立つからです。また、従来の研究で採用されていた他の高価な装置や機器は、ポータブルワイヤレス生理学的検出器やモーションキャプチャシステムなどの代表的な結果には含まれておらず、研究者は研究の問題と仮説に基づいて特定の実験装置を選択する必要があります。最後に、新しい統計やベイズ愛好家の信者は、キーボードの設計を分析し、評価するために、より統計的な方法を採用しようとすることができます。

将来のアプリケーションと方向については、このプロトコルは、他のスマートデバイスのキーボード設計評価プロセスで採用することができます。スマートフォンに加えて、ウェアラブルスマートウォッチやブレスレット(iWatch)、タブレットPC(iPad)、バーチャルリアリティデバイス(VRメガネ)など、ますますインテリジェントなデバイスが人気を集めています。このプロトコルは、これらのデバイス上のさまざまなキーボード設計を評価するために使用することができ、最適化を支援します(指標とプロセスはわずかに調整される可能性があります)。この意味で、この研究は、スマートデバイスのタッチスクリーンでキーボードデザイン評価研究の利点と重要性を再検討する新しい機会を開きます。そのため、人間とコンピュータの相互作用、コンピュータサイエンス、心理学の分野におけるオープンソースのリソースを用いて安価で簡単に研究する方法を提供し、初心者の研究者や学生が研究を始める手助けをしたり、クラス内実証実験を行ったりすることに貢献しています。

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

著者らは、財務上の開示や利益相反を宣言しなかった。

Acknowledgments

この研究は、清華大学イニシアチブ科学研究プログラム(スマートデバイス上の湾曲したキーボードのエルゴノミックデザイン)によって支えられている。著者らは、彼の親切な提案と数字に対するコーディング支援のために天友劉を高く評価している。

Materials

Name Company Catalog Number Comments
Changxiang 6S smartphone Huawei Smartphone used in the examplar study
Curved QWERTY keyboard software Tsinghua University Developed by authors
SPSS software IBM Data analysis software
G*Power software Heinrich-Heine-Universität Düsseldorf Sample size calculation
E4 portable wireless wristband Empatica Recording galvanic skin response and heart rate
Arqus Qualysis Motion capture camera platform
Passive marker Qualysis Appropriate sizes: 2.5 mm, 4 mm, and 6.5 mm
Trigno sEMG Delsys Recording electromyographic activity
Visual Studio Code Microsoft Python editor

DOWNLOAD MATERIALS LIST

References

  1. Lee, S., Zhai, S. The performance of touch screen soft buttons. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , USA. (2009).
  2. Smith, B. A., Bi, X., Zhai, S. Optimizing touchscreen keyboards for gesture typing. Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. , USA. (2015).
  3. Statista. Global smartphone penetration rate as share of population from 2016 to 2020 [Fact sheet]. , Available from: https://www.statista.com/statistics/203734/global-smartphone-penetration-per-capita-since-2005 (2020).
  4. Newzoo. Top Countries by Smartphone Users [Fact sheet]. Newzoo. , Available from: https://newzoo.com/insights/rankings/top-countries-by-smartphone-penetration-and-users (2019).
  5. Sogou. Sogou Announces Fourth Quarter and Full Year 2019 Results. Sogou. , Available from: http://ir.sogou.com/2020-03-09-Sogou-Announces-Fourth-Quarter- and-Full-Y ear-2019-Results (2020).
  6. Google Play. Gboard - the Google Keyboard [Press release]. Google Play. , Available from: https://play.google.com/store/apps/details?id=com.google.android.inputmethod.latin &hl=en (2020).
  7. Eitivipart, A. C., Viriyarojanakul, S., Redhead, L. Musculoskeletal disorder and pain associated with smartphone use: A systematic review of biomechanical evidence. Hong Kong Physiotherapy Journal. 38 (2), 77-90 (2018).
  8. Chang, J., Choi, B., Tjolleng, A., Jung, K. Effects of button position on a soft keyboard: Muscle activity, touch time, and discomfort in two-thumb text entry. Applied Ergonomics. 60, 282-292 (2017).
  9. Gehrmann, S. V., et al. Motion deficit of the thumb in CMC joint arthritis. Journal of Hand Surgery. 35 (9), 1449-1453 (2010).
  10. Kim, G., Ahn, C. S., Jeon, H. W., Lee, C. R. Effects of the Use of Smartphones on Pain and Muscle Fatigue in the Upper Extremity. Journal of Physical Therapy Science. 24 (12), 1255-1258 (2012).
  11. Girouard, A., et al. One-handed bend interactions with deformable smartphones. Proceedings of the 33rd annual ACM conference on human factors in computing systems. , USA. (2015).
  12. Lee, M., Hong, Y., Lee, S., Won, J., Yang, J., Park, S. The effects of smartphone use on upper extremity muscle activity and pain threshold. Journal of Physical Therapy Science. 27 (6), 1743-1745 (2015).
  13. Microsoft Garage. Word Flow keyboard [Press release]. Microsoft Garage. , Available from: https://www.microsoft.com/en-us/garage/profiles/word-flow-keyboard/ (2020).
  14. Tencent Games. The glory of kings [Press release]. Tencent Games. , Available from: https://pvp.qq.com/ (2020).
  15. Bi, X., Zhai, S. Ijqwerty: what difference does one key change make? Gesture typing keyboard optimization bounded by one key position change from qwerty. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , USA. (2016).
  16. Bi, X., Smith, B. A., Zhai, S. Quasi-qwerty soft keyboard optimization. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , USA. (2010).
  17. Fitts, P. The information capacity of the human motor system is controlled by the amplitude of movement. Journal of Experimental Psychology. 47, 381-391 (1954).
  18. Bi, X., Li, Y., Zhai, S. FFitts law: modeling finger touch with fitts' law. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , USA. (2013).
  19. Dunlop, M., Levine, J. Multidimensional pareto optimization of touchscreen keyboards for speed, familiarity and improved spell checking. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , USA. (2012).
  20. Li, Y., Chen, L., Goonetilleke, R. S. A heuristic-based approach to optimize keyboard design for single-finger keying applications. International Journal of Industrial Ergonomics. 36 (8), 695-704 (2006).
  21. Benligiray, B., Topal, C., Akinlar, C. SliceType: fast gaze typing with a merging keyboard. Journal on Multimodal User Interfaces. 13 (4), 321-334 (2019).
  22. Wang, Y., Ai, H., Liang, Q., Chang, W., He, J. How to optimize the input efficiency of keyboard buttons in large smartphone? A comparison of curved keyboard and keyboard area size [Conference presentation]. International Conference on Human-Computer Interaction. , Berlin, Germany. (2019).
  23. Bergstrom-Lehtovirta, J., Oulasvirta, A. Modeling the functional area of the thumb on mobile touchscreen surfaces. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , Canada. (2014).
  24. Brooke, J. SUS: A retrospective. Journal of Usability Studies. 8 (2), 29-40 (2013).
  25. Borg, G. Principles in scaling pain and the Borg CR Scales. Psychologica. 37, 35-47 (2004).
  26. Hart, S. G., Staveland, L. E. Development of NASA-TLX (task load index): results of empirical and theoretical research. Human mental workload. Hancock, P. A., Meshkati, N. , Oxford. 139-183 (1988).
  27. Trudeau, M. B., Asakawa, D. S., Jindrich, D. L., Dennerlein, J. T. Two-handed grip on a mobile phone affords greater thumb motor performance, decreased variability, and a more extended thumb posture than a one-handed grip. Applied Ergonomics. 52, 24-28 (2016).
  28. Turner, C. J., Chaparro, B. S., He, J. Text input on a smartwatch qwerty keyboard: tap vs. trace. International Journal of Human Computer Interaction. 33 (1-3), 143-150 (2017).
  29. Zhai, S., Kristensson, P. O. The word-gesture keyboard: reimagining keyboard interaction. Communications of the ACM. 55 (9), 91-101 (2012).
  30. Azenkot, S., Zhai, S. Touch behavior with different postures on soft smartphone keyboards. Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. , New York, USA. (2012).
  31. Yi, X., Yu, C., Shi, W., Shi, Y. Is it too small?: Investigating the performances and preferences of users when typing on tiny qwerty keyboards. International Journal of Human Computer Studies. 106, 44-62 (2017).
  32. Li, Y., You, F., Ji, M., You, X. Smartphone text input: effects of experience and phrase complexity on user performance, physiological reaction, and perceived usability. Applied Ergonomics. 80, 200-208 (2019).
  33. Gerard, M. J., Jones, S. K., Smith, L. A., Thomas, R. E., Wang, T. An ergonomic evaluation of the Kinesis ergonomic computer keyboard. Ergonomics. 37 (10), 1661-1668 (1994).
  34. Van Galen, G. P., Liesker, H., Haan, A. Effects of a vertical keyboard design on typing performance, user comfort and muscle tension. Applied Ergonomics. 38 (1), 99-107 (2007).
  35. Baker, N. A., Cham, R., Cidboy, E. H., Cook, J., Redfern, M. S. Kinematics of the fingers and hands during computer keyboard use. Clinical Biomechanics. 22 (1), 34-43 (2007).
  36. Soukoref, R. W., MacKenzie, I. S. Metrics for text input research: an evaluation of MSD and KSPC, and a new unified error metric. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. , 113-120 (2003).
  37. Mackenzie, I. S., Soukoreff, R. W. Phrase sets for evaluating text entry techniques. CHI'03 Extended Abstracts on Human Factors in Computing Systems. , 754-755 (2003).
  38. Trudeau, M. B., Sunderland, E. M., Jindrich, D. L., Dennerlein, J. T., Federici, S. A data-driven design evaluation tool for handheld device soft keyboards. Plos One. 9 (9), 107070 (2014).
  39. Cao, S., Ho, A., He, J. Modeling and predicting mobile phone touchscreen transcription typing using an integrated cognitive architecture. International Journal of Human-Computer Interaction. 34 (4-6), 544-556 (2018).

Tags

挙動、問題164、人間工学、テキスト入力、キーボード設計評価、スマートフォン、タイピングタスク

Erratum

Formal Correction: Erratum: An Assessment Method and Toolkit to Evaluate Keyboard Design on Smartphones
Posted by JoVE Editors on 09/01/2022. Citeable Link.

An erratum was issued for: An Assessment Method and Toolkit to Evaluate Keyboard Design on Smartphones. The Authors section was updated.

Yincheng Wang1
Ke Wang1
Yuqi Huang1
Di Wu2
Jian Wu3
Jibo He4,1
1Department of Psychology, School of Social Sciences, Tsinghua University
2Department of Computer Science, Beijing Normal University
3Haier Innovation Design Center, Haier Company
4Key Laboratory of Emotion and Mental Health in Chongqing, User Experience and Human-computer Interaction Technology Institute, Chongqing University of Arts and Sciences

to:

Yincheng Wang1
Ke Wang1
Yuqi Huang1
Di Wu2
Jian Wu3
Jibo He1
1Department of Psychology, School of Social Sciences, Tsinghua University
2Department of Computer Science, Beijing Normal University
3Haier Innovation Design Center, Haier Company

スマートフォンでのキーボード設計評価の評価方法とツールキット
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Wang, Y., Wang, K., Huang, Y., Wu,… More

Wang, Y., Wang, K., Huang, Y., Wu, D., Wu, J., He, J. An Assessment Method and Toolkit to Evaluate Keyboard Design on Smartphones. J. Vis. Exp. (164), e61796, doi:10.3791/61796 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter