スマートデジタルペン

2025/08/19 16:19 - By Tech Manage

慣性計測ユニット(IMU)、極小フォースセンサ、及びAIの組み合わせによる、手書き文字の識別ができる筆記具

Advantages

  • ニューラルネットワークのViTモデルで99.05%という高い検証精度を達成しており、他の一般的な深層学習モデルと比較しても優れた性能を発揮
  • 外部の参照デバイスや、他に特殊な筆記面を必要とせず、工事現場や水中など、どこでも使用できる
  • デジタルペンとしての利用だけではなく、文字の書き方の学習補助具などへの応用も可能

Background and Technology

デジタル化が進む現代において、手書きメモを効率的にデジタル化することは、多くの分野で重要な課題となっている。従来のデジタルペンは、専用のスマートパッドや特殊用紙が必要であることが多く、携帯性やコスト、使用環境に制約があった。また、手書き内容は画像として保存され、テキストへの変換には別途処理が求められた。また他に、IMU(慣性計測ユニット)センサのみを用いた研究では、センサがノイズやドリフト誤差の影響を受けやすく、ノートテイキングのような小さな文字の動きでは、十分な認識精度を得られなかった 。
本研究者は、これらの課題を解決するため、新たなAI搭載スマートデジタルペンを開発した。通常のボールペンインクチャンバーに加え、3つの極小フォースセンサと6チャンネルの慣性センサ、マイクロコンピューターをコンパクトに統合し、ペン先の動きと筆圧の両方を高精度に取得可能とした。加えて、収集されたデータは深層学習モデルで解析し、文字をリアルタイムで出力される。本技術の最大の特徴は、慣性データにフォースセンサの情報を組み合わせることで、これまでIMU単独では困難だったノートテイキングのような小さな英数字(0-9の数字、およびラテン小文字a-zの36種類)について、高精度な認識を実現した点にある。これにより、工事現場や水中など、紙が使えない場所でも、硬い面をなぞるだけで手書き文字をリアルタイムにデジタルテキストとして記録・保存できる。さらに、デジタルペンとしての利用だけでなく、幼児・児童向け文字の書き方練習用学習補助具などにも応用できる。

Data

  • 6人の被験者に対し、それぞれ36文字の英数字(10文字の数字と26文字のラテン小文字アルファベット)の手書きデータを収集し、データセットを適切にトリミング、再構築した後、ディープラーニング手法を使用しニューラルネットワークモデル(Vision Transformer; ViT)を用いてトレーニングを行い検証したところ、99.05%の精度が得られた。

Development Stage & Future Research Plans

<現段階>36文字の英数字(10文字の数字と26文字のラテン小文字アルファベット)を認識できる。
<次段階>・大文字アルファベット、ひらがな、カタカナ、特殊文字の認識
     ・文字ごとの認識ではなく、連続で書く際の単語毎の認識
     ・小型カメラを搭載し、画像情報の活用
     ・書き方練習用学習補助具

Expectations

現在、数字、アルファベットの認識をするところまで研究が進んでおり、本研究者は今後、上記のようなより複雑な文字や記号についてもトライしたいと考えています。本発明にご興味があり、一緒に開発を進めていただける文房具、学習用端末機器の企業様を募集しています。
愛媛大学との秘密保持契約締結による未公開データ等の開示のほか、研究者との面談も可能ですので、お気軽にお問い合わせください。

Patents

特許第7644963号

Publication

Alemayoh T.T., et al., “Deep-Learning-Based Character Recognition from Handwriting Motion Data Captured Using IMU and Force Sensors.” Sensors (2022), 22, 7840. 

Researchers

李 在勲 教授 (愛媛大学大学院 理工学研究科)


Please click here to see English summary.

以下のフォームからお問い合わせください

Tech Manage