デンソーウェーブとベッコフオートメーション(神奈川県横浜市)、エクサウィザーズ(東京都文京区)は、多指ハンドを装着した双腕型ロボットアームをディープラーニングでリアルタイム制御し、不定形物を扱う複数の作業を同一のロボットアームで実現する「マルチモーダルAIロボット」を開発し、国際ロボット展でデモを行った。
従来のロボットシステムでは、多指ハンドを装着した双腕型ロボットアームで、不定形物を扱う複数の作業をロボットに実行させるためには、莫大な量のプログラムを組む必要があった。今回開発したロボットはプログラミングが不要で、ディープラーニングとVR技術を使って、人が人に作業を教えるのと同じようにロボットに作業を学習させることが可能になる。
VR技術とロボット操作を連携させ、全天球カメラを利用した視覚と触覚に訴えるVRティーチングシステムによって、双腕型ロボットアームの軌道を直感的に教えられるようになる。記録された軌道とロボットアームやハンドから得られるセンサー情報をロボットに学習させることで、複雑なプログラムを組むことなく、人の作業を覚えさせることができる。
国際ロボット展では、ディープラーニング技術で学習した双腕型ロボットが、タオルを畳んだり、サラダを盛りつけたりするデモを行った。