学習ベースのロボットに独立した安全ガバナーが必要な理由

フィジカルAIは認識から行動へと急速に進化している。新しいシステムはシーンを解釈し、自然言語の目標に従い、次に何が起こるかを予測し、モーションプランを生成できる。その進歩は巨大な製品機会を生み出すと同時に、インテリジェンスモデルを安全システムとして扱うという危険な誘惑ももたらす。
この二つは同等ではない。学習モデルは不確実性のもとで有用な動作を生成するよう最適化されている。安全機能は、モデルが誤っている場合、センサー入力が不完全な場合、ネットワークが利用できない場合、または要求された行動が安全でない場合でも、ロボットを定義された限界内に確実に保たなければならない。
今週インドのフィジカルAI企業が、この違いを明確にした。Inner Sky Labsは、知覚モデルと行動モデルに加え、実行前に提案された行動を審査することを目的とした独立した安全層を備えたモジュール型スタックを発表した。同社のパフォーマンスの主張にはまだアプリケーション固有の検証が必要だが、アーキテクチャの原則は健全だ：能力が物理的な動きの最終権限であるべきではない。

実践における独立性の意味

独立性とは、別のソフトウェアモジュールに「安全」という言葉を付けることではない。ガバナーには明確に制限された入力、決定論的または限界のある動作、保護された設定、バージョン管理、テスト証拠が必要だ。クラウドモデルが自分の速度制限を上げたり、ジオフェンスを拡大したり、保護停止を無効にしたりできるべきではない。
また、アーキテクチャは意見の相違があっても安全に失敗するべきだ。プランナーが進行を指示し、安全層が十分なクリアランスを確保できない場合、結果は平均であるべきではない。権限は明示的であるべきだ：不確実性はエンベロープを締める。

オフライン安全性のための設計

接続性は、より優れたフリート調整、リモートアシスタンス、モデルのアップデートを通じてロボットを改善できる。ただし、基本的な衝突回避、速度制限、最小リスク動作に接続性が必要であるべきではない。病院、エレベーター、地下室、大型キャンパスにはすべてネットワークデッドゾーンがある。クラウドが消えると安全でなくなるロボットは、運用上自律的ではない。

重要な証拠

● トレーサビリティ：感知状態、提案されたコマンド、安全判定、実行されたモーション、フォールバック結果。
● 障害注入：古い位置情報、ドロップフレーム、矛盾するセンサー、破損したマップデータ、通信断絶。
● 境界テスト：最大停止距離、速度遷移、人間の接近、ペイロードシフト、ドア/コンパートメント状態。
● 変更管理：すべてのミッション中にどのモデルまたはルールバージョンが実行され、ロールバックがどのように機能するか。
● 暴露正規化された結果：運転時間またはキロメートルあたりの介入、ヒヤリハット、安全停止。

提案されるFainzyの視点

提案されるFainzyアーキテクチャは、学習された認識、自然言語インタラクション、タスク計画を、独立して管理されるモーション層の上に保持する。安全コントローラーは速度、ブレーキ、障害物応答、ジオフェンス、ミッションモード制限、最小リスク動作に対する権限を保持する。リモートオペレーターは行動を要求できるが、同じ制約をバイパスすることはできない。
次の実際のステップは、一つの限定されたデプロイメントのためのコマンド権限マトリックスと証拠トレースになる。マトリックスは、モーションコマンドのすべてのソース——プランナー、フリートマネージャー、リモートオペレーター、回復ルーティン、ローカルコントロール——を列挙し、作動前にどの独立したチェックが適用されるかを定義するべきだ。これは提案された開発方向であり、アーキテクチャが既に実装または認定されたという主張ではない。

結論

学習はロボットをより有能にする。独立した権限がその能力をデプロイ可能にする。フィジカルAIの商業的勝者は、印象的な行動を生成するだけでなく、すべての行動がなぜ許可されたか、証拠が弱い時に何が起こったか、そして機械がどのように安全な状態に戻ったかを示すだろう。