2006年、The Elder Scrolls IV: Oblivionというゲームで、画期的なAIシステム「Radiant AI」が導入されました。
NPCに「14時にこの場所で食事をする」という抽象的な目標だけを与え、具体的な手段はNPC自身に考えさせる。開発チームは誇らしげにこのシステムを紹介しました。
結果は惨憺たるものでした。
薬物中毒のNPCが売人を殺してストーリーが崩壊。衛兵が空腹を感じて持ち場を離れ、城が無人に。「賢すぎて世界が壊れた」のです。リリース版では大幅にダウングレードされました。
2026年、まったく同じことがAI導入の現場で起きています。
「AIに任せたら、勝手に顧客にメールを送ってしまった」「AIが最適化した結果、人間が理解できないワークフローになった」「AIアシスタントが自律的に判断して、方針と違う提案をクライアントに出した」
教訓は明確です。AIの自律性には「ガードレール」が必要。目標は抽象的に与えていいが、「やってはいけないこと」と「必ず人間に確認すること」を明確に定義する。
20年前のゲーム開発者が血を流して学んだ教訓を、AI時代の経営者が再発見する必要はありません。先人の知恵を使いましょう。