AIで作った社内システムは現場で使えるか|大会の不具合と権限表
AIで作った大会運営システムを大規模な本番で使い、点数が入らない・データが消えるといった不具合が出ました。先の試合の点数を登録してしまう人的ミスを、画面と権限で防ぐ視点から、権限表と合格条件つきのチェックリストにまとめます。
審判が点数を入力しても、集計の画面に届かない。入力した瞬間に、データが消える。大規模な大会の本番で、LandBridgeの代表・三森がAIで作った運営システムに起きたことです。
三森が確かめられた原因は、AIの性能ではなく、人的ミスでした。入力する人が、まだ始まっていない「先の試合」の点数を登録してしまったのです。データを一部消したら直りました。この記事は、その体験と、同じミスを防ぐ権限表と、合格条件つきのチェックリストです。
三森の体験:本番で起きた不具合と、その場の対応
三森が長く関わる競技の大会(お客様の案件ではありません)は、集計を紙で回してきました。
全部集計は紙でやってる
この負担を減らすため、三森はAIで運営システムを作りました。3月の全国大会(ジャパンカップ)に向けた第1弾のテストが今回の大会で、社内記録の動画では約100人規模のイベントです。社内でいえば、紙やExcelの集計を初めてシステムに載せる場面です。
本番では、点数が入力できない、入力したデータがほかの画面にうまく届かない、入力した瞬間にデータが消える、という不具合が出ました。ほかに、1点ずつ入力する方式で手間が多かったこと、数人が同時に入力すると不具合が出ることもありました。
自分は使いやすいけど、他の人が使ったら使えないよねっていうのが、システムとしてよくある
それでも大会は止まりませんでした。三森は会場でAIにシステムを組み替えさせ、運営の「これを直して」にその場で応え、使ってもらいました。以前なら次の機会まで持ち越した修正を、その日のうちに形にできました。本部に張り付く人数も、今後は大きく減らせる見込みです(実績ではなく、三森の見込みです)。
原因は人的ミス。画面と権限で防げた
三森によると、原因は、入力する人が先の試合の点数を登録してしまったことでした。始まっていない試合を、入力する人が選べてしまう状態だったので、画面と権限で防げたミスです。ただし権限設計の不備と断定はできず、ほかの症状の原因は確かめていません。以下は、同じ症状を前もって見つける提案です。
- 先の試合の点数を登録してしまう。確かめるのは権限と画面: 入力役の画面で、始まっていない試合や確定済みの試合を選べないか
- データがほかの画面に届かない。確かめるのは受け渡し: 入力が、運営画面と表示画面に同じ形で出るか
- 入力した瞬間に消える。確かめるのは保存と同時入力: 送信後に開き直しても残るか。数人が同時に入力しても残るか
4つの役割を、権限表にする
大会のシステムには、使う人の役割が4つありました。
この4権限でしっかりとシステムを組んで連携させていかないといけない
本番の後に三森が整理した、役割ごとの権限が次です(「できないこと」は整理で決めた方針で、本番の事実ではありません)。
- システム管理者: できるのは大会や利用者の設定、全体の管理。防ぎたいのは「設定の誤りが全画面に広がる」こと
- 大会運営者: できるのは試合の進行、結果の確認と修正。できないのは利用者の権限の変更。防ぎたいのは「進行と点数がずれる」こと
- 点数を入力する人(審判): できるのは進行中の担当の試合の点数の入力。できないのは担当外・始まっていない・確定済みの試合の入力。防ぎたいのは「入力が集計に届かない」こと
- 結果を見る人(選手・観客): できるのは点数と集計の閲覧。できないのは入力・修正のすべて。防ぎたいのは「古い点数が表示される」こと
審判が自分で入力できるようにして運営は楽になるはずでしたが、入力する役割が増えた分、役割どうしの受け渡しを確かめる必要がありました。三森は、役割の洗い出しと連携を詰め切れていなかったと振り返っています。権限を思いつきで足していく進め方は難しく、仕組みを自分で理解している軸が要る、というのが三森の考えです。
社内システムに置きかえると
社内の経費申請なら、役割は申請する人、承認する人、経理、管理する人です。出した申請が承認する人の一覧に出るか、差し戻しが申請した人に届くか、承認された分だけが集計に入るかを確かめ、他人の申請が見えないことも試します。
現場に渡す前の確認と、合格条件
合格条件を先に決めると判断がぶれません。1つでも満たさなければ、本番には出しません。合否を決める人と、止まったときに切り替えを判断する人は、確認の前に名前で決めておきます。
- 役割を書き出す。合格条件: 権限表に、全員の「できること・できないこと」が埋まっている。通らないとき: 作り始めない
- AIと仕様を壁打ちする。合格条件: AIが挙げた懸念点に、対応する・しないを人が決めて書き残した。通らないとき: いきなり作らせない
- 役割をまたいで通しで試す。合格条件: 別の人・別の端末で、入力から表示まで権限表の全行が通る(大会なら、審判が入力し、開き直しても残り、運営画面と表示画面に同じ点数が出る)。通らないとき: 落ちた症状を「権限」か「受け渡し」に分けて直し、最初から試す
- できてはいけないことを試す。合格条件: 上の権限の「できないこと」(大会なら、始まっていない試合への入力)を実際に操作して、すべて止まる。見てはいけない役割には、データが出ない。通らないとき: その役割の権限を直し、全操作をもう一度試す
- 同時に使う人数で試す。合格条件: 一番混む操作(大会なら試合終了直後の点数入力)を本番と同じ人数で同時に行い、全員の入力が残り、次の試合を始める前に表示まで届く(待てる時間の上限は現場と決めて書く)。通らないとき: 同時に入力する人を絞る運用にするか、本番を延ばす
- 作った本人以外に使ってもらう。合格条件: 説明なしで、本人以外の誰かが最後まで使える。通らないとき: つまずいた画面と文言を直し、別の人でもう一度
- 止まったときの備え。合格条件: 紙など今のやり方を予備に残し、切り替える人と手順が決まっている。復旧後は紙の記録と画面のデータを突き合わせる。通らないとき: 予備なしで本番に出さない
記録は、操作・期待する結果・実際の結果・合否の4列で残します。たとえば「審判の端末で点数を入力して送り、画面を開き直し、運営と表示の画面を見る」という行の期待結果は「同じ点数が残る」です。
要件仕様をしっかりと固めて最初は作っていく。これがめちゃくちゃ重要
6の「本人以外」は、三森は家族でも構わないと言います。別の目で見てもらうのが目的です。
自分だったらこううまく使えるけど、他だったらこういう感想を抱く
現場の慣れの差と、修正の速さ
本番で三森が強く感じたのは、ITへの慣れの差です。60代・70代にも、とても使いやすいと言う人がいる一方で、システムを入れたら携帯の充電がなくなるのではと心配する人や、昔のやり方がよいという人もいました。便利なはずでも、反発は一定数ありました。社内も同じで、反応を見て直す前提で計画します。
Webアプリとモバイルアプリの両方で動かし、会場ですぐ直せたのはWebアプリでした。モバイルアプリは更新のたびに審査があり、その場では配れません。何度も直す段階ではWebから始めるほうが向く、というのが三森の感想です。
LandBridgeの進め方
LandBridgeが社内システムの内製や、現場に広げる前の見直しをご一緒するときは、役割の洗い出しと権限表、AIとの仕様の詰め、役割をまたいだ確認、合格条件の決定の順に進めます。お問い合わせください。
よくあるご質問
自分で作ったシステムを社内で使ってもらうとき、最初に何をすればよいですか。
使う人の役割を書き出し、権限表にするところからです。「できること」「できないこと」を書くと、必要な画面とデータの流れが見えます。
テストは何をすれば十分ですか。
役割ごとに別の人・別の端末で同時に使い、入力が見てよい画面に届くかと、できてはいけない操作が止まるかの両方を確かめてください。作った本人だけでは、受け渡しの不具合は見つかりにくいです。
Webアプリとモバイルアプリはどちらから始めるべきですか。
何度も直す段階では、すぐ反映できるWebアプリが向いています。モバイルアプリは更新に審査があり、すぐには届きません。使い方が固まってから検討してください。
参考資料
- 元動画「【AI駆動開発】自作システムを100人の大会で使ったら…トラブル続出でした」(YouTube)
三森が話した内容の元になった動画
「ビジネス」の関連記事
社内業務の自動化で失敗した話|6週間止まっていたのに気づかなかった理由と対策
中小企業がAIで社内業務を自動化するとき、本当に怖いのは「止まったことに気づけない」ことです。システム開発会社のLandBridgeで予定の通知が約6週間止まっていた失敗と、その後に作った見張りの仕組み、自社で最初の1つを選ぶコツを紹介します。
中小企業のサイバー攻撃対策は「小さく守る」|AIで攻撃される時代の考え方
AIで攻撃が自動化され、会社の大きさは選ばれません。狙われても被害を小さく済ませるため、守る範囲を小さくする考え方と、今日からできる5つの確認を、LandBridgeの取り組みとあわせて紹介します。
オフショア開発はAIで代わるのか|発注する側が今、見直したいこと
AIで開発の進め方が変わり、オフショア開発の「安さ」の前提も変わりました。4年ほど前からベトナムのメンバーとオフショア開発に取り組んできたLandBridgeが、今オフショアを検討する会社に見直してほしい点を、実際に見てきたことからまとめます。