これは何か
性能試験結果報告書は、非機能要件で決めた性能の目標について、どの条件で測り、どんな結果だったか、目標を満たさなかったものをどう扱うかを報告する成果物です。
性能の確かめ方は 10-04 性能をどう確認するのか で学びます。報告書は、その確かめた結果を、判断する人が読める形にまとめたものです。
なぜ作るか
- 性能の目標を満たしているかを、根拠(測った条件と結果)とともに示す
- 測った条件と本番の条件の違いを示し、結果をどこまで信じてよいかを判断できるようにする
- 目標を満たさなかったものについて、直すのか、受け入れるのかを決める材料にする
- 稼働後に性能の問題が起きたとき、何を確かめていたかをさかのぼれるようにする
誰が使うか・いつ作るか
- 作る人:性能試験の担当(テストの担当、設計・基盤の担当)
- 読む人:テストの責任者、システムアーキテクト、業務の責任者、稼働の判断に関わる人
- 一般的には、性能試験のたびに作り、直したあとの再試験の結果も追記します
- アステリア案件の性能試験の条件・結果は、正本に記載がありません。未確定
CASE FACTFROZEN正本に記載されたアステリア案件の事実
性能に関係する記載
- 10年分のデータ移行
- システムに SYS-11 監視・ログ基盤がある
- P-010 宮田 直人 — テスト・品質管理リーダー
- P-008 黒田 健 — システムアーキテクト
- 成果物に REQ-003 非機能要件一覧、TST-005 性能試験結果報告書がある
危機演習で扱う性能の数値が、性能試験で得られたという記載は、正本にありません。未確定 危機演習の出来事は、危機演習の中で扱います。
主な項目
一般的には、次の項目で構成します。
- 目的と対象:どの要件(非機能要件一覧の番号)を、どの画面・処理で確かめたか
- 条件:データの量、同時に使う人数や処理の量、同時に動いていた処理、環境
- 本番との違い:条件のうち、本番と違う点と、その影響の見込み
- 測り方:何回測り、どの値(平均・一番遅いもの など)で判断したか
- 結果:対象ごとの結果と、目標を満たしたかの判定
- 満たさなかったものの扱い:原因の調査の状況、直す予定、再試験の予定
- 結論と残る課題
- 実施した人・日付
教材用サンプル成果物の読み方を学ぶための例
教材用サンプル — 結果の一覧
この成果物は学習用サンプルです。FROZEN正本に記載されたCASE FACTと、成果物の読み方を学ぶための教材用サンプル値を区別して表示しています。
次の表は、結果の一覧の書き方を学ぶための例です。対象・条件・判定はすべて教材上の架空の例で、アステリア案件の結果ではありません。値は伏せ、判定だけを示します。
| 対象(要件番号) | 条件 | 本番との違い | 判定 | 扱い |
|---|---|---|---|---|
| 案件の一覧画面(REQ-NFR-0001) | 要件の条件どおりの人数・データの量 | 認証の仕組みは試験用の簡易なもの | 目標を満たす | ― |
| ログイン(REQ-NFR-0002) | 要件の条件どおりの人数 | なし | 目標を満たす | ― |
| 夜間の連携処理(REQ-NFR-0005) | 本番の半分のデータの量 | データの量が本番の半分 | 目標を満たす(ただし条件が不十分) | 本番と同じ量で再試験する |
| 帳票の出力 | 要件の条件どおり | なし | 目標を満たさない | 原因を調査中。再試験の予定を記入 |
読み方
- まず「本番との違い」を読む。違いが大きい行の結果は、そのまま本番の見込みにしない
- 判定が「満たす」の行も、条件が要件どおりかを確かめる
- 「満たさない」の行に、扱い(調査・直す予定・再試験)が書かれているか
- 測り方(何回、どの値で判断したか)が書かれているか
- 結論が、結果の一覧と合っているか
書き方
- 試験の前に、対象・条件・測り方を非機能要件一覧から決める
- 本番と同じにできない条件を、試験の前に書き出す
- 試験を行い、条件と結果をそのまま記録する
- 目標を満たさなかったものは、原因の調査と扱いを書く(原因が分からないうちは、分からないと書く)
- 直したら再試験を行い、結果を追記する
何を書いてはいけないか
- 条件を書かずに「目標を満たした」とだけ書く
- 本番と違う条件の結果を、本番の見込みとして書く
- 原因を確かめないまま、「〇〇が原因」と書く
どこを見るか
- 条件と、本番との違い
- 測り方
- 満たさなかったものの扱い
- 再試験の結果
- 結論と残る課題
赤信号
- 条件の欄が空欄、または条件が1種類だけ
- すべて「満たす」だが、本番より少ないデータの量で測っている
- 満たさなかったものに、扱いが書かれていない
- 試験を1回しか行っていない
よくある失敗
- 試験の環境が本番と違うことを書かず、結果が良く見える
- 性能試験を工程の最後に回し、満たさなかったときに直す時間がない
- 直したあとに再試験をせず、「直したので満たすはず」とする
関係するUnit・成果物・危機演習
- Unit:10-04 性能をどう確認するのか、06-02 何人まで利用できればよいのか、06-01 非機能要件とは何か、10-06 テストをいつ終了してよいのか
- 成果物:REQ-003 非機能要件一覧、TST-004 品質状況ダッシュボード、ARC-006 設計判断記録
- 危機演習:この成果物を直接の題材にする危機演習はありません
AI WORKFLOW
AIは、測った記録を整理する下書きに役立ちます。
「次の性能試験の記録を、対象ごとに、条件・本番との違い・結果・判定の欄に分けて表にしてください。判定は、非機能要件一覧の目標と比べた結果だけを書き、原因は推定しないでください。」
REVIEW
- 表の値が、測った記録と合っているか
- AIが原因を推定したり、「問題ない」と結論づけたりしていないか
- 本番との違いの欄を、人が確かめたか
人間が判断すること
- 測った条件で十分か(本番との違いを受け入れるか)
- 目標を満たさなかったものを、直すか、受け入れるか
- 性能の結果をもとに、次の工程や稼働に進んでよいか
いつ使うか
この教材では STAGE 10|本当に動くことを証明する の文脈で扱います。 アステリア案件での正式な作成・使用時期(月)は正本に記載がないため、未確定としています。
最後の問い
この報告書を読んだ判断者は、「どの条件で測ったのか。その条件は本番とどこが違うのか。目標を満たさなかったものをどう扱うのか」を説明できますか?