验证与确认


仿真分析师面临的实际问题之一是验证模型。仿真模型只有在模型能够准确表示实际系统时才有效,否则无效。

验证和验证是任何仿真项目中验证模型的两个步骤。

  • 验证是比较两个结果的过程。在此过程中,我们需要将概念模型的表示与真实系统进行比较。如果比较为真,则有效,否则无效。

  • 验证是比较两个或多个结果以确保其准确性的过程。在此过程中,我们必须将模型的实现及其相关数据与开发人员的概念描述和规范进行比较。

验证和确认

验证和确认技术

有多种技术可用于执行仿真模型的验证和确认。以下是一些常见技术 -

仿真模型验证技术

以下是执行仿真模型验证的方法 -

  • 通过运用编程技巧,在子程序中编写和调试程序。

  • 通过使用“结构化走查”政策,其中不止一个人阅读该程序。

  • 通过追踪中间结果并将其与观察到的结果进行比较。

  • 通过使用各种输入组合检查仿真模型输出。

  • 通过将最终模拟结果与分析结果进行比较。

验证仿真模型的技术

步骤 1 - 设计一个具有高有效性的模型。这可以通过以下步骤来实现 -

  • 设计时必须与系统专家讨论模型。
  • 模型必须在整个过程中与客户交互。
  • 输出必须由系统专家监督。

步骤 2 - 在假设数据上测试模型。这可以通过将假设数据应用到模型中并对其进行定量测试来实现。当输入数据发生重大变化时,还可以进行敏感分析以观察结果变化的影响。

步骤 3 - 确定模拟模型的代表性输出。这可以通过以下步骤来实现 -

  • 确定仿真输出与真实系统输出的接近程度。

  • 可以使用图灵测试进行比较。它以系统格式呈现数据,只有专家才能解释。

  • 可以使用统计方法将模型输出与实际系统输出进行比较。

模型数据与真实数据对比

模型开发完成后,我们必须将其输出数据与真实系统数据进行比较。以下是执行此比较的两种方法。

验证现有系统

在这种方法中,我们使用模型的真实世界输入将其输出与真实系统的真实输入进行比较。这个验证过程很简单,但是在执行时可能会遇到一些困难,例如如果要将输出与平均长度、等待时间、空闲时间等进行比较,则可以使用统计检验和假设检验进行比较。一些统计检验包括卡方检验、Kolmogorov-Smirnov 检验、Cramer-von Mises 检验和 Moments 检验。

验证首次模型

考虑到我们必须描述一个当前不存在也不在过去存在的提议系统。因此,没有可用的历史数据来比较其性能。因此,我们必须使用基于假设的假设系统。遵循有用的指导将有助于提高效率。

  • 子系统有效性- 模型本身可能没有任何现有系统可以与之比较,但它可能由已知的子系统组成。每个有效性都可以单独测试。

  • 内部有效性- 具有高度内部方差的模型将被拒绝,因为由于其内部过程而具有高方差的随机系统将隐藏由于输入变化而导致的输出变化。

  • 敏感性分析- 它提供了我们需要高度关注的系统中敏感参数的信息。

  • 表面有效性- 当模型执行相反的逻辑时,即使它的Behave像真实系统,也应该被拒绝。