Читать книгу Секреты успешных НИОКР - Виктор Юрьевич Николенко - Страница 8

Создание системы сопровождается стратегией пошагового контроля результатов разработки. При этом выявление и устранение дефектов происходит раньше и с меньшими затратами. Для проверки результатов каждого шага разработки используются два метода: верификация и валидация.

Верификация представляет процесс подтверждения того, что требование или система соответствует входным данным. Верификация требования отвечает на вопрос: действительно ли система удовлетворяет этому определенному требованию?

Валидация обеспечивает соответствие системы потребностям и ожиданиям конечных пользователей. Она представляет процесс подтверждения, что набор требований, проект или система соответствует предназначению Заказчика. Как правило, проводится с привлечением внешних инстанций, регулирующих органов, представителей заказчика, межведомственных комиссий, и др.

Верификация выполняется на ранних этапах процесса разработки для подтверждения соответствия требованиям перед процессом валидации и передачей изделия в серийное производство. Результаты всех верификаций представляются группе по валидации как обеспечение соответствия заявленным спецификациям.

Верификация ориентирована на компоненты и подсистемы, и проводится:

• в процессе разработки;

• чтобы убедиться, что утвержденные требования будут выполнены;

• как правило, в лабораторных условиях (не натурных).

Основные задачи верификации при разработке перечислены ниже:

1. демонстрация соответствия конструкции и характеристик установленным требованиям на заданных уровнях;

2. обеспечение соответствия продукта разработанному проекту, отсутствия дефектов производства, и пригодности к применению;

3. подтверждение способности системы в целом выполнять требования программы в эксплуатации, включая инструменты, процедуры и ресурсы;

4. документирование результатов верификации, в том числе анализа рисков, результатов испытаний, отклонений, и проверенных решений проекта, включенных в хранилище данных.

На этапе интеграции системы или продукта выполняется верификация модулей и подсборок, чтобы убедиться, что утвержденные требования будут выполнены. Успешная верификация системы или ее компонента подтверждает, что синтез выполнен правильно и система соответствует требованиям. Используют четыре метода верификации: инспекцию, анализ, демонстрацию, испытания (тесты).

Инспекция или осмотр включает визуальное исследование продукта или компонента, при котором наблюдения проводятся в статической ситуации без использования специальных процедур. Применяют использование органов чувств, простые физические манипуляции, фиксацию механических или электрических показаний. Инспекция может выполняться в форме обзора, или включать знакомство с документацией и сравнение физических характеристик продукта с заранее установленными стандартами. Например, визуальный осмотр на отсутствие следов износа, или ударов и повреждений при транспортировке изделия.

Анализом именуют метод проверки с применением одобренных аналитических методов, математических моделей, динамических расчетов, алгоритмов, графиков для определения, выполняются ли для конструкции системы заданные требования. Выполняется на основании расчетных данных или результатов верификации компонентов нижестоящих уровней системной структуры. Широко используется на этапах проектирования, когда конечный продукт, прототип или инженерная модель недоступны.

Демонстрация является методом подтверждения рабочей характеристики, чтобы проверить, удовлетворяет ли демонстрируемый продукт требуемым рабочим характеристикам по определенным сценариям. Например, требование об обеспечении доступа водителя ко всем органам управления автомобилем может быть проверено экспертом на макете кабины или тренажере. По сравнению с испытаниями демонстрация подтверждает работоспособность без интенсивного сбора экспериментальной информации.

Испытания включают проверку на стенде динамики работы конечного продукта или подсистемы с целью получения детальных характеристик, либо сбора информации, достаточной для верификации путем дальнейшего анализа. Они выполняются для проверки на соответствие ранее разработанным системным целям, спецификациям и требованиям пользователей. При испытаниях измеряют различные технические характеристики объекта в сравнении с их целевыми значениями, чтобы убедиться, что система соответствует заявленным требованиям. Могут проводиться на готовых конечных продуктах, функциональных моделях, экспериментальных образцах или прототипах. Испытания позволяют получить данные в дискретных точках по каждому установленному требованию в заданном диапазоне контролируемых условий. Испытываемый образец, кроме штатных средств измерения, может быть дополнительно оснащен набором датчиков давлений, температур, напряжений, вибраций для измерения параметров в разных точках системы, и их последующего сравнения с расчетными данными.

Процесс испытаний и оценки системы включает проверку работы подсистем при объединении в целостную систему, оценку обоснованности проектных допущений, и проверку работы системы в различных условиях и режимах работы. Чтобы свести к минимуму необходимость перепроектировать всю систему из-за неисправных компонентов, на испытаниях следует сначала исследовать компоненты, затем подсистемы и работу всей системы. При завершении опытного производства и после интеграции система тестируется, чтобы убедиться, что она удовлетворяет поставленным требованиям.

Испытания являются наиболее ресурсоемкой методикой верификации. Они делятся на три группы.

1. Испытания, проводимые разработчиком, чтобы убедиться, что проект системы соответствует системным требованиям.

2. Испытания, выполняемые изготовителем или строителем для подтверждения качества работ.

3. Испытания, проводимые заказчиком, чтобы убедиться, что система соответствует требованиям пользователя и другим договорным соглашениям.

Если первая группа испытаний выявляет неадекватные характеристики из-за дефектной или плохой конструкции, то этап проектирования необходимо частично повторить. Планировать испытания следует заранее, чтобы выявить проблемы как можно раньше, так как повторение работ требует дополнительных затрат и времени.

Вторая группа испытаний необходима для проверки того, что компоненты и качество изготовления соответствуют системным спецификациям.

Третья группа испытаний состоит из проверочных тестов, обзоров и аудитов, проводимых с участием заказчика. Он должен убедиться, что системные требования выполнены, а документация по испытаниям является полной и точной. В этих испытаниях иногда выявляют недостатки конструкции, которые проектировщики не заметили.

Для сложных систем, связанных с обеспечением безопасности пользователя, выполняются специальные испытания с превышением норм типовых условий эксплуатации, чтобы определить фактические границы возможностей или точку отказа системы. При так называемых стресс-тестах к системе прилагается дополнительная испытательная нагрузка, чтобы определить ее способность работать в более тяжелых, чем это планировалось, условиях. Существует много других типов тестирования: прочностное тестирование, испытания узлов, работа системы в сети, эксплуатационные испытания, тестирование производства, тестирование безопасности, и др.

Методы верификации могут быть разбиты на подвиды.

1. Техническая оценка соответствия требованиям.

2. Поэтапные обзоры результатов.

3. Расчетный анализ.

4. Оценка безопасности компонентов.

5. Стендовые испытания на модельном прототипе или макете.

6. Проверка регулирующими органами.

7. Моделирование динамических режимов с использованием ЦД.

8. Аттестация используемого оборудования.

9. Проверка производственных операций, и др.

Валидация обычно выполняется в реальных или смоделированных условиях эксплуатации, в процессе или после процедуры интеграции системы. В ходе валидации собирают доказательства, подтверждающие, что продукты на всех уровнях системной структуры соответствуют функциональным требованиям и ожиданиям заказчика, пользователя или оператора, а также других заинтересованных сторон. Выявленные недостатки, а также рекомендуемые корректирующие действия и результаты, должны быть документированы. По результатам валидации требуется обеспечить устранение выявленных проблем до поставки реализованного продукта.

Также в процессе валидации проверяют работоспособность системы в так называемых нерасчетных условиях эксплуатации (аварийные ситуации, устойчивость к внешним воздействиям, и др.). Иногда необходимо оценить ряд специфических вопросов. Например, может ли эта система использоваться предполагаемыми пользователями, или она слишком сложна для непрофессионалов? Могут ли использовать систему люди, которые находятся в стрессовых ситуациях (например, операторы электростанций, полиция, диспетчеры скорой помощи), допустив разумное количество ошибок?

При валидации план испытаний системы в целом может быть достаточно объемным. Типичная высокотехнологичная система насчитывает от 1000 до 10 000 требований. Какие-то из них можно проверить одновременно, с помощью набора связанных действий. При этом снижается стоимость программы испытаний. Планирование процедур верификации и валидации узлов и компонентов осуществляется еще на ранних стадиях проекта, с учетом потребных сроков и ресурсов на проектирование и изготовление стендов и моделей. В ходе верификационных процедур удобно использовать типовые вопросники (чек-листы), составленные и пополняемые с учетом традиций компании и накапливающегося опыта.

Процесс валидации завершает набор испытаний системы после изготовления. Подтверждается, что окончательный проект соответствует требованиям, или превосходит их, соответствует всем нормам, стандартам и руководствам по безопасной эксплуатации в предполагаемых условиях, или превосходит их, и продукт готов к выпуску на рынок. В обеспечение предоставляется вся необходимая документация и сертификаты, включая инструкции по эксплуатации и техническому обслуживанию, вспомогательную документацию, чертежи и список деталей для ремонта, если это необходимо.

Испытания используют как при верификации, так и при валидации. Поясним отличия верификационных испытаний от валидационных.

Верификационные испытания связаны с проверкой утвержденного набора требований на различных этапах жизненного цикла продукта. Сюда входят инженерные испытания, направленные на верификацию технического статуса, минимизацию проектных рисков, подтверждение технической реализации контракта и готовности к валидации системы. Для испытаний сложной техники разрабатывают комплексные программы, с применением наземных стендов и виртуального моделирования подсистем и компонентов (эмуляторов), включая использование штатных изготовленных элементов и исполнительных механизмов.

Валидационные испытания проводят для конечного продукта в натурных или смоделированных условиях эксплуатации с целью определения его эффективности и пригодности для пользователей. Для этого задают согласованную программу и методику оценки результатов данных испытаний. После того, как действия по валидации завершены, следует сравнить фактические результаты с ожидаемыми. Недостатки, а также рекомендуемые корректирующие действия и результаты устранения должны быть записаны. Близким аналогом в РФ являются сертификационные испытания. В процессе требуется подтвердить соответствие декларируемого уровня безопасности и потребительских качеств товара или системы. Сертификационные испытания могут проводиться только аккредитованными организациями.