Верификация и качество прогноза

В современной прогностике понятие верификации трактуется как оценка достоверности и точности (или обоснованности) прогноза. Известные в литературе методы верификации направлены в большей степени на оценку метода прогнозирования, с использованием которого был получен тот или иной прогнозный результат, чем на оценку качества самого прогнозного результата. Однако и эта проблема в методах верификации не решается в полной мере, так как качество работы метода можно оценить только применительно к качеству используемой информации. Причина в том, что один и тот же метод может выдать равновероятно достоверный и недостоверный результат в зависимости от качества информации, используемой при прогнозировании. Что же касается оценки достоверности и надежности самого прогноза, то совпадение прогнозных результатов, полученных разными методами, из различных источников и т.д., еще не доказывает, что прогноз был выполнен качественно. Последнее зависит от того, какое решение было принято на основе разработанного прогноза.

Итак, перед исследователями встают две проблемы: как оценить качество прогноза до его реализации и можно ли считать достоверным прогноз, который не оправдался.

На первый вопрос теория прогностики ответа пока не дала. И на второй вопрос нельзя ответить однозначно. Однако очевидно, что прогноз должен помогать принимать рациональные решения. В реальной практике лицо, принимающее решения (ЛПР), в значительной мере контролирует процесс; в этом случае существует взаимосвязь между достоверностью прогноза и его полезностью, которая зависит от степени управляемости процессом.

При этом возможны три типа ситуаций:

а) ЛПР не может воздействовать на ход процесса; он лишь приспосабливается к процессу, стараясь максимизировать преимущества от благоприятного исхода события или минимизировать ущерб от неблагоприятного исхода. В этой ситуации прогноз будет полезным лишь в случае его высокой достоверности;

б) ЛПР частично может контролировать ход процесса. Получив прогноз, содержащий нежелательное направление развития прогнозного объекта, ЛПР может принять противодействующие меры. Таким образом, показателем ценности прогноза является не только его достоверность (правильность), но и полезность для ЛПР;

в) ЛПР полностью управляет развитием процесса. В этом случае прогноз ему не нужен, так как исход события определяется самим ЛПР.

В случаях «а», «б» качество прогноза является его важнейшей компонентой.

Качество прогноза – это совокупность характеристик, которые в комплексе позволяют сделать прогноз эффективным и полезным в управлении, обеспечивают получение достоверного описания объекта на некоторую перспективу.

Понятие качества прогноза можно рассматривать двояко:

а) в рамках и представлениях самого прогноза;

б) по результату использования этого прогноза для целей управления.

Характеризовать качество прогноза можно исходя из учета действия переменных внешних сил, в связи с этим в прогнозную методологию вводят понятия: устойчивость, инерционность, связность, сложность, облик и функциональная целостность объекта, точность и полнота описания, риск принятия решения.

Инерционность характеризует сопротивляемость объекта во времени изменению собственной траектории под воздействием внешней среды.

Устойчивость предполагает определенную предпочтительность направлений развития во времени, т.е. выбор объектом каких-либо определенных траекторий во времени и в пространстве показателей, описывающих объект.

Связность и сложность характеризуют внутренние системные параметры объекта. В частности, связность – это количественная характеристика, определяющая наличие связей между элементами и уровнями системы; сложность – число элементов и связей системы.

Прогнозный доверительный интервал не может быть меньше определенной величины, зависящей от характеристик «устойчивости, инерционности, связности, сложности и т.д.».

Инерционность системы существенно меняется в зависимости от «системных размеров» объекта, от его сложности. Чем сложнее система (или объект), тем более она инерционна. Чем слабее связи между элементами системы, тем объект оказывается более инерционным.

Понятие инерционности позволяет судить о неизменности, однородности траектории (динамики) системы. Чем более инерционной является система, тем более «гладкой» и устойчивой представляется траектория ее изменения. Число возможных траекторий системы тем больше, чем выше ее энтропия, причем это число уменьшается при переходе от равновероятных процессов к направленным. Перемещение системы по конкретной траектории возможно лишь при наличии определенных связей между элементами. Программа изменения связей может находиться в самих связях либо локализоваться в нескольких управляющих подсистемах.

Помимо рассмотренной точки зрения о проблеме верификации прогноза в литературе встречается (причем достаточно часто) и более упрощенная трактовка этой проблемы. В частности, о точности прогноза судят по величине погрешности – разности между прогнозируемым и фактическим значением исследуемого объекта. Такой подход возможен в двух случаях. Во-первых, когда период упреждения уже окончился и исследователь имеет фактические знания переменной. При краткосрочном прогнозировании это доступно. Во-вторых, когда прогноз разрабатывается ретроспективно, т.е. прогнозирование осуществляется для некоторого, уже прошедшего, момента времени, для которого уже имеются фактические данные. Так поступают в тех случаях, когда проверяется разработанная методика прогноза.

Следует обратить внимание и на то обстоятельство, что проверка точности единичного прогноза не дает исчерпывающей уверенности в пригодности метода. В самом деле, на формирование исследуемого явления влияет множество разнообразных факторов, поэтому полное совпадение или значительное расхождение прогноза и его реализации может быть следствием просто особо благоприятных (или неблагоприятных) стечений обстоятельств. Единичный хороший прогноз может быть получен и по плохой модели, и наоборот. Отсюда следует, что о качестве прогнозов можно судить лишь по совокупности сопоставлений прогнозов и их реализаций.

Оценка качества прогнозных и плановых методов

Сравнительная оценка прогнозов возможна только на основе измерения их эффективности. Эффективность прогноза – оценка достоверности, являющаяся основанием для принятия рационального решения.

На начальном этапе оценки эффективности прогноза можно проводить сравнение различных методов на основе разных подходов к верификации.

1. Прямая верификация. Верификация прогноза путем его повторной разработки другим методом.

2. Косвенная верификация. Верификация прогноза путем его сопоставления с прогнозами, полученными из других источников информации.

3. Инверсная верификация. Верификация прогноза путем проверки адекватности прогностической модели на материалах ретроспективного периода. Полученная относительная ошибка может быть критерием эффективности прогноза и одновременно величиной для расчета доверительных интервалов прогноза.

4. Консеквентная (дублирующая) верификация. Верификация прогноза путем аналитического или логического выведения прогноза из ранее полученных прогнозов.

5. Верификация повторным опросом. Верификация прогноза путем использования дополнительного обоснования или изменения экспертом его мнения, отличающегося от мнения большинства.

6. Верификация оппонентом. Верификация прогноза путем опровержения критических замечаний оппонента по прогнозу.

7. Верификация учетом ошибок. Верификация прогноза путем выявления и учета источников регулярных ошибок прогноза.

8. Верификация компетентным экспертом. Верификация прогноза путем сравнения с оценкой наиболее компетентного эксперта.

Результат верификации характеризует отдельные преимущества и недостатки метода прогнозирования и прогнозного результата. Между тем необходимо иметь комплексную характеристику качества метода прогнозирования или оценку его эффективности.

После разработки планов предприятия необходимо эффективно их выполнить. Для этого применяется система контроля над данным процессом и, в случае необходимости, принятие соответствующих корректирующих мер. Основным инструментом данного процесса может быть анализ по оценке выполнения планов на предприятии.

В большинстве случаев на предприятиях независимо от уровня развития системы и методик внутрипроизводственного планирования их хозяйственной деятельности, анализ по оценке выполнения плана сводится к определению соответствующего процента для отдельного периода планирования. В зависимости от способа формирования показатели оценки плановой деятельности можно разделить на простые и сложные.

Количественные значения простых показателей фиксируются и накапливаются в процессе оперативного учета. К таким показателям, например, можно отнести объем выпуска продукции в натуральном выражении, численности рабочих, простои оборудования и др.

Сложные показатели рассчитываются на базе простых показателей. Примерами сложных показателей могут быть: объем выпуска продукции в трудовом и стоимостном выражении; средняя выработка продукции на одного рабочего; заработная плата работников; себестоимость товарной продукции и др.

Каждое предприятие самостоятельно определяет перечень показателей для оценки эффективности своей деятельности. При этом оно должно учитывать следующее: состав показателей должен быть минимальным и одновременно всесторонне отражать функционирование объекта управления, специфику его деятельности; показатели должны легко поддаваться учету, оценке и агрегированию по уровням управления (рабочее место, участок, цех, организация) и не дублировать друг друга.

Оценочные показатели, используемые в ходе контроля и анализа, должны соответствовать показателям планового задания. Однако нельзя стремиться к тотальному контролю, так как затраты на его осуществление значительно превысят объем полезной информации, необходимой для оценки хода производства и регулирования. Масштабы контроля должны соответствовать потребностям системы управления в аналитической информации.

В процессе контроля можно выделить два этапа: 1) сравнение фактических значений контролируемых показателей с запланированным уровнем; 2) определение значимости (существенности) отклонений в случае их возникновения.

Рассмотрим эти этапы более подробно.

На первом этапе фактические значения показателей, полученные в ходе оперативного учета или рассчитанные на основании данных оперативного учета, сравниваются с запланированными значениями и определяются абсолютные и относительные отклонения. Информация поступает руководителям производственных подразделений или менеджерам функциональных служб управления.

Абсолютные отклонения (∆ Y) рассчитываются по формуле (17.11):

∆ Y = Y_ф - Y_п, (17.11)

где Y_ф — фактическое значение показателя Y;

Y_п —плановое значение показателя Y.

Относительные отклонения (δ Y) определяются следующим образом (формула (17.12)):

δ Y = (Y_ф/Y_п)*100%. (17.12)

При сравнении планового и фактического значений показателя могут быть получены следующие результаты:

1) Y_ф=Y_п или ∆ Y= 0. Это означает, что процесс производства протекает в соответствии с запланированным уровнем и нет необходимости вмешательства в его ход;

2) Y_ф > Y_п, , тогда ∆ Y > 0. Эта ситуация может означать наличие неиспользованных производственных резервов. В случае постоянного перевыполнения планового показателя необходимо обратить внимание на обоснованность планового задания. Для показателей, характеризующих затраты ресурсов на производство продукции, положительные отклонения означают перерасход ресурсов. Следовательно, необходимо определить значимость данного отклонения и проанализировать причины его возникновения с целью его устранения и дальнейшего предупреждения;

3) Y_ф< Y_п, тогда ∆ Y< 0. Это означает отставание от планового задания, необходимость оценки значимости величины отклонения и выяснения его причин. Для показателей, характеризующих затраты ресурсов, данная ситуация отражает возможность наличия резервов.

При осуществлении контроля за деятельностью предприятия определяется, насколько допустимы обнаруженные отклонения, т.е. фактически руководителем принимается решение о необходимости вмешательства в ход процесса производства. Допустимое отклонение – это отклонение, выявленное в ходе выполнения планового задания и гарантированно не приводящее к срыву выполнения итоговых показателей планового задания.