С завидной регулярностью мне попадаются на глаза статьи, где бравые L&D специалисты, а иногда и директора целых корпоративных университетов, рассказывают о методах расчета эффективности проведенного обучения на основе модели Киркпатрика. И к моменту, когда я заканчиваю чтение статьи, воображение рисует мне мрачные картины расчленения, растягивания на дыбе, поджаривания, вываривания в кипятке или, как минимум, увольнения с текущего места работы ее автора. А заодно и HR директора, допускающего к учебному процессу в своей компании подобных «профессионалов»​.

Потом я, конечно, остываю, кровожадные порывы иссякают, и я опять могу спокойно (в тысячный раз) объяснять, что не так с Киркпатриком и ROI, и почему говорить про устаревшие модели оценки в нынешние времена всеобщей цифровизации / диджитализации, мягко говоря, моветон.

Киркпатрик? ROI? О Господи, нет!

Сразу оговорюсь, что проблема не только в Киркпатрике. Любая из более-менее известных моделей оценки обучения — Киркпатрика-Филлипса, Стаффлбима, Берна, Тайлера, Скривенса и т.д. — НЕ ПРЕДОСТАВЛЯЮТ возможность просчитать, какую отдачу приносит каждый рубль, вложенный в обучение. Нельзя сказать, что они совсем уж ничего не считают. Просто все эти модели не дают возможность определить, как проведенное обучение влияет на бизнес-результаты.

Именно поэтому в учебниках для HR часто любят рисовать пресловутый «черный ящик»​, красиво обозначая его как «The black box phenomenon»​.

Иначе говоря, есть какие-то «HRM inputs»​ — потом идут «HRM outcomes»​ или «Простите, но мы не знаем, что здесь происходит…»​ — а потом уже «Firm performance»​.

Ну вот как на картинке ниже из учебника Армстронга, переизданного, как минимум, 14 раз. Если говорить совсем грубо, то на вопрос: «Каков же вклад HRM в производительность (результативность) компании?»​ автор учебника стыдливо отводит глаза, прикрываясь «феноменом»​, как фиговым листком.

Нет, ну 70 лет назад, когда Киркпатрик придумал свою модель, прятать голову в «черный ящик»​, может быть, и стоило, но сегодня это как-то совсем не комильфо. Почему?

А потому что сейчас у нас в руках есть три составляющие, необходимые для решения этой задачи:

  1. данные (точнее — много-много-много данных),
  2. модель оценки Human Capital, разработанная совместно CIPD и CIMA,
  3. статистика.

Поэтому забудьте уже, наконец, про Киркпатрика, XXI век давно на дворе.

Данные

Диджитализация дала возможность фиксировать практически каждый «чих»​ сотрудника. Я не могу сказать, что однозначно положительно отношусь к цифровым профилям сотрудников, но когда речь заходит об организационном обучении, я двумя руками за то, чтобы таких данных собиралось как можно больше. В системах, построенных на принципах микро- и интервального обучения, и дающих возможность проводить пульс-опросы, по каждому пользователю собирается такое количество данных, что можно совершенно детально, буквально под микроскопом, проследить каждый его шаг в развитии компетенций — и в процессе получения знаний, и в процессе их переноса на рабочее место.

В итоге можно получить необходимые данные по прогрессу в развитии компетенций. И да, это пока еще не рубли. Это то, что в модели CIPD и CIMA называется «outputs»​.

Модель CIPD и CIMA

Сначала об авторах модели. Что это за «звери»​ — CIMA и CIPD?

  • CIMA — самая большая в мире организация, сертифицирующая профессиональных бухгалтеров по управленческому учету (которые очень близки нашим экономистам).
  • CIPD тоже широко известная международная организация, проводящая профессиональную сертификацию. Только сертифицирует CIPD не бухгалтеров, а HR.

Несколько лет назад две эти организации объединили усилия и разработали модель оценки Human Capital, как одного из шести видов капитала, по которым предоставляется интегрированная отчетность. За основу CIMA и CIPD взяли бизнес-модель, описанную в The International Integrated Reporting Framework, которая включает в себя четыре уровня:

  1. входы (inputs),
  2. действия (activities),
  3. выходы (outputs) и
  4. результаты (outcome).

Для нас наибольший интерес в этой пирамиде представляет третий уровень — уровень «выходов»​. Потому что именно он показывает какой результат получен после вложения инвестиций в HR-активности. И именно он является связующим звеном между каждодневным HR-менеджментом и организационной эффективностью.

Полученные нами в ходе учебного процесса данные о прогрессе в развитии компетенций являются именно output’ами, посредниками между инвестициями в обучение и бизнес-результатами.

Аналогичные outputs мы получаем, когда проводим обучение по комплайнс (например, ПОД/ФТ в банках и страховых компаниях) и/или безопасности труда. В этом случае связать эффективность обучения с результатами мы можем только рассчитав, сколько денег сэкономил бизнес из-за сокращения выплат по штрафам или компенсаций по инцидентам. Количество сокращенных в результате обучения случаев нарушений или инцидентов — это именно «выходы»​, непосредственно влияющие на «результаты»​.

А теперь статистика

И вот теперь пришло время поговорить о корреляционном анализе. Корреляционный анализ — раздел математической статистики, объединяющий практические методы исследования корреляционной связи между двумя и более случайными признаками или факторами. Цель корреляционного анализа — обеспечить получение некоторой информации об одной переменной с помощью другой переменной. В случаях, когда возможно достижение цели, говорят, что переменные коррелируют.

В самом общем виде принятие гипотезы о наличии корреляции означает, что изменение значения переменной X произойдет одновременно с пропорциональным изменением значения Y.

Определим, что X — это величина прогресса в развитии компетенций в процессе развития Leadership capability (output), а Y — какой-то из стоимостных показателей Organisation performance (outcome). И теперь решаем задачу на основе статистических гипотез — основной и альтернативной — и пытаемся оценить значимость коэффициента ранговой корреляции.

В итоге, имея цифры на руках, вы увидите — существует ли зависимость между данными по обучению и индивидуальной или организационной результативностью.

Осторожно выходим из «черного ящика»​

Итак, на вопрос «Может ли HR-функция наконец выйти на свет Божий из «черного ящика?»​, — ответ «Да»​. Необходимая для этого последовательность действий.

1) Взяли проф.стандарт.

2) Составили программу обучения по требованиям к знаниям и пониманию, задаваемым стандартом.

3) Составили опросники по требуемым поведенческим характеристикам, задаваемым стандартом.

4) Провели обучение и оценку.

5) Измерили изменения в поведении — что из изученного дошло до рабочего места.

6) Используя полученные данные по пониманию знаний и их применению, оценили прогресс в развитии компетенций и навыков.

7) Рассчитали коэффициенты корреляции / регрессии этого прогресса с KPI и/или прибылью.

Семь этих шагов сделать непросто, их совершенно невозможно пройти без привлечения линейных менеджеров (и коучинга как линейных менеджеров, так и их подчиненных), но в целом эта последовательность действий вполне реализуема.

И, пожалуйста, в следующий раз увольте своего L&D, если он опять упомянет ROI от обучения…