Avaliação Kirkpatrick da eficácia do treinamento. Problemas modernos da ciência e da educação

trabalho de graduação

1.6 Modelo de D. Kirkpatrick para avaliar a eficácia da formação

Como já foi mencionado várias vezes acima, o problema de avaliar a eficácia da formação continua a ser relevante para muitas empresas envolvidas no desenvolvimento do seu pessoal.

É interessante que ainda haja controvérsia em torno da abordagem proposta por Kirkpatrick no final da década de 1950, ele formulou os agora famosos 4 níveis de avaliação de desempenho, mas o seu modelo de avaliação de formação continua a ser um dos básicos, e os seus livros são os mais básicos; citado. Kirkpatrick vê a avaliação como parte integrante do ciclo de formação, que inclui 10 etapas:

1. Determinação de necessidades.

2. Estabelecimento de metas.

3. Definição do conteúdo disciplinar.

4. Seleção dos participantes do treinamento.

5. Formação de um cronograma ideal.

6. Seleção de instalações adequadas.

7. Seleção de professores adequados.

8. Preparação de meios audiovisuais.

9. Coordenação do programa.

10. Avaliação do programa.

Kirkpatrick acredita que na maioria dos casos a avaliação se limita à utilização de questionários pós-formação – estudando a reacção imediata dos formandos à formação. Ele chama esses questionários de “folhas de sorriso”, o que significa que os participantes costumam usá-los para expressar gratidão.

Os quatro níveis de Kirkpatrick definem a sequência em que as avaliações de aprendizagem são conduzidas. Ele escreve: “Cada nível é importante e afeta o próximo nível. À medida que você passa de um nível para outro, o processo de avaliação se torna mais difícil e demorado, mas fornece informações mais valiosas."

· Nível 1 - Reação

· Nível 2 - Aprendizagem

· Nível 3 - Comportamento

· Nível 4 - Resultados

1. Reação

A avaliação neste nível determina como os participantes do programa respondem ao programa. O próprio Kirkpatrick chama isso de índice de satisfação do cliente. Quando o treinamento é realizado internamente, a resposta dos participantes nem sempre é interpretada como satisfação do cliente. Muitas vezes a administração determina a necessidade de participar de algum Programa educacional. Kirkpatrick destaca que, neste caso, a reação dos participantes é um critério muito importante para o sucesso do treinamento, por pelo menos dois motivos.

· Em primeiro lugar, as pessoas de uma forma ou de outra partilham as suas impressões sobre a formação com a sua gestão, e esta informação vai além. Consequentemente, influencia as decisões sobre a formação contínua.

· Em segundo lugar, se os participantes não responderem positivamente, não ficarão motivados para aprender. Uma reação positiva não garante o desenvolvimento bem-sucedido de novos conhecimentos, competências e habilidades. Uma reação negativa ao treinamento significa quase certamente uma diminuição na probabilidade de aprendizagem.

2. Aprendizagem

A aprendizagem é definida como a mudança de atitudes, melhoria de conhecimentos e melhoria de competências dos participantes como resultado da conclusão de um programa de formação. A mudança do comportamento dos participantes como resultado da formação só é possível quando a aprendizagem ocorre (as atitudes mudam, o conhecimento melhora ou as competências melhoram).

3. Comportamento

A este nível, é feita uma avaliação da medida em que o comportamento dos participantes mudou como resultado da formação. Kirkpartick salienta que a falta de mudança no comportamento dos participantes não significa que a formação foi ineficaz. São possíveis situações em que a reação ao treinamento foi positiva, o aprendizado ocorreu, mas o comportamento dos participantes não mudou no futuro, uma vez que as regras para isso não foram observadas. as condições necessárias. Portanto, a falta de mudança no comportamento dos participantes após o treinamento não pode ser motivo para a decisão de encerrar o programa. Nestes casos, além de avaliar a reação e o aprendizado, recomenda-se verificar as seguintes condições:

· Desejo dos participantes de mudar o comportamento.

· Os participantes têm conhecimento do que e como fazer.

· Disponibilidade de um clima sócio-psicológico adequado.

· Recompense os participantes pela mudança de comportamento.

Falando sobre o clima sócio-psicológico, Kirkpatrick refere-se principalmente aos supervisores imediatos dos participantes do treinamento. Ele identifica cinco tipos de “clima”: proibitivo, desanimador, neutro, de apoio, exigente. A posição do gestor, portanto, muda de uma proibição de mudança de comportamento para uma exigência de mudança de comportamento após o término do treinamento. Kirkpatrick acredita que a única forma de criar um clima positivo é envolver os líderes no desenvolvimento curricular.

4. Resultados

Os resultados incluem mudanças que ocorreram à medida que os participantes concluíram o treinamento. Como exemplos de resultados, Kirkpatrick cita aumento de produtividade, melhoria de qualidade, diminuição de acidentes, aumento de vendas e diminuição da rotatividade de funcionários. Os resultados não devem ser medidos em dinheiro.

Segundo Kirkpatrick, a avaliação neste nível é a mais difícil e cara. Aqui estão algumas dicas práticas que podem ajudá-lo a avaliar seus resultados:

· se possível, utilize um grupo de controle (aqueles que não receberam treinamento),

· realizar a avaliação após algum tempo para que os resultados sejam perceptíveis,

Realizar avaliações pré e pós-programa (se possível),

Realize a avaliação várias vezes durante o programa,

· comparar o valor da informação que pode ser obtida através da avaliação e o custo de obtenção dessa informação (o autor acredita que a realização de uma avaliação de nível 4 nem sempre é aconselhável devido ao seu elevado custo).

As desvantagens fundamentais desta abordagem incluem o facto de os blocos de informação seleccionados não estarem interligados, além disso, não existem mecanismos de feedback para gerir o processo de geração e transferência de conhecimento. em processamento. Consequentemente:

1) as características numéricas generalizadas não refletem objetivamente os estados e relações no sistema empírico medido;

2) as técnicas de medição utilizadas não possuem propriedades de validade, sensibilidade e confiabilidade;

3) a influência de fatores externos não é levada em consideração;

4) não está claro como isolar o “efeito líquido” do treinamento.”

1

Este artigo é dedicado a análise comparativa vários modelos de eficácia no treinamento de pessoal, incluindo os modelos mais comuns: Kirkpatrick, Bern, Stufflebeam e Phillips. Os modelos em questão foram estudados com base em informação secundária, incluindo um estudo realizado pela empresa britânica Embrion, bem como um estudo da empresa americana ASTD do ponto de vista qualitativo: a composição, características, limitações e vantagens com foram analisadas as desvantagens de cada um deles. Os resultados da comparação foram verificados por meio de uma pesquisa especializada realizada pelos autores quanto à precisão e prevalência de cada abordagem para avaliar a eficácia do treinamento. Com base nos resultados obtidos, foram tiradas conclusões sobre a aplicabilidade de cada modelo na prática das empresas russas. . Além disso, os autores oferecem algumas recomendações relativamente à utilização destas abordagens para obter maiores benefícios económicos.

Modelo Philipps

Modelo de Berna

Modelo Stufflebeam

Modelo Kirkpatrick

desenvolvimento de equipe

avaliação da eficácia do treinamento

1. Kirkpatrick DL, Kirkpatrick DD “Quatro passos para um treinamento bem-sucedido: um guia prático para avaliar a eficácia do treinamento” Moscou 2008. págs. 50-51.

2. Mironov V. Avaliação da formação segundo Kirkpatrick: o teste do tempo [recurso eletrônico]. – Modo de acesso: http://www.top-personal.ru/issue.html?2185 (data de acesso: -01.12.14).

3. Oparina N.N. Avaliação da eficácia da formação e desenvolvimento dos gestores de topo [recurso eletrónico]. – Modo de acesso: http://istina.msu.ru/media/publications/articles/e4f/7fc/422942/Otsenka_effektivnosti.pdf (data de acesso: 10/11/14).

4. Skiba E. Tópico 06 de março: avaliação da eficácia do treinamento. Resumo sobre nove modelos principais de avaliação [recurso eletrônico]. – Modo de acesso: http://www.trainings.ru/library/articles/?id=6328 (data de acesso: 05/12/14).

5. Casebourne I., Downes A. Avaliação da aprendizagem – um assunto de família? [Recurso eletrônico]. – Modo de acesso: http://epiclearninggroup.com/uk/files/2013/10/WP_Evaluation_of_-learning.pdf (data de acesso: 22/11/14).

6. Passmore J., Velez M.J. SOAP-M: Um modelo de avaliação de treinamento para RH // Treinamento Industrial e Comercial, 2012. Vol.6, No.

7. Topno N. Avaliação de Treinamento e Desenvolvimento: Uma Análise de Vários Modelos // Journal of Business and Management, 2012. Vol. 5, nº 2. P. 16-22.

EM condições modernas globalização, concorrência acirrada nos mercados nacionais e internacionais, um dos fatores para aumentar a competitividade é a melhoria da qualidade do pessoal da organização. Porém, o valor total do investimento em reciclagem de pessoal, ou em treinamentos diversos que visam desenvolver as qualidades necessárias à empresa funcionário individual, não pode servir como uma avaliação precisa do efeito obtido. Assim, uma parte significativa do problema é a questão de como avaliar a eficácia dos investimentos no desenvolvimento de pessoal. Para este efeito, foram desenvolvidos modelos separados para avaliar a eficácia da formação, que utilizaram principalmente a abordagem Kirkpatrick.

Modelo Kirkpatrick

Sem avaliar a eficácia da formação, é impossível construir um sistema de formação e desenvolvimento que proporcione os resultados empresariais necessários. Em 1954, Donald Kirkpatrick defendeu sua tese de doutorado na Universidade de Wisconsin (EUA) sobre o tema “Avaliando a Eficácia do Gerenciamento de Programas”. Ele propôs uma fórmula curta para descrever o ciclo de aprendizagem: reação - aprendizagem - comportamento - resultados (ver Figura 1). Este esquema é necessário para a formação eficaz do pessoal da empresa, bem como para a obtenção dos resultados empresariais necessários.

Fig.1 Modelo Kirkpatrick

O primeiro nível de aprendizagem é a reação. O feedback permite que você saiba o que os clientes pensam sobre o programa. Com base nas respostas, o treinador precisa fazer algumas alterações no programa para melhorá-lo. A avaliação do primeiro nível, “Reacção”, é muito importante, o formador precisa de conhecer a opinião dos participantes sobre o seu programa, e os ouvintes também devem ter a certeza de que o formador não é indiferente à sua opinião.

Segundo nível: conhecimento adquirido. É bom que o participante esteja satisfeito com o treinamento, mas isso não significa que tenha aprendido alguma coisa. Para avaliar o conhecimento adquirido, são utilizados testes para testar o conhecimento do material estudado, e também são utilizadas listas de verificação de habilidades. O teste é o seguinte: algum tempo após a conclusão do curso, os participantes são convidados para uma conversa com um colega ou supervisor experiente para descobrir quais conhecimentos aprenderam com o treinamento.

Terceiro nível: comportamento. Kirkpatrick identifica este nível como o mais importante e difícil. É a este nível que é feita uma avaliação de como o comportamento dos participantes mudou como resultado da formação e até que ponto os conhecimentos e competências adquiridos são aplicados no local de trabalho.

Nível quatro: resultados.

O principal na avaliação do quarto nível é imaginar o resultado final. A tarefa do formador é concretizar as expectativas das partes interessadas, ou seja, retorno.

O método de Donald Kirkpatrick nos mostra como tornar o processo de aprendizagem negócio eficaz- uma ferramenta, e integrar um treinamento separado na organização, para tornar o treinamento corporativo. Explica detalhadamente como planejar, como

estabelecer metas, como argumentar com os gestores sobre a necessidade de treinamento e, muito importante, como eliminar o treinamento desnecessário se ele não resolver os problemas declarados.

Na prática, porém, nem todos os quatro níveis são utilizados, mas na maioria das vezes apenas dois, em ordem decrescente de importância (com base em estudo realizado pela ASTD - Sociedade Americana de Treinamento e Desenvolvimento) (ver Fig. 2).

Figura 2 Uso dos níveis do modelo Kirkpatrick pelas organizações

Assim, a avaliação da eficácia do processo de aprendizagem deve ser abordada sob a perspectiva da gestão financeira e quantificar os resultados desse investimento. Uma solução para este problema foi proposta em 1997 por Jack Phillips.

Modelo de Jack Phillips

No início dos anos 90, o famoso especialista em RH Jack Phillips desenvolveu uma metodologia para avaliar a eficácia dos investimentos na formação de colaboradores. Em seu trabalho, publicado em 1975, Kirkpatrick expressou um pensamento inesperado: “Sob nenhuma circunstância você deve pensar em traduzir o quarto nível (resultado comercial) em dinheiro. Não é necessário, você não pode.” E em 1991, outra pessoa, Jack Phillips, não só afirmou que isso era possível, mas também propôs um algoritmo de cálculo. Aos quatro níveis já mencionados, foi adicionado outro - o retorno do investimento, ou cálculo da relação entre o lucro do projeto e os custos do mesmo.

Este indicador permite avaliar a eficácia do treinamento. Os métodos de Phillips funcionam bem em empresas com gestão regular.

O ROI ajuda a obter uma série de benefícios, nomeadamente para os gestores das empresas: avaliar a eficácia financeira dos investimentos nos colaboradores; obter uma ferramenta clara e confiável para determinar a eficácia das atividades de RH; torná-lo mensurável" fator humano"e o seu impacto nos resultados do negócio da empresa. Em primeiro lugar, o modelo ROI é necessário para calcular o retorno do investimento em recursos humanos e programas de pessoal Quando a gestão investe em pessoas, ela precisa entender qual é o retorno desse investimento.

Modelo Stufflebeam (CIPP)

A abreviatura Stufflebeam (ver Fig. 3) é decifrada da seguinte forma:

Arroz. 3 Modelo Stufflebeam (CIPP)

O modelo permite avaliar tanto os resultados quanto o processo de aprendizagem e desenvolvimento. Portanto, este modelo pode ser aplicado com sucesso em programas de formação modular de longo prazo para gestores de topo.

Modelo de Berna (CIRO)

Semelhante ao modelo Stufflebeam é o esquema CIPO (ver Fig. 4), desenvolvido por Bern. O modelo inclui as seguintes etapas de avaliação:

Arroz. 4 Modelo Berna (CIRO)

Este modelo também pode ser utilizado para avaliar a eficácia da formação dos gestores de topo, especialmente no contexto do lançamento de programas modulares de longo prazo.

Vantagens e desvantagens de modelos de ensino eficazes

	Vantagens	Imperfeições
Kirkpatrick	A presença de quatro níveis de avaliação: pela reação dos participantes, pelos resultados do controle final, pelas mudanças no comportamento da produção e pelas mudanças nos indicadores de negócios da empresa. Possibilidade de escolha para avaliar a eficácia da formação de gestores de topo.	A dificuldade de medir o terceiro nível, a relutância dos gestores de topo em se submeterem ao procedimento de avaliação ou trabalharem com treinadores. Recusa em avaliar com base em indicadores financeiros.
	Desenvolvimento do modelo Kirkpatrick. Introdução do quinto nível de avaliação da eficácia da formação e desenvolvimento. A capacidade de usar o retorno financeiro do investimento em treinamento e desenvolvimento.	O cálculo do retorno do investimento só é possível se a organização tiver uma contabilidade financeira gerencial completa. É usado principalmente para calcular a eficácia de programas demorados, caros e complexos.
Travessa	Capacidade de avaliar tanto o processo como os resultados da formação e desenvolvimento em estreita ligação com os objetivos da empresa.	Métodos e procedimentos pouco claros para avaliar os resultados da formação e desenvolvimento dos gestores de topo.
	Desenvolvimento do modelo Stufflebeam e parcialmente Kirkpatrick. Estabelecer metas, identificar oportunidades, identificar opiniões dos participantes sobre treinamento e desenvolvimento, avaliar resultados.		A dificuldade de manter um procedimento constante de avaliação da eficácia da formação e desenvolvimento dos gestores de topo, candidatura a programas de longo prazo.

A tabela fornece uma comparação dos modelos e métodos mais populares para avaliar a eficácia do desenvolvimento e treinamento de pessoal em termos de vantagens e desvantagens, incluindo complexidade financeira, de cálculo e assim por diante.

Vale ressaltar que hoje não existe um modelo ideal de treinamento eficaz que inclua todos os parâmetros de avaliação necessários. Cada um dos modelos apresentados tem seus prós e contras, que são claramente apresentados acima.

Os autores realizaram um inquérito a 7 especialistas na área de RH sobre os modelos mais precisos para avaliar a eficácia da formação (cada especialista teve que escolher os modelos mais precisos, na sua opinião, da lista proposta). Os dados da pesquisa são apresentados abaixo (ver Figura 5):

Figura 5. Resultados da pesquisa sobre a precisão dos modelos de treinamento

Esta pesquisa mostrou que os modelos de aprendizagem mais precisos são o modelo Kirkpatrick e o modelo Phillips, e os menos precisos são o modelo Stufflebeam e o modelo Berne.

Conclusão

Concluindo, podemos dizer que é necessário levar em conta as diferenças entre a cultura de aprendizagem ocidental e a nossa. No Ocidente, a formação empresarial tornou-se há muito tempo uma condição indispensável e parte da vida empresarial, não sendo necessário explicar muitas coisas aos colaboradores. Na Rússia, a atitude em relação à formação empresarial começou agora a mudar no sentido do interesse e as próprias tecnologias estão apenas começando a ser introduzidas. Assim, os entrevistados mostraram que, em geral, os modelos de ensino eficazes utilizam mais frequentemente Empresas ocidentais. Os modelos mais precisos são os de Kirkpatrick e Phillips. Os modelos menos precisos incluem os modelos Stufflebeam e Berna, de acordo com os entrevistados, estes modelos são menos utilizados tanto no Ocidente como na Rússia;

O modelo de Kirkpatrick mostra como transformar o processo de treinamento em uma ferramenta de negócios eficaz e integrar o treinamento individual em uma organização. O modelo Phillips ajuda uma organização a avaliar Resultados financeiros treinamento e desenvolvimento. O modelo Stufflebeam permite avaliar tanto os resultados quanto o próprio processo de aprendizagem. O modelo de Berna ajuda-nos a determinar os objectivos, oportunidades e opiniões dos participantes na formação. Assim, podemos dizer que cada um dos modelos apresentados tem suas vantagens e desvantagens. Atualmente, não existe um modelo ideal que inclua todos os parâmetros para avaliar o treinamento eficaz de uma só vez.

Revisores:

Putilov A.V., Doutor em Ciências Técnicas, Professor, Reitor da Faculdade de Administração e Economia de Alta Tecnologia, Ministério da Educação e Ciência Federação Russa, estado federal autônomo instituição educacional mais alto Educação vocacional“Universidade Nacional de Pesquisa Nuclear “MEPhI”, Moscou;

Tupchienko V.A., Doutor em Economia, Professor, Professor do Departamento de “Gerenciamento de Projetos de Negócios”, Ministério da Educação e Ciência da Federação Russa, Instituição Educacional Autônoma do Estado Federal de Educação Profissional Superior “Universidade Nacional de Pesquisa Nuclear “MEPhI”, Moscou.

Link bibliográfico

Udovidchenko R.S., Kireev V.S. ANÁLISE COMPARATIVA DE MODELOS DE AVALIAÇÃO DA EFICÁCIA DA FORMAÇÃO DE PESSOAL // Questões contemporâneas ciência e educação. – 2014. – Nº 6.;
URL: http://science-education.ru/ru/article/view?id=16909 (data de acesso: 23/12/2019). Chamamos a sua atenção revistas publicadas pela editora "Academia de Ciências Naturais"

2 364

Descrevemos como usar o modelo Kirkpatrick para avaliar profundamente a eficácia da aprendizagem online. 15 ferramentas com recomendações de uso.

Este é um nível avançado de avaliação da eficácia dos cursos online. Quando os clientes desejam entender exatamente como o treinamento corporativo impactará o desempenho, realizamos pesquisas e utilizamos 15 ferramentas baseadas no modelo Kirkpatrick.

Resumidamente sobre este modelo. Donald Kirkpatrick identificou quatro níveis de avaliação de desempenho: reação, assimilação, comportamento, resultado. Falamos sobre cada um em ordem e imediatamente com exemplos.

Reação emocional

O nível emocional avalia se você gostou ou não do curso. Isso não significa que aprender que você gosta seja mais eficaz, mas quando a pessoa está relaxada, o cérebro fica mais pronto para aprender e também há mais interesse e atenção.

Aqui usamos três ferramentas.

Pesquisa antes e depois avaliar o retorno das expectativas. Mostra até que ponto os objetivos que os participantes estabeleceram para si próprios antes do início da formação foram alcançados. Os resultados ajudam a formular corretamente os objetivos do curso e a adaptar os materiais às necessidades do público.

Por exemplo, as pessoas fazem um curso de vendas para aprender como atrair novos clientes através de um sistema de referência. O curso contém informações sobre isso, mas sem conselhos práticos: as pessoas entendem a teoria, mas não como aplicá-la na prática. Suas expectativas em relação ao curso foram parcialmente correspondidas.

Avaliação de satisfação- esta é a impressão geral do curso e de suas partes individuais: materiais, ilustrações, comentários. Os resultados mostram o que cria uma impressão positiva e negativa e, a partir disso, partes do curso podem ser fortalecidas ou removidas.

Por exemplo, em um curso de vendas, as pessoas gostaram dos quadrinhos do estudo de caso, mas não do texto teórico que os acompanha. Este é um sinal: remova a teoria ou mova-a para bloco separado para os mais meticulosos.

Análise de conteúdo de comentários- mostra a diferença nas impressões dos alunos que concluíram e não concluíram o curso. Para fazer isso, você precisa fazer perguntas em formulário aberto e organize as respostas em categorias. Os resultados mostrarão como motivar as pessoas a concluir o treinamento.

Por exemplo, a maioria das pessoas que desiste de um curso de vendas diz: as informações são incompreensíveis, as perguntas são complicadas e, no geral, é chato. Quem já concluiu o curso também nota materiais incompreensíveis. A conclusão é simplificar o conteúdo.

Aquisição de conhecimento

O Nível de Proficiência avalia quais conhecimentos, habilidades e técnicas os alunos dominaram. Também aqui nem tudo é simples: se a pessoa não quiser utilizar novas técnicas ou não souber como fazê-lo, o treinamento não será eficaz. Para que o desejo e a compreensão apareçam, você precisa de “insight” - consciência por meio de sua própria experiência e análise.

Aqui usamos quatro ferramentas.

Teste de conhecimento antes e depois. Tudo é simples aqui: mostra o progresso do conhecimento sobre um tema - ou a falta dele. Os resultados podem mostrar que os materiais do curso são demasiado simples, ou demasiado complexos, ou superficiais. Por outro lado, o nível dos ouvintes pode ser muito alto ou baixo para este tópico. Talvez tudo fique bem e o nível de conhecimento aumente.

Se você avaliar não o curso inteiro, mas os tópicos individuais, ficará claro quais conhecimentos ele desenvolve mais. Por exemplo, um curso sobre negociação tem quatro tópicos: posições de negociação, técnicas, habilidades de negociação para trabalho gerencial e habilidades de vendas. O teste mostrou que o conhecimento sobre o tema “posições de negociação” triplicou. Isso pode ser uma característica do curso ou aprimorar outros tópicos.

Avaliando o progresso com base nos resultados dos testes mostra se o número de erros diminui à medida que o curso avança. Como resultado, fica claro quais tópicos são melhor aprendidos. É impossível levar em consideração todos os fatores que influenciam o ouvinte durante a prova e ter certeza de que ele não está trapaceando - por isso tratamos a avaliação com cautela.

Por exemplo, o teste final costuma ser mais difícil que os intermediários. É normal que a taxa de erro seja maior. Se antes havia menos erros em cada teste, então este é um bom indicador.

A conexão entre estudo repetido de materiais e resultados de testes- mostra quais tópicos precisam ser lidos duas, três ou quatro vezes para que os resultados melhorem. Soluções: Explique com mais detalhes ou altere a estrutura para mostrar coisas complexas várias vezes e de diferentes ângulos.

Por exemplo, a análise concluiu que os formandos estudaram um tópico seis vezes, quase duplicando as suas notas. Isso significa que ela tem um potencial enorme, mas a apresentação é muito complicada. Temos que avançar.

A conexão entre o tempo gasto estudando materiais e resultados. Isso é semelhante à ferramenta anterior, mas aqui estimamos quanto tempo os usuários eficazes e ineficazes gastam em um material. Como resultado, podemos determinar o tempo ideal para cada um e, se necessário, alterar o volume.

Por exemplo, um ouvinte eficaz gasta 6 minutos no tópico “habilidades de negociação para trabalho gerencial” e um aluno ineficaz gasta dois. Pode-se presumir que o tema foi abandonado porque é difícil ou não foi estudado com atenção suficiente. Então motivaremos o usuário a trabalhar mais com isso.

Mudanças comportamentais

O indicador mais importante na avaliação de desempenho. Avalia como as pessoas usam novos conhecimentos na prática. Se isso não acontecer, o conhecimento é inútil, mesmo que a pessoa o tenha aprendido.

Aqui usamos seis ferramentas.

Porcentagem de conclusão de tarefa opcional. Mostra o quanto é importante para o aluno concluir o curso na íntegra. Com base nos resultados do estudo, fica claro quais tarefas são mais envolventes, mesmo que não sejam necessárias, e quais podem ser retiradas do curso.

Por exemplo, metade dos alunos começa a fazer uma tarefa opcional. Este é um bom indicador: ou o tema é importante e pode se tornar obrigatório, ou as ferramentas de engajamento funcionaram.

Frequência de visitas para pessoas que concluíram e não concluíram o curso. Isso mostra se há diferença no estilo de passagem entre diferentes categorias de ouvintes. Para influenciar isso, configuramos notificações separadas para quem desaparece há muito tempo.

Por exemplo, na terceira semana do curso, as pessoas frequentam menos, mas na última semana tornam-se mais ativas e trabalham quatro vezes mais - como os alunos antes da sessão. Se você configurar notificações e motivar as pessoas a fazerem check-in com mais frequência na segunda ou terceira semana, o aprendizado será equilibrado.

Tempo médio por bloco para pessoas que concluíram e não concluíram o curso- mostra que diferentes tipos de alunos concluem o curso em ritmos diferentes. Isso ajuda a adaptar os materiais à velocidade e uniformizar o processo. Os dados também mostrarão onde motivar os usuários a permanecerem mais tempo no sistema e vice-versa - para acelerar.

Por exemplo, um bloco do curso leva o dobro do tempo que o resto. Não tendo dominado até o fim, os ouvintes vão embora. Conclusão: divida o material em dois blocos - as pessoas não o perceberão como grande e complexo e poderão “comer o elefante” pedaço por pedaço.

Dividindo ouvintes em tipos. Muitas vezes nos referimos a tipos de ouvintes, e esta divisão também é uma ferramenta de avaliação. Depois de entendermos quantas pessoas de cada tipo fazem o curso, podemos adaptar o conteúdo a elas, fornecer motivação adicional e até mesmo mudar a forma como o curso é promovido.

Por exemplo, há muitos “intermediários” no curso - são pessoas que lêem os materiais até o fim, mas não completam as tarefas ou as completam de qualquer maneira. Isso significa que eles precisam provar o valor das tarefas e motivá-los para alcançar resultados elevados.

Atividade social de pessoas que concluíram e não concluíram o curso, mostra a conexão entre aprendizagem e atividade em chats, comunicação com outros alunos e troca de experiências. Essa ferramenta não afeta a qualidade do curso, mas pode sugerir formas de motivar as pessoas por meio de atribuições sociais.

Se os usuários deixarem muitos comentários sobre o curso, você pode prometer um ponto extra pela postagem em rede social. Isso é motivação e publicidade para o curso.

O principal é que a recompensa não contraria a lógica da atribuição de pontos: se as pessoas tiverem que trabalhar muito para aprender a ganhá-los, a recompensa pela revisão será ilegítima.

Modelo de avaliação de quatro níveis de Kirkpatrick
Talvez o modelo mais famoso de avaliação do processo educacional sejaModelo Donald Kirkpartick O modelo de avaliação de quatro níveis, apresentado pela primeira vez numa série de artigos em 1959 noJornal da Sociedade Americana de Diretores de Treinamento (agora conhecida como Revista T+D). Esta série foi posteriormente compilada e publicada como um artigoTécnicas para Avaliar Programas de Treinamento em um livro editado por Kirkpatrick, Avaliando Programas de Treinamento em 1975.

No entanto, os quatro níveis do modelo de Kirkpatrick só se tornaram populares após o lançamento de seu livro Avaliando Programas de Treinamento. em 1994. Estes quatro níveis tornaram-se a pedra angular da indústria da formação nos tempos modernos.

Embora a maioria dos especialistas se refira a esses quatro critérios de aprendizagem como “níveis”, o próprio Kirkpatrick nunca usou o termo, geralmente os chamava de etapas. (Craig, 1996). Acrescentarei que ele não o chamou de modelo, mas usou palavras como “técnicas para conduzir a avaliação” para se referir a ele (Craig, 1996, p294).

Essas quatro etapas consistem em:

Etapa nº 1: Feedback ou reação (doravante no texto chamarei de primeiro nível – Feedback) ( Reação) – O quanto os alunos gostaram/não gostaram do processo de aprendizagem?;

Etapa 2: Treinamento ( Aprendizado) -O que eles estudaram? (o grau de assimilação de conhecimentos e habilidades pelos alunos);

Etapa 3: Comportamento ( Comportamento) – O que muda na atividade laboral do aluno em decorrência do processo de aprendizagem? (capacidade de aplicar conhecimentos e competências adquiridos nos estudos no trabalho);

Etapa 4: Resultados ( Resultados) – Quais são os resultados tangíveis (materiais) do processo de formação em termos de redução de custos, melhoria da qualidade do trabalho, aumento da produção, aumento da eficiência, etc.?

Conceito Kirkpatrick é muito importante porque é uma excelente ferramenta para planejar, avaliar e diagnosticar problemas, principalmente se fizermos pequenas melhorias conforme mostrado a seguir.

Não apenas para treinamento

Alguns especialistas assumem erroneamente que Modelo Kirkpatrick pode ser usado para treinamento (aqui nos referimos a processos formais de aprendizagem: treinamentos, seminários – nota de E.B.), mas o modelo poderia ser usado para trabalhar com outros processos educacionais. Por exemplo, profissão O Desenvolvimento de Recursos Humanos (DRH) preocupa-se não apenas com o desenvolvimento de processos formais de aprendizagem, como a formação, mas também com outras formas, como a aprendizagem informal, o desenvolvimento, a orientação e a nutrição (Nadler, 1984). O manual, publicado por um dos fundadores do Desenvolvimento de Recursos Humanos (DRH), Leonard Nadler (1984), utiliza o modelo de quatro níveis de Kirkpatrick como principal modelo para avaliar o processo de aprendizagem.

O próprio Kirkpatrick escreveu: “Esses objetivos (referindo-se ao seu artigo) estarão relacionados aos programas internos de sala de aula. Muitos procedimentos e princípios aplicam-se a todos os tipos de atividades de aprendizagem, tais como análise de desempenho, participação em programas externos, instrução programada, leitura de literatura especialmente selecionada" (Craig, 1996, p294).

Desenvolvimento do modelo de quatro níveis

Devido à “idade” do modelo, bem como com o advento de novas e modernas tecnologias, Modelo Kirkpatrick é frequentemente criticado por ser muito desatualizado e simples. Mas, no entanto, mesmo cinco décadas após a sua apresentação, não existia um modelo adequado capaz de substituir o modelo de Kirkpatrick. E tenho certeza de que a razão pela qual as substituições de modelos não estão acontecendo é porque Kirkpatrick estava basicamente certo, mas cometeu alguns pequenos erros:

Motivação, não feedback

Quando um aluno avança no fluxo de um processo de aprendizagem, como um curso de e-learning, um episódio de aprendizagem informal ou recebe assistência de um mentor na realização de uma atividade de trabalho, ele deve decidir onde concentrar a sua atenção primeiro. Se o objetivo ou tarefas são avaliados por ele como importantes ou viáveis, então o aluno normalmente fica motivado para alcançá-los. (Markus, Ruvolo, 1990). Mas se a tarefa lhe parece fracamente relacionada à sua atividade, ou se há apenas uma pequena probabilidade de concluí-la com sucesso, então a motivação para realizá-la é baixa. Além disso, a investigação sobre a avaliação do Feedback mostra geralmente que não é uma ferramenta válida para avaliar o sucesso (ver abaixo). última parte artigos Crítica)

É diferente das palavrasKirkpatrick(1996), que escreveram que Feedback é a medida em que os alunos avaliam um determinado processo de aprendizagem. Contudo, quanto menos importante for o material de aprendizagem para o aluno, mais esforço deverá ser colocado no desenvolvimento e apresentação desse material. Portanto, se o material educacional não for relevante para as necessidades do aluno, então o material educacional deve “prender” o aluno com design sofisticado, humor, jogos, etc... Isso não significa que design, humor ou jogos não sejam importantes. ; porém, sua utilização no processo de aprendizagem é muito mais do que apenas tornar o processo divertido, eles auxiliam e promovem o processo de aprendizagem. E se o material de aprendizagem for construído com base em objectivos e design claros, então ajudará o aluno a preencher a lacuna entre as actividades existentes e as necessárias. Portanto, eles (design, humor, jogos) devem motivar a aprendizagem - se isso não acontecer, então algo deu errado no processo de planejamento e criação do processo de aprendizagem! Se de repente você se pegar pensando que está tentando atrair os alunos com todos os tipos de atrativos (design, humor, jogos), provavelmente deveria reconsiderar os objetivos do seu processo educacional.

Desempenho, não comportamento

O desempenho é melhor que o comportamento porque a atividade tem dois aspectos: o comportamento é o meio e a consequência do comportamento são os resultados. E são estes resultados que mais nos interessam, como refere Gilbert (1998).

Transforme-o em um melhor modelo

O modelo onde estão no final os dois itens mais importantes, resultados e comportamento, vira de cabeça para baixo porque a importância dos itens fica impressa na mente das pessoas na ordem em que aparecem. Assim, invertemos o modelo e somamos o acima e obtemos:

Resultado ( Resultado) - Qual impacto (consequência ou resultado) melhorará o seu negócio?

Atividade ( Desempenho) – O que os funcionários devem fazer para alcançar o efeito desejado?

Educação ( Aprendizado) – De que conhecimentos, competências e recursos necessitam para realizar as suas atividades? (cursos e atividades presenciais devem ser os últimos da lista)

Motivação ( Motivação) – O que eles precisam para aprender e realizar atividades de forma consciente?

Este modelo torna-se uma ferramenta tanto para planejamento quanto para avaliação = diagnóstico de problemas (Chyung, 2008):

Metas (planejamento)	Nível de avaliação
Quais são os objetivos da nossa empresa para o desenvolvimento de negócios?	resultados Você sentiu o efeito esperado?
O que nossos estagiários precisam ser capazes de fazer para atingir esses objetivos?	Atividade As competências adquiridas foram transferidas para o trabalho pelos formandos?
Que novas competências, conhecimentos e recursos são necessários para que os formandos possam realizar a atividade?	Educação Os formandos aprenderam as competências e/ou recursos necessários?
O que os alunos precisam para aprender e realizar atividades conscientemente?	Motivação Eles estão motivados para aprender e fazer o trabalho?

O modelo corrigido agora pode ser usado para planejamento (coluna da esquerda) e estimativa (coluna da direita). Além disso, pode ser usado para diagnosticar áreas problemáticas no processo de aprendizagem. Por exemplo, se você sabe que os funcionários adquiriram as habilidades necessárias no processo de treinamento, mas não as aplicam no trabalho, então as seguintes áreas problemáticas tornam-se óbvias (neste exemplo, esta é a célula Atividade ou a célula à esquerda de isto):

Há algo no ambiente de trabalho do funcionário que limita sua capacidade de utilizar as habilidades que aprendeu; ou

A própria premissa de que essas habilidades levarão a mudanças no desempenho é incorreta.

O diagrama abaixo mostra como os processos fornecidos no modelo revisado se encaixam

Organização

1. Resultados

Avaliação sumativa

Atividade

2. Ambiente de trabalho

Teste formativo

Ambiente de aprendizagem

3. Treinamento

Teste formativo

Pessoas

4. Motivação

Teste formativo

Como mostra o diagrama acima, a Avaliação de Resultados é mais interessante para a gestão empresarial, enquanto os outros três níveis de avaliação (atividade, aprendizagem e motivação) são os principais para o designer de formação da empresa planear e avaliar os processos de aprendizagem; e claro que a Avaliação de Desempenho também é importante para ele, pois é a provedora dos objetivos de desenvolvimento do negócio.

Nível um – Resultados

Resultados ou impacto

Embora geralmente mais difícil e demorado do que os outros três níveis, fornece informações de grande valor: comprova o valor dos processos de aprendizagem e desempenho. No entanto, a utilização do modelo Objectivos/Planeamento/Avaliação deverá tornar o processo mais simples e fácil e você terá uma imagem clara do que está tentando alcançar. Aquilo é. Quando você começa a planejar algo, você está em melhor posição para entender como avaliá-lo.

Motivação, Aprendizagem e Desempenho são em grande parte uma questão de unidades de medida “leves” (as chamadas métricas não financeiras); contudo, os decisores que aprovam os processos de aprendizagem preferem os resultados (retorno do investimento ou impacto). Jack Phillips (1996), que provavelmente conhece os quatro níveis melhor do que ninguémModelo Kirkpatrick , escreve que o valor da informação torna-se significativamente maior se passarmos da motivação para os resultados.

O que foi dito acima não significa que os outros três níveis sejam inúteis, na verdade, o benefício de utilizá-los reside na localização de problemas no processo de aprendizagem:

A avaliação da motivação informa até que ponto o processo de aprendizagem corresponde às expectativas dos formandos (isto mede quão bem o processo de análise do processo de aprendizagem foi desenvolvido). Você pode ter todos os outros níveis corretos, mas se os alunos não virem os objetivos de aprendizagem e da atividade, eles (os alunos) provavelmente não alcançarão os objetivos de aprendizagem.

Uma avaliação de treinamento informa quão bem o processo de treinamento realmente funciona para treinar os funcionários (esta avaliação mede quão bem funciona o design e o desenvolvimento do processo de treinamento e do material).

A avaliação de desempenho informa até que ponto as habilidades aprendidas realmente se traduzem no desempenho dos funcionários (isso mede o quão bem o processo de avaliação de desempenho está sendo executado).

A medição de resultados informa o que a organização recebe em troca do que investe no apoio à aprendizagem. Os decisores geralmente preferem resultados em unidades de medida concretas, embora não necessariamente em dólares e cêntimos. Por exemplo, um inquérito realizado a gestores financeiros e de TI revelou que estes consideram o retorno do investimento na formação de tecnologias orientadas para o cliente, tanto em unidades de medida duras como leves, embora Gravidade Específica mais especificamente em métricas não financeiras (soft), como satisfação e fidelidade do cliente (Hayes, 2003).

Deixe-me observar a diferença entre “informação” e “reembolso”. Medir a Motivação, a Aprendizagem e o Desempenho fornece informações para melhorar e avaliar o processo de aprendizagem que em maior medida propriedade dos designers de aprendizagem da empresa; enquanto medir os Resultados fornece uma medida do retorno do investimento do processo de aprendizagem que é mais relevante para os líderes empresariais.

A medição de resultados pode ser feita através de uma abordagem de Balanced Scorecard (Kaplan, Norton, 2001), que mostra o impacto ou retorno do investimento a partir de quatro perspectivas:

Financeiro: Medição em métricas como ROI, que mostra o retorno monetário do investimento ou a eficácia dos resultados de um processo. Indicadores financeiros pode ter unidades de medida “soft” e “hard” do resultado.

Cliente: melhorar o campo onde a organização constrói suas diferenças em relação aos concorrentes na atração, retenção e construção de relacionamentos profundos e de longo prazo com clientes-alvo

Interno: Alcançar a excelência melhorando processos como gerenciamento da cadeia de suprimentos, fabricação ou suporte técnico.

Inovação e aprendizagem: o processo de aprendizagem apoia as mudanças climáticas organizacionais, a inovação e o desenvolvimento individual

Nível dois – Atividade

Esta avaliação inclui testar a capacidade do aluno de incorporar no trabalho as habilidades adquiridas durante o processo de aprendizagem. Esta avaliação pode ser feita formalmente (teste) ou informalmente (observação). É determinado pela forma como respondem à pergunta: Os funcionários utilizam as competências recém-adquiridas no processo de trabalho?

É muito importante medir o desempenho porque o objetivo básico do treinamento corporativo é melhorar os resultados, transmitindo novos conhecimentos e habilidades aos funcionários para que eles possam aplicá-los no trabalho. O desempenho deve ser medido na medida em que os trabalhadores realizam o seu trabalho; A medição geralmente deve ser realizada por alguém que tenha um relacionamento próximo com o estagiário: um supervisor, um observador treinado ou um entrevistador.

Nível três – Treinamento

É uma medida de quão profundamente os alunos absorvem conhecimentos, desenvolvem competências e mudam atitudes e atitudes como resultado da participação no processo de aprendizagem. A avaliação da aprendizagem normalmente requer pós-testes para determinar quais competências os formandos aprenderam durante o processo e quais as competências que os formandos já possuem.

Medir os resultados do processo de aprendizagem é importante do ponto de vista da validação do objetivo de aprendizagem. Medir a aprendizagem normalmente se concentra nas seguintes questões:

Que conhecimentos foram adquiridos?

Quais habilidades foram desenvolvidas?

Quais configurações foram alteradas?

As avaliações dos trainees são criadas para garantir a capacidade do aluno de realizar uma atividade. Existem dois aspectos neste processo: a recolha real de informações e dados (testando os formandos) e a avaliação desta informação (o que nos dizem os dados?). Esta avaliação não deve ser confundida com avaliação de aprendizagem (avaliação). A avaliação mostra o progresso e as realizações individuais dos alunos, enquanto a avaliação da aprendizagem (avaliação) em geral sobre a avaliação de programas de formação (Tovey, 1997, p88).

Nível quatro – Motivação

A avaliação neste nível mede como os alunos percebem e respondem aos processos e atividades de aprendizagem. Este nível é medido por meio de questionários de atitude (questionários motivacionais), oferecidos após diversos treinamentos. Na maioria das vezes, os trainees estão bem cientes do que precisam para concluir a tarefa. Se o processo educacional não atendeu às suas necessidades, então é preciso decidir: ou isso é um erro do designer educacional (especialista que desenha o processo educacional em uma empresa), ou os alunos não valorizaram os benefícios do processo.

Quando um aluno começa a estudar material educacional, seja eLearning, mLearning, treinamento em sala de aula ou aprendizagem em mídias sociais, ele deve primeiro decidir no que prestar atenção neste material.Se o objetivo ou tarefas são avaliados por ele como importantes ou viáveis, então o aluno normalmente fica motivado para alcançá-los. (Markus, Ruvolo, 1990). Mas se a tarefa lhe parece fracamente relacionada à sua atividade, ou se há apenas uma pequena probabilidade de concluí-la com sucesso, então a motivação para realizá-la é baixa.

Crítica

Existem três pressupostos problemáticos do modelo Kirkpatrick: 1) os níveis não estão organizados em ordem ascendente (não há hierarquia de níveis); 2) os níveis não estão causalmente relacionados entre si; 3) os níveis estão positivamente correlacionados entre si (Alliger e Janak, 1989).

A única parte do modelo de quatro níveis de Kirkpatrick que não resistiu ao teste do tempo é o Feedback (nível um). Por exemplo, a escola Coach do Século XXI tem um dos indicadores mais baixos do primeiro nível – o nível de feedback, mas é responsável por indicadores de alto desempenho (o quarto nível), que medem a produtividade dos seus formandos. E este não é um caso isolado: estudo a estudo, os resultados mostram uma correlação muito baixa entre o Feedback e o desempenho dos funcionários após receberem treinamento (Boehle, 2006).

Muito mais importante do que medir o feedback, como descobrimos, é preparar os formandos para o processo de aprendizagem através de conversas com o supervisor sobre a necessidade de participar na formação, seguidas de acompanhamento para garantir que dominam as competências transferidas no processo de formação ( Wick, et al. 2006), e esta é outra razão pela qual “Feedback” deve ser alterado para “Motivação”.

O modelo de quatro níveis de Kirkpatrick é aplicado somente após o término do processo educacional. Embora o objetivo da avaliação deva ser acompanhar todo o processo educativo, a partir da fase inicial - fase que antecede o processo educativo.

Na verdade, esta crítica não é precisa. Por exemplo,O Manual de Treinamento e Desenvolvimento ASTD (1996), publicado por Robert Craig, inclui capítuloKirkpatrickcom o título simples “Avaliação”. Neste capítulo, Kirkpatrick discute grupos de controle, bem como métodos de antes e depois (como pré e pós-teste). Ele prossegue discutindo que o quarto nível deveria incluir uma avaliação pós-formação três ou mais meses após o final do processo de formação para monitorizar como os formandos começaram a aplicar as competências aprendidas durante a formação. Kirkpatrick observa ainda que a Avaliação deve ser incluída em todas as fases do processo de aprendizagem, não apenas durante cada sessão ou módulo, mas também após cada disciplina ou tópico.

O modelo de quatro níveis só funciona para a aprendizagem em sala de aula, e não para outras formas de aprendizagem.

Conforme observado na parte “Não apenas para treinamento” (veja acima),Kirkpatrickescreveu sobre a possibilidade de usar um modelo de quatro níveis para outros tipos de aprendizagem e RH, o que ajuda a garantir que os processos de aprendizagem formais e informais sejam atendidos, e ondeModelo Kirkpatrick serve como um dos principais modelos de avaliação. E talvez a verdadeira razão pela qual os defensores da educação informal não vejam o benefício de usarModelos Kirkpatrick é que os quatro níveis “não foram inventados para eles”.

Os quatro níveis de avaliação têm pouca relevância para outras divisões da empresa e linhas de negócios

Um dos melhores livros sobre treinamento e desenvolvimentoAs seis disciplinas da aprendizagem inovadora , escrito por Wick, Pollock, Jefferson, Flanagan (2006). Parecem apresentar as críticas mais razoáveis ​​que já vi: “Infelizmente, este modelo não é difundido entre os gestores das áreas de negócio que estão diretamente envolvidas com os resultados da aprendizagem. Portanto, quando os chefes dos departamentos de formação escrevem ou falam em termos de níveis de avaliaçãoModelos Kirkpatrick com seus colegas na empresa, em vez de esclarecê-la, muitas vezes confunde a discussão e requer esforço adicional para construir o entendimento entre a empresa e a função de aprendizagem”.

E é bem possível que esta crítica não seja essencialmente dirigida contra oModelos Kirkpatrick , mas contra aqueles de nós que estabelecem comunicações com as empresas. Dizemos às empresas: o primeiro nível mostra o quão satisfeitos os formandos estão com a aprendizagem, no segundo nível eles passaram com sucesso no teste, etc. ao longo de todo o modelo. Além disso, de acordo com a pesquisa que vi, os resultados da aprendizagem raramente são usados ​​(exatamente o que as empresas mais valorizam). Todos os outros níveis de avaliação só podem ser úteis no processo de concepção de um processo educativo, uma vez que nos ajudam a compreender que tipo de avaliação aplicar em cada situação-problema. Contudo, fora destes enquadramentos, estes níveis não interessam a ninguém. A maior parte da gestão está interessada apenas no impacto da formação e na resposta à pergunta: os recursos que gastamos na formação dos colaboradores contribuem para o desenvolvimento e a prosperidade do nosso negócio?

Modelo Kirkpatrick

1)p reações. Os participantes da formação reagem positivamente à formação imediatamente após a sua conclusão;

os participantes do treinamento reagem positivamente à sua conclusão :)

2)h conhecimento. Os participantes aprenderam o material de treinamento;

3)p conhecimento. Os participantes aplicam no trabalho o que aprenderam no treinamento;

4) ROE. O treinamento traz resultados positivos para a organização;

Críticas ao modelo de Kirkpatrick:

Existem vários argumentos contra o modelo de Kirkpatrick. Primeiro, pesquisas recentes de Elwood Holton e George Alliger lançam dúvidas sobre o aspecto hierárquico do modelo. Os seus estudos mostraram que as correlações entre os níveis da hierarquia Kirkpatrick eram pequenas ou insignificantes. Em segundo lugar, quando há algo errado com o programa de treinamento (baixa transferência), o modelo não determina a causa do problema e o que fazer a respeito. Terceiro, o modelo não leva em conta outras variáveis, como a motivação dos participantes, a autoeficácia ou as condições organizacionais. Quarto, o modelo não possui um alto grau de precisão. Por exemplo, o segundo nível, “conhecimento”, não determina se é conhecimento declarativo ou processual. Além disso, é difícil medir o primeiro nível, “reações”: os participantes podem odiar o treinamento, apreciá-lo, podem gostar, achá-lo agradável, chato ou interessante. Mas o argumento mais importante é que, segundo o modelo de Kirkpatrick, a avaliação de qualquer formação deve basear-se nas mesmas variáveis. A visão moderna de avaliação da eficácia da formação sugere que os métodos de avaliação devem ser seleccionados com base nos objectivos da avaliação.