A parte que dá mais trabalho ao criar uma prova não é escrever o enunciado, é decidir "que nível esta questão deve avaliar". Vamos usar um ponto de conhecimento concreto como exemplo e percorrer todo o raciocínio do design por níveis.
Exemplo de ponto de conhecimento: suponhamos que é «Tabela dinâmica do Excel» (substitua por qualquer ponto de conhecimento de qualquer curso; a lógica é a mesma).
Primeiro nível: questões de memorização básica — para garantir o mínimo
Forma de conceção: Dar uma pequena tabela de dados e pedir "contabilizar as vendas por região, por mês, e ordená-las". O ponto avaliado é a própria operação, com passos padrão, ao alcance de todos.
Intenção de design: A função das questões de base é confirmar que "todos contactaram com o que foi ensinado". A taxa de acerto dos alunos nesta parte deve aproximar-se dos cem por cento — se houver perdas massivas mesmo nas questões de base, o problema está no ensino, não na conceção da prova.
Segundo nível: questões de aplicação avançada — para criar diferenciação
Forma de conceção: Mudar para um novo contexto — "És responsável pela operação de uma loja; recebes um extrato bruto com valores em falta; primeiro limpa os dados, depois cria a tabela dinâmica e explica porque agrupaste desta forma". Continua a avaliar a tabela dinâmica, mas acrescenta julgamento: os dados têm de ser tratados e o agrupamento tem de ser justificado.
Intenção de design: Verificar se o conhecimento se transfere para situações nunca vistas. Este nível constitui o corpo principal dos trabalhos de casa.
Terceiro nível: questões de análise desafiantes — para distinguir
Forma de conceção: Dar duas fontes de dados com critérios inconsistentes e pedir "identificar as causas das diferenças, conceber uma solução de tabela dinâmica que satisfaça simultaneamente as necessidades dos dois departamentos e apontar as falhas da solução original".
Intenção de design: Combinação de vários pontos de conhecimento com julgamento crítico, para separar os alunos de topo do nível intermédio. É neste nível que os enunciados e a construção dos dados dão mais trabalho; também se pode pedir ao muchsci que gere primeiro um rascunho segundo os requisitos de nível e depois se faça revisão manual — basta incluir uma questão deste tipo num ou dois trabalhos, não mais.
Quanto tempo demora a criar manualmente os três níveis de questões?
Segundo a divisão acima, os três níveis de um ponto de conhecimento exigem: conceber os enunciados, preparar os dados, escrever respostas de referência e verificar o gradiente de dificuldade — tudo isto leva meio dia. Ao longo de um semestre, com mais de uma dezena de capítulos de pontos de conhecimento, as contas fazem-se facilmente.
O muchsci assumiu esta parte da linha de produção: insere-se o ponto de conhecimento e o nível de avaliação pretendido, e obtêm-se questões com vários graus de dificuldade, cada uma com resposta de referência; o professor passa de "inventar questões" para "selecionar e combinar questões", e o custo de produção do design por níveis diminui drasticamente. O raciocínio do design por níveis mantém-se; o custo da fase de produção cai substancialmente.
Proporção dos três níveis em diferentes cenários
| Cenário | Combinação sugerida |
| --- | --- |
| Trabalho de casa diário | Predomínio do nível básico + 1 questão de nível avançado, para controlar a carga dessa noite |
| Quiz de aula | Nível básico para verificação rápida, com feedback imediato na aula |
| Exame final | Combinação dos três níveis em proporção, para garantir poder de discriminação |
A essência da criação de questões por níveis é a equidade para com alunos de diferentes níveis: permitir que os alunos com mais dificuldades cheguem ao essencial e que os alunos de topo alcancem o limite máximo. Depois de poupar tempo na criação de questões com o muchsci, a energia que sobra pode precisamente ser gasta no julgamento de "selecionar questões" — antes do próximo trabalho de casa, vale a pena perguntar: neste conjunto de questões, o que recebeu cada nível de alunos?