Voltar ao blog

Classificação no Kaggle e o relatório técnico ainda por escrever: use o MuchSci para redigir o relatório da competição d

Introdução | O modelo chegou ao topo da classificação, mas logo a seguir surge a etapa mais desgastante: a competição exige a submissão de um relatório técnico completo, com a arquitetura do modelo, a estratégia de aumento de dados, a função de perda e o plano de ensemble de modelos. Ainda está a aj

Agente de IAAgente assistente de IA para o escritórioAgente de IA para investigação científica

Introdução | O modelo chega ao topo da tabela classificativa e, logo a seguir, surge o passo mais exaustivo: a competição exige a submissão de um relatório técnico completo, com a estrutura do modelo, a estratégia de aumento de dados, a função de perda e o plano de ensemble. Ainda estás a afinar o modelo e não tens tempo para escrever um relatório longo.

I. O difícil num relatório de competição não é «escrever», é «recontar»

Quem participa em competições conhece bem esta situação: a competição está a chegar ao fim e a organização exige a submissão de um relatório técnico. O relatório tem de explicar claramente quatro coisas — estrutura do modelo, aumento de dados, função de perda e plano de ensemble.

Onde está a dificuldade? Está no facto de estas quatro coisas terem sido feitas com tentativas e alterações sucessivas:

• A estrutura foi alterada três vezes; qual foi a versão final usada?

• Testámos sete ou oito tipos de aumento de dados; quais ficaram?

• O plano de ensemble foi montado à pressa na fase final da tabela; como transformá-lo num parágrafo claro?

Não é uma questão de não saber escrever; é preciso reorganizar numa linha coerente as decisões dispersas por vários meses.

II. Primeiro passo: reunir os materiais na Oficina de Investigação Colaborativa

A Oficina de Investigação Colaborativa do MuchSci suporta colaboração em equipa e também permite importar conjuntos de dados de competições. Para quem compete, este passo é bastante prático

EtapaPorque é necessária colaboraçãoO que a Oficina de Investigação Colaborativa integra
Importação do conjunto de dadosOs dados da competição estão dispersos pelos colegas de equipaImportação unificada, disponível num único local
Registo de soluçõesEstrutura, aumento de dados e perda alterados de forma separadaA equipa partilha os mesmos materiais
Redação do relatórioUma só pessoa não consegue terminarVárias pessoas colaboram no avanço

Com os conjuntos de dados e os registos das experiências principais reunidos, terás depois matéria concreta para escrever o relatório.

III. Segundo passo: deixar o Paper Sailor gerar o relatório técnico completo

Com os materiais reunidos, usa o Paper Sailor para gerar o relatório técnico. Organiza os capítulos de acordo com a estrutura de um relatório de competição: contexto do problema, tratamento de dados, estrutura do modelo, estratégia de treino (aumento de dados e função de perda), plano de ensemble, resultados e análise.

O ponto essencial: cada número no relatório vem dos registos das tuas experiências, não inventa métricas experimentais — isto é especialmente importante num relatório de competição, porque a organização irá verificar a tua pontuação.

IV. Terceiro passo: criar o diagrama da estrutura do modelo e o gráfico de comparação de desempenho

Na verdade, a parte que mais tempo consome num relatório técnico são as figuras:

• Diagrama da estrutura do modelo: representar a rede como um fluxograma é muito mais eficiente do que descrevê-la por palavras.

• Gráfico de comparação de desempenho: a comparação de pontuações entre diferentes soluções e versões fica clara de uma só vez com um gráfico de barras agrupadas.

Além disso, o resultado é um SVG vetorial com dimensões de revista, com texto editável e sem perda de qualidade ao ampliar — fica nítido mesmo quando o relatório é incluído no anexo.

V. Quarto passo: acrescentar as referências bibliográficas

Um relatório de competição também precisa de citações: de onde vem o backbone, de que artigo provém a estratégia de aumento de dados, qual é o artigo original do método de ensemble. O Paper Sailor gere automaticamente estas citações, usa marcações cite no texto, gera o bib com um clique e corre uma verificação de autenticidade antes da submissão.

VI. Uma verificação completa de ponta a ponta

Tomemos como exemplo uma competição de imagens:

1. Na Oficina de Investigação Colaborativa, cria um novo projeto e importa o conjunto de dados da competição.

2. Reúne os materiais: organiza aí a estrutura final, a estratégia de aumento de dados, a função de perda e o plano de ensemble.

3. Gera o relatório técnico: produz um primeiro esboço com a estrutura exigida pela competição.

4. Cria as figuras: fluxograma da estrutura do modelo + gráfico de comparação de pontuações entre versões (vetorial, dimensões de revista).

5. Confere os números: garante que cada métrica no relatório corresponde aos resultados experimentais.

6. Acrescenta as citações e corre a verificação de autenticidade.

7. Exporta e submete de acordo com os requisitos da organização.

VII. Erros comuns

• O relatório e a versão submetida não coincidem. A estrutura descrita no relatório não é a versão que acabaste por submeter; assim que os jurados comparam, o problema fica à vista.

• Escrever apenas «usámos X» e não «porque o usámos». O valor de um relatório técnico está na fundamentação das decisões.

• Usar capturas de ecrã para o diagrama da estrutura. As imagens bitmap perdem nitidez ao ampliar; usa um fluxograma vetorial.

• Reportar apenas a pontuação mais alta. Sem a comparação entre várias versões, não se percebe o teu percurso de ajuste de parâmetros.

VIII. Conclusão

Um relatório técnico de competição é um trabalho de «recontar vários meses de ajuste de parâmetros»; o que mais consome nunca é a capacidade de escrita. A Oficina de Investigação Colaborativa do MuchSci trata de reunir os materiais, e o Paper Sailor trata de produzir o texto final, criar as figuras e gerir as citações — o que te resta fazer é explicar claramente a versão final da solução.

Verificação antes da submissão:

• A estrutura e a estratégia descritas no relatório coincidem com a versão final submetida?

• Cada número corresponde aos registos experimentais?

• O diagrama da estrutura é vetorial e está acompanhado por um gráfico de comparação de desempenho?

• As citações são todas reais e verificáveis?


Voltar aos artigos