Fez um modelo com preditores complexos e o treinou com poucos exemplos? Mudou a questão inicial para dar uma tunada nos indicadores?
Essas e outras práticas são mais comuns do que muitos imaginam. Abaixo uma lista dos melhores métodos para se ter overfitting!
Ps.: Se você não sacou o sarcasmo, overfitting não é legal. Não sabe o que é isso?
Aprenda em Overfitting e Cross Validation e Explicando overfitting com uma anedota
“Prefer less brittle measures of performance”. Vocês tem alguma preferência/indicação de métodos para fazer validação?
Acho que depende do modelo. Via de regra, dividindo os dados em treino, validação e teste, e adequando o número de variáveis independentes à quantidade de dados que você tem é a melhor forma de evitar overfitting.
Para modelos de regressão linear múltipla, o R-quadrado ajustado é uma boa métrica, pois vai responder à complexidado do modelo.
Há algumas discussões bacanas no Stat Exchange também: https://stats.stackexchange.com/questions/81576/how-to-judge-if-a-supervised-machine-learning-model-is-overfitting-or-not