Não vou mentir, pipeline sempre foi um tema negligenciado por mim. Não usava sempre que possível e, quando usava, era no automático. Usava somente por usar, mas nunca prestando atenção no seu potencial. De uns tempos para cá isso mudou. Neste post, vou introduzir o tema pela primeira vez aqui no EstatSite. Continuar a ler “Introdução aos Pipelines no Scikit-Learn”
Etiqueta: modelagem
Como Big Data Explica Freud?
Freud é um nome muito conhecido. Mais comum para filósofos e psicólogos, ele aparece constantemente em papos não-acadêmicos. Mesmo conhecido por todos, explicar suas ideias é algo mais complicado. Suas teorias sempre foram muito intrigantes, capazes de gerar muitas dúvidas e ceticismo. Costumeiramente, mexe com algo mais profundo e, por vezes, intangível. Tanto é que subconsciência é uma palavra que aparece quase sempre que se fala de suas principais teorias. Bem, mas se suas ideias são baseadas em coisas que não estão na nossa consciência, cabe a nós aceitá-las e ponto final. Não tem como provar que elas são falsas ou verdadeiras, certo? Ou será que tem? Continuar a ler “Como Big Data Explica Freud?”
Regressão Logística: Conceitos Essenciais e Modelo
Regressão Logística, também chamada de Logit, é uma técnica de modelagem utilizada para lidar com variáveis binárias (0 ou 1). Para responder a questões como “qual o salário de um indivíduo, dado seus anos de estudos”, “qual o valor de uma casa, dadas suas características”, a regressão linear é suficiente. Entretanto, se quisermos responder a questões como “o indivíduo vai pagar uma dívida?”, “o consumidor vai comprar determinado produto?”, i.e., perguntas de sim (=1) ou não (=0), aí faz sentido usar outro modelo, dentre as diversas possibilidades temos a regressão logística. Continuar a ler “Regressão Logística: Conceitos Essenciais e Modelo”
Separando a base treino e teste no R
Como a maioria aqui já sabe, quando temos um conjunto de dados para utilizar na construção de um modelo, precisamos fazer uma separação entre o que chamamos de treino e teste. O que costumamos chamar de base treino, é o conjunto de dados que utilizaremos na construção do modelo. Continuar a ler “Separando a base treino e teste no R”
Signo no modelo, vale?
Certo dia, uma amiga, da área de modelagem também, me disse a seguinte frase “se eu colocar signo, e for significativo, então eu uso no meu modelo”. Eu esperaria esse comentário de uma pessoa com zero conhecimento em econometria, ou um terraplanista, mas escutar isso de alguém envolvido com data science, me surpreendeu muito. Convenhamos, achar que a posição dos planetas no momento em que a pessoa nasce, significa algo, é muito leviano. Para não dizer outra coisa.
Como ter um modelo overfitted/sobreajustado?
Fez um modelo com preditores complexos e o treinou com poucos exemplos? Mudou a questão inicial para dar uma tunada nos indicadores?
Leia mais…
Muitos posts sobre manipulação de dados?
Às vezes eu tenho vontade de escrever mais sobre técnicas de modelagem estatística, mas me falta tempo por conta do trabalho, mestrado e outros hobbies além do blog. Postar alguma coisa de SAS e R é mais fácil, pois passo boa parte do dia manipulando dados nessas ferramentas. Continuar a ler “Muitos posts sobre manipulação de dados?”
Empréstimos inteligentes para pessoas sem histórico de crédito
Muitas pessoas não sabem o que faz uma pessoa que trabalha com modelagem estatística. E olha que isso pode estar presente no job description de muitos cargos: analista de risco de crédito, inteligência de cobrança, inteligência de mercado, cientista de dados, CRM, big data, pesquisa de mercado, só para citar alguns.
Então vai aí um exemplo prático, e nobre, do uso de modelagem estatística e mineração de dados:
Overfitting e Cross Validation
Um termo bem comum de se encontrar quando o assunto é modelagem é overfitting. É até bonito de se dizer. Overfitting ocorre quando o seu modelo se ajusta perfeitamente aos seus dados, ou seja, o modelo serve só para os dados da base que foi utilizada para a sua construção. O que ocorre é que nesse caso o modelo passa em diversos testes de precisão com o conjunto de dados utilizados, porém, não serve para predição. Em outras palavras, como alguns cientistas de dados costumam dizer, o seu modelo aprender os dados da base treino ao invés de aprender o todo e ser capaz de fazer previsões. A grosso modo, isso ocorre quando você possui uma alta complexidade e muitos parâmetros se comparado com a base de desenvolvimento. Nesse caso, o modelo serve somente para os dados utilizados no desenvolvimento e suas previsões serão fracas. Continuar a ler “Overfitting e Cross Validation”