Recentemente, estava trabalhando com uma base de mais ou menos 500 mil linhas, onde a maior parte dos dados de uma determinada variável estava no intervalo de 0 a 1.000. Esta mesma variável, no entanto, possuía algumas linhas em que o valor dela era 5.000, 10.000 e até 15.000. Ou seja, haviam alguns outliers. Isto era um problema, principalmente, quando eu construía um gráfico de distribuição. Para lidar com isso, eu exclui os outliers com base no conceito do intervalo interquartil. Continuar a ler “Localizando Outliers Através do Intervalo Interquartil (+ Boxplot + Código SAS)”
Geolocalização: Plotando os pontos em um mapa no R
Trabalhando com uma base de dados de vendas do e-commerce brasileiro, me deparei com uma lista dos locais onde as compras foram feitas e outra com os locais de onde eram os compradores. Pensei comigo que uma forma bacana de demonstrar onde as compras eram feitas, seria marcando os locais das lojas ou dos compradores, no próprio mapa. Neste momento, descobri alguns pacotes novos no R e gostaria de compartilhar com vocês. A base utilizada pode ser baixada no Kaggle neste link aqui.
Continuar a ler “Geolocalização: Plotando os pontos em um mapa no R”Sumifs e Countifs no R
A maioria das pessoas que usa Excel já utilizou as funções sumif() e countif(), em português soma.se() e cont.se(). Estas funções tem como retorno a soma de determinada coluna condicionada a alguma regra qualquer. Imagine, por exemplo, que você é dono de uma loja e queira saber qual foi o gasto total em compras dos clientes acima de 50 anos na sua loja. Mais do que a soma, você pode querer a média ou a contagem do número de clientes. Para entender como se obter isso no R, dê uma olhada na tabela abaixo, composta por uma chave de identificação do cliente (id_cliente), o valor gasto em compras (vlr_compra), a idade e a UF: Continuar a ler “Sumifs e Countifs no R”
Para que serve e como funciona a variável instrumental?
Variáveis instrumentais, em inglês Instrumental Variables (IVs), são excelentes para analisar causa e efeito de diversos eventos. Descobri esta técnica quando estudei Microeconometria, uma disciplina optativa no meu mestrado. Notei que muitas pessoas, mesmo dentro da estatística e econometria não tem tanta familiaridade com ela e achei mais espantoso ainda ela ter sido optativa. Sendo assim, resolvi escrever este breve texto introduzindo o conteúdo e a forma como esta técnica funciona. Continuar a ler “Para que serve e como funciona a variável instrumental?”
Diferença entre duas datas no SAS (em dias, meses ou anos)
Calcular a diferença entre duas datas no SAS é simples, basta subtrair uma data pela outra. Porém, se você quiser fazer a diferença em meses, anos, semanas ou alguma unidade do tipo, há duas escolhas: (1) realizar a subtração e depois dividir o valor pelo número de dias correspondentes ao período (ex.: dividir por 30 no caso de mês) ou (2) utilizar a função intck(). É desta segunda que vou falar neste post. Continuar a ler “Diferença entre duas datas no SAS (em dias, meses ou anos)”
Agora no Twitter
Como eu tento fazer posts mais completos aqui, eu acho que eu acabo postando menos do que conseguiria. Por isso criei uma conta no Twitter só para assuntos que abordo aqui no Estatsite. Uma ou outra reflexão mais breve, links interessantes, etc., vou colocar lá. Vamos ver se funciona!
É só seguir -> @EstatSite
Probabilidade (II): Princípio Fundamental da Contagem
Em análise combinatória, princípio fundamental da contagem é a ideia de que a quantidade de formas que ações independentes distintas podem ocorrer é a multiplicação do número de modos em que elas podem se apresentar. Em outras palavras, se você tem um evento X que pode ocorrer de n formas, um evento Y, distinto e independente, que pode ocorrer de m formas, o número de formas com que esses dois eventos podem se apresentar será n*m. Continuar a ler “Probabilidade (II): Princípio Fundamental da Contagem”
Probabilidade (I): Introdução e Conceitos Básicos
A probabilidade é o estudo da chance de ocorrência de um determinado evento. Quando jogamos um dado e perguntamos “qual a probabilidade de sair o número 3?”, queremos saber qual a chance de sair 3. Queremos saber o que é esperado deste evento, que é jogar um dado. A forma que temos de quantificar uma probabilidade é um número que vai de 0 até 1. Claro que, muito provavelmente, você prefira expressar a probabilidade em percentual, o que é a mesma coisa. Quando temos 100% de chance de que o evento ocorra, a probabilidade será 1, já quando temos 50%, a chance é 0,5. Continuar a ler “Probabilidade (I): Introdução e Conceitos Básicos”
Ainda sobre eleições
Média por Grupo no R
Imagine que você tenha uma base contendo informações de diversos grupos ou categorias diferentes. Pode ser que você tenha a informação de idade para cada indivíduo e queira saber a média por sexo, por região ou até por separação de grupo tratamento e controle. No R, o pacote plyr facilita bastante esta análise. Não tenho certeza se já postei isso antes, mas como utilizei o código agora a pouco durante um curso de Data Science, acho válido compartilhar. Continuar a ler “Média por Grupo no R”