Imagine que você queira saber se pessoas que vão ao médico vivem melhor do que pessoas que não vão, ou vão pouco, ao médico. Aí você monta um experimento, pega 100 pessoas que vão ao médico semanalmente e outras 100 que quase não vão. Ao final de um período você analisa os dois grupos e olhe só, quem menos foi ao médico está mais saudável. É suficiente para você concluir que ir ao médico faz mal à saúde?
Você pode levantar diversas hipóteses aí. Talvez ir ao médico seja ruim porque você pega doenças de outros pacientes, ou então os médicos não tratam direito os pacientes, ou quem vai ao médico toma muitos remédios e os efeitos colaterais são ruins.
É bem possíve que você tenha sido mais uma vítima do viés de seleção.
O viés de seleção ocorre quando o grupo estudado não foi escolhido de forma aleatória. Mesmo que não intencional, afinal, nesse caso você não escolheu os seus pacientes, mas nem por isso a escolha foi aleatória.
Pense no exemplo mencionado. Pessoas que vão ao médico constantemente, na maioria das vezes, vão porque possuem uma saúde mais debilitada que pessoas que não vão tanto ao médico. Sendo assim, é muito provável que elas possuam uma saúde pior mesmo indo ao médico.
Outro exemplo poderia ser algumas pesquisas antigamente que eram feitas por telefone. Imagine que uma empresa ligue para diversas pessoas para fazer uma determinada pesquisa. Mesmo que ela ligue para pessoas de diversas cidades, essa amostra possivelmente está viesada, já que muitas pessoas não possuíam telefone em casa no Brasil.
Sempre que ler um estudo, ou fizer seu próprio estudo, pense bem em como sua amostra foi selecionada, isso vai fazer toda a diferença!
Para os que possuem inglês de nível avançado ou fluente, recomendo a leitura do livro Mostly Harmless Econometrics de Joshua Angrist, os capítulos 1 e 2 dão uma boa ideia desse tipo de problema.
Excelente analogia