Tenha cuidado com o que você reporta: porque a coleta de dados importa

Publicado originalmente em inglês por Heather Krause no site do GIJN. Traduzido por Ana Beatriz Assam.

Os dados do censo informam que, em 2011, a população judaica do Canadá era de cerca de 309 mil pessoas. Apenas cinco anos depois, em 2016, foi listada em pouco mais de 143 mil. Metade da população se foi. O que está acontecendo com os judeus no Canadá para causar uma queda tão dramática?

Na verdade, não aconteceu nada com a comunidade judaica canadense. O que mudou foram os métodos de coleta de dados. O Censo de 2016 não oferecia mais “judeus” como opção para os entrevistados identificarem seus ancestrais. E o resultado foi impressionante. 

Este é um exemplo perfeito do quão cuidadosos devemos ser com os métodos de coleta de dados no setor social. Mesmo as menores mudanças podem fazer grande diferença em políticas públicas, na forma como os impostos são gastos e muito mais.

Isso realmente importa?

Qual é o grande problema? O governo canadense mudou seus métodos de coleta de dados, alguns números despencaram e todos percebemos. Foi noticiário nacional. É fácil voltar atrás e corrigir a questão (como o Statistics Canada planeja fazer para o Censo 2021), então, de verdade, qual é o mal?

O problema é que só percebemos essa mudança porque o resultado foi enorme e catastrófico. Mas e se a mudança fosse mais sutil? Na realidade, este problema está provavelmente acontecendo — e passando despercebido — no setor social o tempo todo. E se os resultados dos nossos diferentes métodos de coleta de dados não mudarem o suficiente para que possamos analisar o que está acontecendo, não vamos parar e tomar conhecimento.

Pode mudar tudo

Os vizinhos da fronteira sul do Canadá também estão considerando mudanças em seu Censo nacional. O Departamento de Justiça dos Estados Unidos quer adicionar uma questão sobre cidadania, que, segundo eles, os ajudará a proteger contra a discriminação entre os eleitores.

É claro, se você tem prestado atenção às notícias ultimamente, você pode entender por que perguntar aos entrevistados do Censo sobre sua cidadania pode causar muitos problemas. Os efeitos óbvios são que:

• Menos populações não-cidadãs responderão ao Censo, privando esses grupos de representação, ou
• As pessoas não responderão honestamente, tornando os dados do Censo menos precisos.

Isso é um grande problema. Um número considerável de recursos é alocado para coletar e analisar os dados do censo. Fazer alterações nos métodos de coleta de dados que provavelmente reduzirão sua precisão é um problema em si. Mas mesmo que você não esteja preocupado com a precisão, considere os pontos levantados pelo The Atlantic: “O censo americano é usado para alocar quase 700 bilhões de dólares por ano em dinheiro federal, votos eleitorais, bem como para a distribuição da Câmara — isto é, decidir quantos representantes um estado manda para o Congresso a cada ano.

Todas essas coisas são muito importantes. Parece uma boa ideia alocá-los com base em dados precisos.

Verifique seus métodos de coleta de dados

É improvável que o Canadá ou os Estados Unidos tenham decidido tornar os dados do Censo menos precisos. Ambos os países empregam times de especialistas para desenvolver e implementar o Censo. Então, se eles estão sofrendo para corrigi-lo, o que isso significa para você?

Para garantir que seus dados sejam o mais representativos possível da comunidade que você está estudando, reveja seus métodos de coleta de dados.

•  Verifique sua pesquisa (e seu privilégio).
Qual pergunta tem maior probabilidade de estar produzindo dados tendenciosos? Lembre-se, só porque você não tem problemas para responder uma questão específica, isso não significa que todos se sentirão da mesma forma. Fique atento a questões que possam excluir ou que possam fazer com que as pessoas não respondam.

• Verifique seus métodos de coleta de dados físicos.
Como você realmente está coletando os dados? Pessoalmente? Online? Usando dados gerados pelas operações diárias do seu programa? Pense em quem você pode estar excluindo sem perceber.

• Cheque seus resultados.
Às vezes, alterar seus métodos de coleta de dados resultará em uma mudança óbvia nos resultados. Às vezes não. Mas examinar seus resultados cuidadosamente é uma boa forma de se prevenir preconceitos ou erros. O Datassist publicou uma “Lista de Verificação de Integridade de Dados” com algumas dicas sobre o que procurar.

• Procure assistência especializada.
Não há vergonha em pedir ajuda. Se você está preocupado com a possibilidade de seu questionário produzir resultados tendenciosos ou imprecisos, fale com um especialista. A equipe do Datassist tem orgulho de ajudar agências governamentais, organizações do setor social e jornalistas na coleta, análise e visualização de dados. Entre em contato.

Para mais informações sobre métodos de coleta de dados, você também pode conferir o We All Count, novo projeto da Datassist sobre equidade em ciência de dados.

Heather Krause é uma cientista de dados e estatística. Ela fundou o Datassist, uma equipe internacional de profissionais de dados que fornece consultoria de dados para jornalistas, organizações sem fins lucrativos e legisladores em todo o mundo.  Entre os grupos com os quais trabalhou, estão o Banco Mundial, a Fundação Bill e Melinda Gates, a CARE, a USAID e o Status of Women in Canada.