RNP > RNP na mídia > RNP na Mídia 2011

Teste antivírus falho é realizado por O Globo e Clavis

Linha Defensiva

22.02.2011

O jornal O Globo publicou nesta segunda-feira (21) uma reportagem intitulada “Teste revela falhas em programas antivírus gratuitos”. O texto mostra as taxas de detecção de antivírus gratuitos quando confrontados com pragas digitais brasileiras. O teste, feito pela empresa de segurança Clavis, é pobre e pode induzir consumidores ao erro. As conclusões do teste também não sustentam o título dado ao texto pelo jornal. O maior problema é que o teste foi feito apenas com antivírus gratuitos; sem a comparação com as ofertas pagas, o leitor é induzido a pensar que, pagando, ele estará mais protegido.

Se soluções pagas apresentassem desempenho inferior às gratuitas, por exemplo, não seria possível afirmar que há “falhas” em antivírus gratuitos. Como nenhum software pago foi incluído, isso ficou implícito. Não há qualquer referência a antivírus não incluídos no teste, exceto ao dizer que “os modernos antivírus pagos são hoje, mais que um programa, um conjunto de programas”.

A palavra “falha” usada no título está empregada incorretamente. Um antivírus tem falhas quando possui erros de programação. Quando ele não consegue detectar ameaças, ele é ineficaz ou ineficiente.

Os vírus utilizados no teste foram cedidos pelo Centro de Atendimento a Incidentes de Segurança (CAIS) da Rede Nacional de Pesquisa (RNP). Foram cedidas 3.269 amostras de vírus – um conjunto que O Globo chama de “gigantesco”. O texto afirma, porém, que essas amostras foram coletadas “entre os dias 1º e 26 de janeiro”. Ou seja, é um conjunto coletado apenas em menos de um mês e não pode ser gigante como o jornal afirma. Um conjunto de amostras pobre torna o teste estatisticamente falho e até injusto.

Mas o tamanho do conjunto de vírus usado não é o único problema da comparação. Além da já citada falta de ofertas pagas no comparativo para sustentar o título do material, o teste — que a Clavis assumiu ser “simples” — não realiza verificação de falsos positivos (alarmes falsos). Um antivírus que detecta várias pragas, mas que detecta muitos arquivos legítimos ainda não é um bom antivírus. Também fica implícito que os vírus no conjunto não foram analisados de forma independente para averiguar a real existência de códigos maliciosos.

Os vírus analisados podem ser ainda do tipo “downloader”, que baixa outras pragas. Um antivírus pode detectar arquivos baixados pelo downloader, realizar bloqueio do link de download ou outra proteção do gênero que ainda iria proteger o internauta apesar da taxa de detecção baixa fornecida pelo teste da Clavis.

Em outras palavras, não é possível tirar conclusão alguma do teste realizado pela Clavis. As conclusões publicadas pelo O Globo também são perigosas. O CAIS, que cedeu as amostras, deveria tomar cuidado com os usos das informações que compartilha e certificar que eles não serão usados para disseminar desinformação.

Testes antivírus

A realização de testes antivírus é um assunto muito complicado atualmente. Um conjunto de vírus considerado “gigantesco” tem hoje dez milhões de amostras. Esses vírus precisam passar por algum tipo de filtro para garantir que são maliciosos. Se isso não ocorrer, os antivírus estarão sendo testados contra arquivos legítimos, o que mata o propósito do teste. A organização AMTSO foi criada para criar regras para a realização de testes e envolve extensas discussões entre especialistas.

A Linha Defensiva informa que nenhum teste realizado no Brasil segue as regras da AMTSO. A própria Linha Defensiva, sabendo dos desafios e dificuldades, não realiza testes. Há apenas dois laboratórios no mundo que seguem as regras à risca: AV-Test.org e AV-Comparatives.

A Linha Defensiva sugere publicamente que o CAIS trabalhe com essas organizações, fornecendo todas as amostras que possuir, para certificar a realização de testes justos e adequados, que realmente irão informar o público brasileiro a respeito da eficiência de softwares antivírus no combate a pragas locais.

fonte: http://www.linhadefensiva.org/2011/02/teste-antivirus-falho-e-realizado-por-o-globo-e-clavis/