MeuProvedor de Dados » Blog » A raspagem da web é ilegal?

A raspagem da web é ilegal?

  • by

Também conhecido como web crawling ou spidering, web scraping refere-se ao processo automatizado de coleta de dados de sites de outros indivíduos. Essa prática é, sem dúvida, um dos melhores métodos disponíveis para mineração de dados de concorrentes. Embora sua eficiência possa ser acordada por unanimidade, essa prática vem com uma ressalva: está entre as ferramentas mais difíceis de analisar do ponto de vista jurídico. Mas, a raspagem da web é ilegal?

Fundamentalmente, o web scraping funciona percorrendo as páginas de um site de destino para extrair dados. Mecanismos de busca como binge e Google também fazem a mesma coisa ao indexar páginas. No entanto, o software de raspagem leva um nível mais alto e converte todos os dados extraídos em um formato que é facilmente transferível para uma planilha ou um banco de dados.

É imperativo mencionar que um web scraper não é o mesmo que uma API. Às vezes, uma empresa pode fornecer uma API para facilitar a interação de outros sistemas com dados. No entanto, a quantidade e a quantidade de dados disponíveis por meio da API são relativamente menores do que os dados disponíveis por meio de web scraping. Além disso, os web scrapers geralmente fornecem informações mais atuais em comparação com as informações da API. Isso torna muito mais fácil personalizar as informações do ponto de vista estrutural.

A raspagem da Web desfruta de aplicações generalizadas. Por exemplo, um jornalista pode utilizá-lo para acompanhar e monitorar estatísticas de futebol e trazer novas histórias esportivas nas quais eles possam estar trabalhando. Da mesma forma, uma empresa de comércio eletrônico pode descartar coisas como títulos de produtos, SKUs e preços de sites concorrentes em uma tentativa de analisá-los ainda mais.

Embora seja uma ferramenta poderosa em seu próprio aspecto, o web scraping está lidando com questões legais. Como todo o processo envolve a apropriação de conteúdo pré-existente de vários sites, surgem inúmeros dilemas de natureza ética e legal para empresas que procuram usar a raspagem para seus próprios benefícios. Atualmente, as implicações legais do web scraping estão em uma espécie de estado de fluxo. É, no entanto, inestimável para se firmar onde está o lado certo da moeda, legalmente falando.

 O que é Web Scraping?

Para ter certeza de que estamos no mesmo ritmo, vamos entender o que é web scraping. É o down automático de dados da web e usar as informações raspadas para expandir seus negócios. As informações são armazenadas em qualquer lugar - banco de dados ou arquivos

O Web Scraping é ilegal?

Ao longo dos anos, a reputação de raspagem na web diminuiu. Abaixo estão as razões para isso.

  • A raspagem da Web é usada pelas empresas para obter vantagem competitiva.
  • Vai completamente contra as leis de direitos autorais e os termos de serviço.
  • A raspagem da Web é abusiva por natureza, no sentido de que os raspadores da Web podem enviar várias solicitações com mais frequência do que as atividades humanas, criando uma carga desnecessária no site. Pior ainda, os raspadores da web podem optar por trabalhar anonimamente.

Muitas pessoas e empresas têm seus raspadores de web. A existência de toneladas de software de raspagem da web no mercado tem causado dor de cabeça para sites que são raspados na maioria das vezes como sites de redes sociais (Facebook, Twitter, Instagram). E lojas online como Amazon ou eBay. Esta é a razão pela qual o Facebook foi forçado a separar os termos de coleta de dados.

Pelo contrário, a raspagem da web foi usada pelos mecanismos de pesquisa como Google ou Yahoo para baixar o índice da web. A atividade de raspagem da Web ajudou as empresas de mecanismos de pesquisa a construir uma boa reputação ao longo do tempo, pois sempre obtêm informações que agregam valor ao seu site.

Problemas legais frequentes em web scraping

Violação de direitos autorais

O termo copyright pode não estar relacionado ao processo de web scraping em si, mas aparece quando se trata do que você faz com o conteúdo do processo final. Se os dados dos sites que você está copiando são protegidos por direitos autorais, não há como você usar os dados. Por exemplo, você não pode carregá-lo em seu site ou usá-lo para fins comerciais. Isso significa que antes de raspar um site, é prudente descobrir se o conteúdo está protegido por direitos autorais.

Violação do ato de fraude e abuso de computador

Embora a lei possa ser aplicada em tais cenários, ela foi inventada para evitar a raspagem da web. Na verdade, é contra hackers. Em poucas palavras, trata-se de obter acesso ao conteúdo de um site sem acesso autorizado. Considerando que o web scraping permite apenas o acesso à informação pública, pode parecer que não tem nada a ver com esta lei.

Mesmo assim, alguns nós raspadores podem ter motivos sinistros como tirar vantagem das pessoas ou até mesmo zombar delas. Isso torna o processo uma violação da lei. Um exemplo típico é quando Jerk.com, em 2009, obteve fotos do Facebook antes de pedir algum dinheiro para removê-las. Neste caso, não é apenas antiético, mas também ilegal.

Transgressão para bens móveis

Esta lei é violada quando o web scraper prejudica diretamente o servidor do site de alguma forma. A maioria dos web scrapers gosta de prejudicar os servidores durante suas atividades. Outro erro que um novato no web scraper faria facilmente é fazer solicitações com muita frequência. No início, não importa quantas solicitações HTTP um scraper faz. Tudo o que importa é obter os dados de que precisam o mais rápido possível.

A implicação de fazer tantas solicitações a um servidor faz com que o site afetado diminua seu desempenho. Isso é o que torna uma prática ruim. A violação do trespass para os bens móveis, portanto, ocorre quando o scraper torna o servidor lento e prejudica o desempenho do site. Às vezes, o raspador pode fazer algo que interfira no funcionamento natural do site.

Pior ainda, o proprietário do site pode pensar que você está solicitando intencionalmente informações em suas páginas com alta frequência. Pode funcionar como uma tentativa de atacar o site.

Em poucas palavras, as implicações legais da raspagem da web são uma área cinzenta. Mesmo assim, existem certas leis existentes que podem apontar que a prática de web scraping é ilegal. No entanto, algumas leis insinuam que todo o processo não é ilegal quando a intenção de raspar os dados é maliciosa.