Definição – o que significa Big Data?
Big data refere-se a um processo que é usado quando as técnicas tradicionais de mineração e manipulação de dados não conseguem descobrir os insights e o significado dos dados subjacentes. Os dados não estruturados ou sensíveis ao tempo ou simplesmente muito grandes não podem ser processados por mecanismos de banco de dados relacional. Esse tipo de dados requer uma abordagem de processamento diferente chamada big data, que usa paralelismo massivo em hardware prontamente disponível.
Definirtec explica Big Data
Muito simplesmente, o big data reflete o mundo em mudança em que vivemos. Quanto mais as coisas mudam, mais as mudanças são capturadas e registradas como dados. Veja o clima como exemplo. Para um meteorologista, a quantidade de dados coletados em todo o mundo sobre as condições locais é substancial. Logicamente, faria sentido que os ambientes locais ditassem os efeitos regionais e os efeitos regionais ditassem os efeitos globais, mas poderia muito bem ser o contrário. De uma forma ou de outra, esses dados meteorológicos refletem os atributos de big data, onde o processamento em tempo real é necessário para uma grande quantidade de dados e onde o grande número de entradas pode ser gerado por máquina, observações pessoais ou forças externas como manchas solares.
O processamento de informações como essa ilustra por que big data se tornou tão importante:
- A maioria dos dados coletados agora não é estruturada e requer armazenamento e processamento diferente do encontrado em bancos de dados relacionais tradicionais.
- O poder computacional disponível é vertiginoso, o que significa que há mais oportunidades para processar big data.
- A Internet democratizou os dados, aumentando constantemente os dados disponíveis e, ao mesmo tempo, produzindo cada vez mais dados brutos.
Os dados em sua forma bruta não têm valor. Os dados precisam ser processados para serem valiosos. No entanto, aqui está o problema inerente ao big data. O processamento de dados do formato de objeto nativo para uma visão utilizável vale o enorme custo de capital para fazer isso? Ou há dados demais com valores desconhecidos para justificar a aposta de processá-los com ferramentas de big data? A maioria de nós concordaria que ser capaz de prever o tempo teria valor, a questão é se esse valor compensaria os custos de compactar todos os dados em tempo real em um relatório meteorológico com o qual se pudesse contar.