João Vitor de Miranda – Bacharel em Matemática e pós-graduado em Data Science e Analytics
Uma breve introdução sobre o que é Big Data
Com o advento da internet, o volume de dados gerados ao redor do
mundo cresceu de forma inesperada conforme os anos foram se passando. A
utilização em larga escala de dispositivos móveis ampliou ainda mais a
quantidade de dados gerados diariamente.
Os métodos tradicionais para armazenamento e processamento de dados
em grandes empresas começaram a não ser suficientes, gerando problemas e
gastos cada vez maiores para suprir suas necessidades.
Devido a esses acontecimentos, surgiu o conceito de Big Data, uma
área do conhecimento com o intuito de estudar maneiras de tratar,
analisar e gerar conhecimento através de grandes conjuntos de dados que
não conseguem ser trabalhados em sistemas tradicionais.
Big Data: Conceito
Para entender melhor o que é o Big Data, podemos pensar na forma como
esse sistema tradicional de armazenamento e processamento de dados é
realizado. Perceba que falamos no presente, porque os processos de
trabalho com o Big Data não excluem a forma de trabalhar no sistema
tradicional, em grande parte dos casos.
Isso porque muitas empresas não necessitam da utilização de
ferramentas do Big Data para manipular os dados, e mesmo as grandes
empresas utilizam um sistema híbrido. Dessa forma, as duas maneiras de
trabalhar com os dados coexistem.
O sistema tradicional utiliza os famosos SGBDs, ou sistemas
gerenciais de banco de dados, que guardam informações de forma
estruturada, no formato de tabelas, com linhas e colunas. Utilizam
máquinas com grande capacidade de armazenamento e processamento. Quando
há a necessidade de expandir a capacidade dessas máquinas, é necessário
introduzir novos componentes de hardware, para que tenham mais memória e
processamento.
Os problemas que começam a aparecer quando se alcança um grande
volume de dados usando esse sistema tradicional são relacionados à
escalabilidade, disponibilidade e flexibilidade. Como exemplos, podemos
mencionar que é muito custoso o aprimoramento dessas máquinas de maneira
vertical a cada vez que é necessário realizar um upgrade,
corriqueiramente nesse momento o sistema fica indisponível, já que a
máquina está em processo de manutenção.
De forma a compreender a definição de Big Data, é necessário
introduzir os conceitos dos V’s do Big Data. Inicialmente, a definição
era composta por 3 V’s, mas hoje podemos encontrar definições expandidas
com 5, 7 ou mais V’s. Os 7 V’s são: volume, variedade, velocidade,
valor, veracidade, variabilidade e visualização.
Mas, vamos concentrar aqui os principais dentre os 7 mencionados anteriormente, conhecidos como os três Vs do big data:
Volume;
Variedade;
Velocidade;
Volume
O volume é a principal característica quando pensamos a respeito de
Big Data. Ele diz respeito a uma grande quantidade de dados para serem
armazenados e processados, na casa de terabytes, petabytes ou mesmo
zettabytes.
Há afirmações de que a quantidade de dados dobra a cada dois anos.
Além disso, a quantidade de dados gerada por dia e acumulada ao longo
dos anos é tão grande, que não seria interessante a colocação de valores
aqui, uma vez que no momento em que você estiver lendo esse artigo
esses valores já terão se alterado.
No Worldometers, é possível ter uma ideia da quantidade de dados
gerados diariamente e a rapidez com que esses números estão crescendo a
cada segundo. Alguns dados impactam bastante por se tratarem de valores
em um intervalo de apenas 24 horas.
Já nesse vídeo denominado “Size of internet: bytes perspective”, são
comparados os dados com uma escala física, mostrando a diferença entre a
quantidade de dados existente na internet em 2001 e 2020.
Variedade
Quais os três tipos de dados em Big Data? Outra característica
importante no Big Data é a variedade dos dados que são armazenados e
processados. Além dos famosos dados estruturados, o conceito de Big Data
trabalha com dados semi-estruturados e não estruturados.
Os dados estruturados são os dados com estrutura rígida em formato tabular, com linhas e colunas.
Os dados semi-estruturados possuem certo tipo de estrutura, mas são
mais flexíveis. Os arquivos do tipo XML e JSON são exemplos de dados
semi-estruturados.
Já os dados não estruturados são dados sem nenhuma estrutura
pré-definida, correspondendo à maior parcela dos dados circulantes no
mundo atualmente, em uma proporção bem maior do que os demais tipos.
Arquivos de texto, de áudio, vídeo e imagens, são exemplos de dados não
estruturados.
Velocidade
A velocidade se refere à rapidez com que os dados são gerados. A todo
instante, e-mails, mensagens de texto e áudio são enviados, tweets são
publicados, registros em bancos de dados são inseridos e atualizados.
Tudo isso em uma escala global.
Não podemos nos esquecer dos dados gerados por máquinas a cada
instante, através de sensores e de serviços de streaming que enviam e
recebem dados em uma velocidade surpreendente.
A solução encontrada: como o Big Data é aplicado
Para que fosse possível resolver os problemas que surgiram, foi
necessário criar novas ferramentas para suprir todas as necessidades. A
escalabilidade vertical, no qual aprimoramos uma máquina adicionando
mais recursos, como memória e processamento, não garante uma efetividade
quando se trata de Big Data.
Para contornar os problemas, grandes empresas pesquisaram um novo
sistema que fosse escalável, surgindo então o Hadoop, uma forma de
armazenamento e processamento distribuído. A ideia é utilizar cluster de
máquinas ou agrupamento de computadores. De forma isolada, um único
computador nesse cluster não tem um poder de processamento muito
poderoso, mas, em conjunto, conseguem fornecer poder de processamento e
armazenamento capazes de suprir as necessidades.
Nesse cluster, existe uma máquina principal conhecida como Name Node
que é responsável por gerenciar o restante das outras máquinas,
conhecidas como Data Nodes. Os dados possuem réplicas em Data Nodes
diferentes para que, caso uma máquina venha a falhar, os dados não serão
perdidos e estarão sempre disponíveis. Esse conceito é conhecido em Big
Data como disponibilidade.
O mais interessante é que no momento em que necessite ampliar as
capacidades, novas máquinas podem ser integradas ao cluster, crescendo
de maneira indefinida. Essa é a escalabilidade horizontal, a solução
encontrada para os problemas de Big Data.
Comparação entre escalabilidade vertical e escalabilidade horizontal
A partir do surgimento do Hadoop, diversas outras tecnologias foram
sendo desenvolvidas em paralelo, criando assim um ecossistema de
ferramentas que se expande a cada dia. Dando destaque para a utilização
de bancos de dados NoSQL para trabalhar com dados não estruturados.
Ecossistema hadoop com algumas ferramentas
Quais são as 6 fases que compõem o ciclo de vida de um Big Data?
O ciclo de vida em problemas com grandes volumes de dados é um
processo que pode ser cíclico. O processo envolve diferentes etapas para
gerenciar e extrair valor dos dados. A nomenclatura das fases pode
variar, mas, geralmente, são adotadas as etapas de:
Coleta;
Armazenamento;
Processamento;
Análise;
Visualização;
Ação.
Além disso, ao final do processo pode ser necessária a exclusão dos
dados com a finalidade de manter questões como a privacidade das
informações.
Quais as 4 análises possíveis no Big Data?
O objetivo na coleta e manutenção de uma grande quantidade de dados é
a geração de valor. Por isso, são realizadas análises com objetivos
específicos.
Análise descritiva: nesse tipo de análise os dados são usados para
descrever o que aconteceu no passado. Assim, podem ser identificados
padrões, tendências e anomalias nos dados.
Análise diagnóstica: aqui, a análise é usada para entender por que
algo aconteceu. Neste caso, estamos interessados em identificar as
causas de problemas que já foram notados.
Análise preditiva: na análise preditiva estamos fazendo uma projeção
do que irá acontecer no futuro com base em experiências passadas.
Análise prescritiva: nesse caso, o foco é recomendar ações
específicas a serem tomadas. Podemos usar os resultados da análise para
melhorar a eficiência, a eficácia e a produtividade das empresas.
É importante observar que a escolha do tipo de análise a ser aplicada
depende tanto do problema quanto dos dados disponíveis. Diferentes
cenários podem exigir mais de um tipo de análise.
O que é preciso para trabalhar com Big Data?
Assim como na Ciência de Dados, são necessárias desde habilidades
técnicas até habilidades de comunicação e pensamento crítico. No quesito
técnico, as ferramentas de Big Data são muitas e podem deixar dúvidas
de por onde a pessoa deve começar a estudar. Confira a seguir, alguns
elementos indispensáveis:
O/a profissional terá que aprender pelo menos uma linguagem de
programação como Python, R, Java ou Scala. Além disso, terá que estar
familiarizado com frameworks como o Apache Hadoop e Spark.
Em se tratando de Bancos de Dados, são necessários conhecimentos
tanto de bancos relacionais quanto de NoSQL. Nesse caso, se torna
necessário também o conhecimento de sistemas de armazenamento
distribuído.
O Hadoop é um dos principais frameworks para processamento de Big
Data. Assim, torna-se vantajoso conhecer o ecossistema do Hadoop com as
ferramentas MapReduce, Hive, Pig e HBase.
Por outro lado, existem diversas plataformas na nuvem como o Google
Cloud, Azure e AWS que tendem a facilitar esse processo, além de
permitir o armazenamento e processamento veloz de grandes volumes de
dados. A plataforma DataBricks abstrai muito do trabalho com Big Data e
com as plataformas de nuvem, sendo um ótimo caminho para um primeiro
contato de quem está iniciando no Big Data e já conhece alguma das
linguagens de programação citadas.
Qual o grande desafio do Big Data?
O Big Data apresenta diversos desafios, mas o maior deles está
relacionado ao gerenciamento do problema. Além disso, o processamento e
análise de grandes volumes de dados faz com que seja necessário escolher
plataformas ideais. Só assim, é possível assegurar questões como a
escalabilidade e integração de informações.
O custo e infraestrutura devem ser bem analisados, pois lidar com Big
Data pode ser caro, tanto em termos de infraestrutura quanto de
recursos humanos. Investir em tecnologias avançadas e profissionais
qualificados também é necessário para obter sucesso nessa área.
Superar esses desafios exige uma combinação de habilidades técnicas e
abordagens inovadoras. Além disso, as soluções para esses desafios
continuam a evoluir à medida que a tecnologia e as práticas relacionadas
ao Big Data avançam.
Como aplicar o Big Data na sua empresa?
O processo de aplicação do Big Data pode variar de caso a caso. Isso
porque ele envolve um processo cuidadoso e estratégico para aproveitar o
potencial dos dados para impulsionar a tomada de decisões e otimizar
processos. Confira abaixo algumas etapas importantes para a aplicação do
Big Data na sua empresa:
De forma geral, no primeiro passo devemos definir objetivos e metas.
Isso envolve identificar se o objetivo final envolve melhorar a
eficiência operacional, aumentar a satisfação dos clientes ou mesmo se o
foco será desenvolver produtos ou serviços mais personalizados.
Posteriormente, deve ser avaliada a infraestrutura existente, se a
empresa possui um banco de dados local ou na nuvem. Além disso, é
necessário avaliar se a capacidade computacional disponível irá
comportar o processamento dos dados. Na análise dos dados o
processamento envolve muito mais do que o exigido por simples
requisições a um banco de dados.
Após a avaliação da capacidade de infraestrutura deve-se criar uma
estratégia de dados. Verificar se a empresa já possui os dados
necessários ou se será necessário adquirir informações para a solução do
problema proposto. Com a conclusão dessa etapa já é possível aplicar as
análises adequadas.
Durante todo o processo é necessário garantir a segurança e privacidade dos dados.
Além disso, em problemas de Big Data os dados não costumam ser
estáticos, eles mudam com o tempo. Imagine que os seus dados envolvam a
interação de clientes com uma plataforma de vendas. Os clientes irão
continuar interagindo mesmo depois da data que os dados foram coletados.
Por isso, é necessário monitorar e iterar sobre o mesmo problema
conforme necessário.
Conclusão
Diante de tudo que foi apresentado, foi possível compreender a
importância e os conceitos iniciais, além da definição de Big Data. As
soluções e ferramentas criadas foram essenciais para que o mundo atual
esteja em constante evolução. Por se tratar de uma área muito ampla,
muitos conceitos ficaram de fora desse artigo. Caso queira expandir
ainda mais os conhecimentos, a internet tem um volume muito grande de
conteúdos, você pode encontrá-los em uma variedade de formatos e você
vai encontrar em uma velocidade muito rápida.
ESCALANDO NEGÓCIOS DA VALEON
1 – Qual é o seu mercado? Qual é o tamanho dele?
O nosso mercado será atingir os 766 mil habitantes do Vale do
Aço e poder divulgar os produtos / serviços para vocês clientes,
lojistas, prestadores de serviços e profissionais autônomos e obter dos
consumidores e usuários a sua audiência.
A ValeOn atenderá a todos os nichos de mercado da região e
especialmente aos pequenos e microempresários da região que não
conseguem entrar no comércio eletrônico para usufruir dos benefícios que
ele proporciona. Pretendemos cadastrar todas as empresas locais com
CNPJ ou não e coloca-las na internet.
2 – Qual problema a sua empresa está tentando resolver? O mercado já expressou a necessidade dessa solução?
A nossa Plataforma de Compras e Vendas que ora
disponibilizamos para utilização das Empresas, Prestadores de Serviços e
Profissionais Autônomos e para a audiência é um produto inovador sem
concorrentes na região e foi projetada para atender às necessidades
locais e oferecemos condições de adesão muito mais em conta que qualquer
outro meio de comunicação.
Viemos para suprir as demandas da região no que tange a
divulgação de produtos/serviços cuja finalidade é a prestação de
serviços diferenciados para a conquista cada vez maior de mais clientes e
públicos.
O nosso diferencial está focado nas empresas da região ao
resolvermos a dor da falta de comunicação entre as empresas e seus
clientes. Essa dor é resolvida através de uma tecnologia eficiente que
permite que cada empresa / serviços tenha o seu próprio site e possa
expor os seus produtos e promoções para os seus clientes / usuários ao
utilizar a plataforma da ValeOn.
3 – Quais métodos você usará para o crescimento? O seu mercado está propício para esse tipo de crescimento?
Estratégias para o crescimento da nossa empresa
- Investimento na satisfação do cliente. Fidelizar é mais barato do que atrair novos clientes.
- Equilíbrio financeiro e rentabilidade.
Capital de giro, controle de fluxo de caixa e análises de rentabilidade
são termos que devem fazer parte da rotina de uma empresa que tenha o
objetivo de crescer.
- Desenvolvimento de um planejamento
estratégico. Planejar-se estrategicamente é como definir com
antecedência um roteiro de viagem ao destino final.
- Investimento em marketing. Sem marketing,
nem gigantes como a Coca-Cola sobreviveriam em um mercado feroz e
competitivo ao extremo.
- Recrutamento e gestão de pessoas. Pessoas são sempre o maior patrimônio de uma empresa.
O mercado é um ambiente altamente volátil e competitivo. Para
conquistar o sucesso, os gestores precisam estar conectados às demandas
de consumo e preparados para respondê-las com eficiência.
Para isso, é essencial que os líderes procurem conhecer (e
entender) as preferências do cliente e as tendências em vigor. Em um
cenário em que tudo muda o tempo todo, ignorar as movimentações externas
é um equívoco geralmente fatal.
Planeje-se, portanto, para reservar um tempo dedicado ao
estudo do consumidor e (por que não?) da concorrência. Ao observar as
melhores práticas e conhecer quais têm sido os retornos, assim podemos
identificar oportunidades para melhorar nossa operação e, assim,
desenvolver a bossa empresa.
4 – Quem são seus principais concorrentes e há quanto tempo
eles estão no mercado? Quão grandes eles são comparados à sua empresa?
Descreva suas marcas.
Nossos concorrentes indiretos costumam ser sites da área,
sites de diretório e sites de mídia social. Nós não estamos apenas
competindo com outras marcas – estamos competindo com todos os sites que
desejam nos desconectar do nosso potencial comprador.
Nosso concorrente maior ainda é a comunicação offline que é
formada por meios de comunicação de massa como rádios, propagandas de
TV, revistas, outdoors, panfletos e outras mídias impressas e estão no
mercado há muito tempo, bem antes da nossa Startup Valeon.
5 – Sua empresa está bem estabelecida? Quais práticas e procedimentos são considerados parte da identidade do setor?
A nossa empresa Startup Valeon é bem estabelecida e
concentramos em objetivos financeiros e comerciais de curto prazo,
desconsideramos a concorrência recém chegada no mercado até que deixem
de ser calouros, e ignoramos as pequenas tendências de mercado até que
representem mudanças catastróficas.
“Empresas bem estabelecidas igual à Startp Valeon devemos começar a pensar como disruptores”, diz Paul Earle,
professor leitor adjunto de inovação e empreendedorismo na Kellogg
School. “Não é uma escolha. Toda a nossa existência está em risco”.
6 – Se você quiser superar seus concorrentes, será necessário escalar o seu negócio?
A escalabilidade é um conceito administrativo usado para
identificar as oportunidades de que um negócio aumente o faturamento,
sem que precise alavancar seus custos operacionais em igual medida. Ou
seja: a arte de fazer mais, com menos!
Então, podemos resumir que um empreendimento escalável é
aquele que consegue aumentar sua produtividade, alcance e receita sem
aumentar os gastos. Na maioria dos casos, a escalabilidade é atingida
por conta de boas redes de relacionamento e decisões gerenciais bem
acertadas.
Além disso, vale lembrar que um negócio escalável também
passa por uma fase de otimização, que é o conceito focado em enxugar o
funcionamento de uma empresa, examinando gastos, cortando desperdícios e
eliminando a ociosidade.
Sendo assim, a otimização acaba sendo uma etapa inevitável
até a conquista da escalabilidade. Afinal de contas, é disso que se
trata esse conceito: atingir o máximo de eficiência, aumentando clientes, vendas, projetos e afins, sem expandir os gastos da operação de maneira expressiva.
Pretendemos escalar o nosso negócio que é o site marketplace da Startup Valeon da seguinte forma:
- objetivo final em alguma métrica clara, como crescimento percentual em vendas, projetos, clientes e afins;
- etapas e práticas que serão tomadas ao longo do ano para alcançar a meta;
- decisões acertadas na contratação de novos colaboradores;
- gerenciamento de recursos focado em otimização.
É possível acessar as informações do código-fonte de um site usando o atalho Ctrl + U. (Fonte: Eu/Reprodução)Fonte: 
Descobrir
o código-fonte de um site é mais fácil se comparado ao mesmo
procedimento com atraso. (Fonte: TecMundo/ProgramiamosFonte: 
Descobrir
o código-fonte de um programa é um pouco mais complicado se comparado
com um site. (Fonte: GettyImages/Reprodução)Fonte: 
