Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics, offering information and knowledge of the Big Data.

cta

Comece a Usar

nuvem

Pronto para começar?

Baixar sandbox

Como podemos ajudá-lo?

fecharBotão Fechar
cta

Ingestão de big data rápida, fácil e segura

Transforme a ingestão de dados de meses para minutos

nuvem Saiba como você pode ter uma ingestão de dados rápida, fácil e segura

Baixe o Whitepaper

O que é ingestão de dados?

A ingestão de big data tem a ver com mover dados – principalmente dados não estruturados – do local onde são gerados em um sistema em que possam ser armazenados e analisados, como Hadoop.

A ingestão de dados pode ser contínua ou assíncrona, em tempo real ou em lote ou ambos (arquitetura lambda), dependendo das características da fonte e do destino. Em muitos cenários, a origem e o destino podem não ter o mesmo timing, formato ou protocolo dos dados e isso vai exigir um tipo de transformação ou conversão para eles possam ser utilizados pelo sistema de destino.

Como o número de dispositivos da Internet das Coisas não para de crescer, tanto o volume quanto a variância de fontes de dados estão se expandindo rapidamente, fontes que agora precisam ser acomodadas e, muitas vezes, em tempo real. No entanto, extrair dados de forma que ele possa ser utilizado pelo sistema de destino é um desafio significativo em termos de tempo e recursos. Fazer uma ingestão de dados mais eficiente possível ajuda a concentrar os recursos na análise de big data sem desperdiçar tempo com preparação e transformação dos dados.

O HDF facilita a ingestão de big data

Antes

Complicado, confuso e leva semanas ou meses para mover os dados corretos no Hadoop

Depois

Simplificado, eficiente, fácil

Problemas típicos da ingestão de dados

Complexo, lento e caro

*

Ferramentas com excesso de engenharia e criadas para um fim específico tornam a ingestão de big data complexa, demorada e cara

*

Escrever scripts personalizados e combinar vários produtos juntos para adquirir e processar dados associados com as soluções atuais de ingestão de big data leva muito tempo e evita a tomada de decisão pontual exigida pelo ambiente empresarial de hoje

*

Interfaces de linha de comando para ferramentas existentes criam dependências de desenvolvedores e acesso limitado aos dados e tomada de decisão

Segurança e confiança dos dados

*

A necessidade de compartilhar pedaços discretos de dados é incompatível com capacidades atuais de segurança de dados da camada de transporte, que limitam o acesso ao nível do grupo ou função

*

A aderência aos regulamentos de segurança de conformidade e dados é difícil, complexa e onerosa

*

A verificação de acesso e uso de dados é difícil e demorada e, muitas vezes, envolve um processo manual de juntar diferentes sistemas e relatórios para verificar de onde os dados vêm, como eles são utilizados, e quem os utiliza e com que frequência o faz

Problemas da ingestão de dados para a IoT

*

Difícil de equilibrar os recursos limitados de energia, computação e largura de banda com o volume de sinais de dados a ser gerado a partir de fontes de dados

*

A conectividade não confiável quebra a comunicação e provoca perda de dados

*

A falta de segurança na maioria dos sensores implantados no mundo coloca as empresas e a segurança em risco

Otimizando a ingestão de dados com o Hortonworks DataFlow

Rápído, fácil, seguro

*

A maneira mais rápida de resolver muitos problemas de ingestão de big data hoje

*

Ponto interativo e em tempo real e controle de fluxos de dados a um clique

*

Coleta e movimentação de dados aceleradas para maior retorno sobre o investimento em Big Data

*

Visibilidade, feedback e controle operacional em tempo real

*

Agilidade dos negócios e capacidade de resposta

*

Tomada de decisão em tempo real a partir de fontes de dados de streaming

*

A eficácia operacional inédita é obtida por meio da eliminação da dependência e de atrasos inerentes a uma abordagem de scripts personalizados e codificação

*

Programação baseada em fluxo para infraestrutura de big data

*

Coleta de dados segura, confiável e prioritária em ambientes geograficamente dispersos e de largura de banda variável

*

Proveniência de dados de ponta a ponta que permite uma cadeia de custódia para a conformidade de dados e "valorização" de dados e otimização de fluxo de dados, e resolução de problemas

Single, Flexible, Adaptive Bi-Directional Real-Time System

*

Coleta independente de fonte de dados integrada a partir de fontes dinâmicas, díspares e distribuídas

*

Adaptável às condições de flutuação de fontes de dados distribuídos remotos em links de comunicação geograficamente dispersos em ambientes com largura de banda e latência flutuantes

*

Priorização de dados em tempo real e dinâmica para enviar, soltar ou armazenar os dados localmente

*

Movimento bidirecional de dados, comandos e dados contextuais

*

Igualmente bem projetado para ser executado em fontes de dados de pequena escala que compõem a Internet das Coisas, bem como em clusters de larga escala nos data centers corporativos de hoje

*

Cadeia visual de custódia de dados (proveniência) fornece linha de dados tempo real e no nível do evento para verificação e confiança dos dados da Internet das Coisas

 
Como fluxos de dados em tempo real aceleram o ROI de big data
Fluxos de dados seguros a partir da IoT
Linha de dados visuais e em tempo real
Acesso e controle seguro aos dados
Priorização dinâmica de dados em movimento

Casos de uso sobre ingestão de dados com o Hortonworks DataFlow

CASO DE USO 1

Aderindo ao Hadoop

Acelere o tempo normalmente necessário para migrar dados para o Hadoop, de meses para minutos, por meio de uma interface "arraste e solte" em tempo real. Leia sobre um caso de uso do mundo real e saiba como mover dados para HDFS em 30 segundos.

 

Prescient Vídeo | Blog
Veja 30 segundos de demonstração ao vivo agora

CASO DE USO 2
media img

Coleta de registros / Otimização Splunk

Capturar dados de registro pode ser algo complexo; geralmente são coletados em quantidades limitadas e há uma dificuldade de operacionalizá-los em grande escala. O HDF ajuda a coletar, estreitar e acessar volumes crescentes de dados de registro e facilita a integração com sistemas de analítica de logs, como Splunk, SumoLogic, Graylog, LogStash etc. para uma fácil, segura e abrangente ingestão de dados dos arquivos de log.

 

White paper sobre otimização da analítica de registros BAIXAR AGORA

CASO DE USO 3
media img

Ingestão IoT

Alcançar a promessa da tomada de decisão em tempo real ativada por dados IoT em tempo real é um desafio devido à natureza distribuída e díspar de dados da Internet das Coisas (IoT). O HDF simplifica a coleta de dados e ajuda a levar a inteligência ao ponto mais extremo de redes altamente distribuídos.

 

A. Inteligência da borda para IoT SAIBA MAIS
B. Varejo e IoT SAIBA MAIS
C. Open Energi IoT SAIBA MAIS

CASO DE USO 4
media img

Entregue dados para mecanismos de processamento de fluxo

NiFi Kafka e Storm blog, slides, webinar SAIBA MAIS
Comcast NiFi fala sobre Spark a partir do Keynote, no Hadoop Summit VÍDEO