Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics, offering information and knowledge of the Big Data.

cta

Comece a Usar

nuvem

Pronto para começar?

Baixar sandbox

Como podemos ajudá-lo?

fecharBotão Fechar
cta

Ingestão de big data rápida, fácil e segura

Transforme a ingestão de dados de meses para minutos

nuvem Saiba como você pode ter uma ingestão de dados rápida, fácil e segura

Baixe o Whitepaper

O que é ingestão de dados?

Big data ingestion is about moving data - especially unstructured data - from where it is originated, into a system where it can be stored and analyzed such as Hadoop.

Data ingestion may be continuous or asynchronous, real-time or batched or both (lambda architecture) depending upon the characteristics of the source and the destination. In many scenarios, the source and the destination may not have the same data timing, format or protocol and will require some type of transformation or conversion to be usable by the destination system.

As the number of IoT devices grows, both volume and variance of data sources are expanding rapidly, sources which now need to be accommodated, and often in real time. Yet extracting the data such that it can be used by the destination system is a significant challenge in terms of time and resources. Making data ingestion as efficient as possible helps focus resources on big data streaming and analysis, rather than the mundane efforts of data preparation and transformation.

O HDF facilita a ingestão de big data

Antes

Complicado, confuso e leva semanas ou meses para mover os dados corretos no Hadoop

Depois

Simplificado, eficiente, fácil

Problemas típicos da ingestão de dados

Complexo, lento e caro

*

Purpose-built and over-engineered tools make big data ingestion complex, time consuming, and expensive

*

Writing customized scripts, and combining multiple products together to acquire and ingestion data associated with current big data ingest solutions takes too long and prevents on-time decision making required of today’s business environment

*

• Command line interfaces for existing streaming data processing tools create dependencies on developers and fetters access to data and decision making

Segurança e confiança dos dados

*

A necessidade de compartilhar pedaços discretos de dados é incompatível com capacidades atuais de segurança de dados da camada de transporte, que limitam o acesso ao nível do grupo ou função

*

A aderência aos regulamentos de segurança de conformidade e dados é difícil, complexa e onerosa

*

A verificação de acesso e uso de dados é difícil e demorada e, muitas vezes, envolve um processo manual de juntar diferentes sistemas e relatórios para verificar de onde os dados vêm, como eles são utilizados, e quem os utiliza e com que frequência o faz

Problemas da ingestão de dados para a IoT

*

• Difficult to balancing limited resources of power, computing and bandwidth with the volume of data signals being generated from big data streaming sources

*

A conectividade não confiável quebra a comunicação e provoca perda de dados

*

A falta de segurança na maioria dos sensores implantados no mundo coloca as empresas e a segurança em risco

Otimizando a ingestão de dados com o Hortonworks DataFlow

Rápído, fácil, seguro

*

A maneira mais rápida de resolver muitos problemas de ingestão de big data hoje

*

Ponto interativo e em tempo real e controle de fluxos de dados a um clique

*

Coleta e movimentação de dados aceleradas para maior retorno sobre o investimento em Big Data

*

Visibilidade, feedback e controle operacional em tempo real

*

Agilidade dos negócios e capacidade de resposta

*

Real-time decision making from big data streaming sources

*

A eficácia operacional inédita é obtida por meio da eliminação da dependência e de atrasos inerentes a uma abordagem de scripts personalizados e codificação

*

Programação baseada em fluxo para infraestrutura de big data

*

Coleta de dados segura, confiável e prioritária em ambientes geograficamente dispersos e de largura de banda variável

*

Proveniência de dados de ponta a ponta que permite uma cadeia de custódia para a conformidade de dados e "valorização" de dados e otimização de fluxo de dados, e resolução de problemas

Sistema em tempo real, bidirecional, adaptável, flexível e simples

*

Coleta independente de fonte de dados integrada a partir de fontes dinâmicas, díspares e distribuídas

*

Adaptive to fluctuating conditions of remote, distributed data sources over geographically disperse communication links in varying bandwidth and latency environments

*

Priorização de dados em tempo real e dinâmica para enviar, soltar ou armazenar os dados localmente

*

Movimento bidirecional de dados, comandos e dados contextuais

*

Igualmente bem projetado para ser executado em fontes de dados de pequena escala que compõem a Internet das Coisas, bem como em clusters de larga escala nos data centers corporativos de hoje

*

Cadeia visual de custódia de dados (proveniência) fornece linha de dados tempo real e no nível do evento para verificação e confiança dos dados da Internet das Coisas

 
Como fluxos de dados em tempo real aceleram o ROI de big data
Fluxos de dados seguros a partir da IoT
Linha de dados visuais e em tempo real
Acesso e controle seguro aos dados
Priorização dinâmica de dados em movimento

Casos de uso sobre ingestão de dados com o Hortonworks DataFlow

CASO DE USO 1

Aderindo ao Hadoop

Acelere o tempo normalmente necessário para migrar dados para o Hadoop, de meses para minutos, por meio de uma interface "arraste e solte" em tempo real. Leia sobre um caso de uso do mundo real e saiba como mover dados para HDFS em 30 segundos.

 

Prescient Vídeo | Blog
Veja 30 segundos de demonstração ao vivo agora

CASO DE USO 2
media img

Coleta de registros / Otimização Splunk

Capturar dados de registro pode ser algo complexo; geralmente são coletados em quantidades limitadas e há uma dificuldade de operacionalizá-los em grande escala. O HDF ajuda a coletar, estreitar e acessar volumes crescentes de dados de registro e facilita a integração com sistemas de analítica de logs, como Splunk, SumoLogic, Graylog, LogStash etc. para uma fácil, segura e abrangente ingestão de dados dos arquivos de log.

 

White paper sobre otimização da analítica de registros BAIXAR AGORA

CASO DE USO 3
media img

Ingestão IoT

Realizing the promise of real-time decision making enabled by real-time IoT big data streaming is a challenge due to the distributed and disparate nature of IoT data. HDF simplifies data collection and helps push intelligence to at the very edge of highly distributed networks.

 

A. Inteligência da borda para IoT SAIBA MAIS
B. Varejo e IoT SAIBA MAIS
C. Open Energi IoT SAIBA MAIS

CASO DE USO 4
media img

Entregue dados para mecanismos de processamento de fluxo

Big data ingestion leads to processing that delivers business intelligence. HDF enables streaming data processing for your organization to support real-time enterprise use cases with two of the most popular open-source solutions Apache Storm and Spark Streaming.

NiFi Kafka e Storm blog, slides, webinar SAIBA MAIS
Comcast NiFi fala sobre Spark a partir do Keynote, no Hadoop Summit VÍDEO