Flink 容错机制 Flink

Flink 容错机制

这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Checkpoint、SavePoint、Barrier。 Flink容错 Apache Flink 提供了可以恢复数据流应用到一致...
阅读全文
Flink 重点概念 Flink

Flink 重点概念

Levels of Abstraction “流”并不是一个新的概念,视频流、音频流很多场景都用到了这个概念,这里主要理解“流式计算”和“批次计算”的区别,流式没有边界的,实时性更强,但相应对于failover等机制,流式计算更难控制,在诸多流式计算框架中Fl...
阅读全文
Flink 概述 Flink

Flink 概述

基本功能 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Ser...
阅读全文
Apache Calcite — 入门介绍 Calcite

Apache Calcite — 入门介绍

一、功能概述 Calcite是Apache孵化的一个项目,主要作用是提供标准的SQL语言查询底层各种数据源的一个工具,注意它不是个服务,一般常用作集成到某些框架里,比如Apache Drill、Apache Hive、Apache Kylin、Apache P...
阅读全文
既往不恋,纵情向前-悼念博客丢失的那两年 生活随笔

既往不恋,纵情向前-悼念博客丢失的那两年

小站重建后第一篇文章,本来都快攒了一年的话,却不知道该怎么写了,突然想到这句我司同志们离职时经常引用的话“既往不恋,纵情向前”,非常恰当的来形容此刻的心情,过去的就过去吧,顺便也悼念一下这两年丢失的那些内容,重新开始。 从本地找到了一张以前博客的样子,觉得还是...
阅读全文