生活随笔 九月,再见 一场秋雨一场凉,夏天的暑气还未散尽,就感觉秋冬之交的凉意,这就是很多人说的“北京没有秋天”吧。 国庆将至,今天是九月的最后一天,依旧06:50醒来,07:00出门跑步,完成了这个月的100KM目标。然后洗澡、吃早餐,上天台浇花、看几页书...突然发现,不知不觉... 2018年09月30日 阅读 2,383 次 发表评论 阅读全文
Flink 流式计算框架容错和高性能如何兼得[转] 文章原标题:《容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状》,转载自:https://mp.weixin.qq.com/s/MRLHwHyCliB0LrB_L_iSaQ 前言 当前,流数据平台的普及率正在飙升。为了解决日益增长的实时数据处... 2018年08月02日 阅读 3,552 次 发表评论 阅读全文
Flink Flink 容错机制 这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Checkpoint、SavePoint、Barrier。 Flink容错 Apache Flink 提供了可以恢复数据流应用到一致... 2018年08月02日 阅读 7,397 次 发表评论 阅读全文
Flink Flink 重点概念 Levels of Abstraction “流”并不是一个新的概念,视频流、音频流很多场景都用到了这个概念,这里主要理解“流式计算”和“批次计算”的区别,流式没有边界的,实时性更强,但相应对于failover等机制,流式计算更难控制,在诸多流式计算框架中Fl... 2018年08月02日 阅读 4,928 次 发表评论 阅读全文
Flink Flink 概述 基本功能 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Ser... 2018年08月02日 阅读 3,065 次 发表评论 阅读全文
Calcite Apache Calcite — 入门介绍 一、功能概述 Calcite是Apache孵化的一个项目,主要作用是提供标准的SQL语言查询底层各种数据源的一个工具,注意它不是个服务,一般常用作集成到某些框架里,比如Apache Drill、Apache Hive、Apache Kylin、Apache P... 2018年08月01日 阅读 47,288 次 2 阅读全文
生活随笔 既往不恋,纵情向前-悼念博客丢失的那两年 小站重建后第一篇文章,本来都快攒了一年的话,却不知道该怎么写了,突然想到这句我司同志们离职时经常引用的话“既往不恋,纵情向前”,非常恰当的来形容此刻的心情,过去的就过去吧,顺便也悼念一下这两年丢失的那些内容,重新开始。 从本地找到了一张以前博客的样子,觉得还是... 2018年07月24日 阅读 3,702 次 发表评论 阅读全文
大数据架构 【有图有真相】深入理解正向代理和反向代理 正向代理(Proxy) 正向代理也就是常说的代理,结合下图理解,其核心思想是帮助用户做一些用户做不了的事情,Proxy和Client是一伙的,最常见的就是作为翻墙工具使用,比如访问Facebook,我访问不了,但是代理服务器可以(比如Tunnello),所以代... 2016年09月01日 阅读 3,331 次 发表评论 阅读全文