Flink 流式计算框架容错和高性能如何兼得[转] 文章原标题:《容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状》,转载自:https://mp.weixin.qq.com/s/MRLHwHyCliB0LrB_L_iSaQ 前言 当前,流数据平台的普及率正在飙升。为了解决日益增长的实时数据处... 2018年08月02日 阅读 3,667 次 发表评论 阅读全文
Flink Flink 容错机制 这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Checkpoint、SavePoint、Barrier。 Flink容错 Apache Flink 提供了可以恢复数据流应用到一致... 2018年08月02日 阅读 7,527 次 发表评论 阅读全文
Flink Flink 重点概念 Levels of Abstraction “流”并不是一个新的概念,视频流、音频流很多场景都用到了这个概念,这里主要理解“流式计算”和“批次计算”的区别,流式没有边界的,实时性更强,但相应对于failover等机制,流式计算更难控制,在诸多流式计算框架中Fl... 2018年08月02日 阅读 5,038 次 发表评论 阅读全文
Flink Flink 概述 基本功能 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Ser... 2018年08月02日 阅读 3,174 次 发表评论 阅读全文
Calcite Apache Calcite — 入门介绍 一、功能概述 Calcite是Apache孵化的一个项目,主要作用是提供标准的SQL语言查询底层各种数据源的一个工具,注意它不是个服务,一般常用作集成到某些框架里,比如Apache Drill、Apache Hive、Apache Kylin、Apache P... 2018年08月01日 阅读 47,801 次 2 阅读全文
大数据架构 【有图有真相】深入理解正向代理和反向代理 正向代理(Proxy) 正向代理也就是常说的代理,结合下图理解,其核心思想是帮助用户做一些用户做不了的事情,Proxy和Client是一伙的,最常见的就是作为翻墙工具使用,比如访问Facebook,我访问不了,但是代理服务器可以(比如Tunnello),所以代... 2016年09月01日 阅读 3,474 次 发表评论 阅读全文
Linux 网站借助iptables或.htaccess阻止IP恶意攻击访问 背景:今天突然发现博客打开巨慢,然后就各种排查,最后发现日志里一直有某个固定IP地址一直不停的在访问,系统CPU负载飙升,借助iptables或.htaccess来阻止该访问。 1. iptable方式 这种方式可以在系统层面阻挡某... 2016年08月31日 阅读 2,222 次 发表评论 阅读全文
Java UTC时间和GMT时间 GMT 格林威治时间,十七世纪,格林威治皇家天文台为了海上霸权的扩张计画而进行天体观测。1675年旧皇家观测所(Old Royal Observatory) 正式成立,到了1884年决定以通过格林威治的子午线作为划分地球东西两半球的经度零度。观测所门口墙上有一... 2016年08月09日 阅读 11,269 次 发表评论 阅读全文