一、功能概述 Calcite是Apache孵化的一个项目,主要作用是提供标准的SQL语言查询底层各种数据源的一个工具,注意它不是个服务,一般常用作集成到某些框架里,比如Apache Drill、Apache Hive、Apache Kylin、Apache P...
和光同尘,与时舒卷
人生会有为数不多的那么一瞬间,被一个偶然点悟,就像行驶在迷雾中的小船,突然看到一盏明灯。昨晚失眠,凌晨两点多的时候看了会儿最近挺火的电视剧《大江大河》,在第20集中,水书记对宋运辉的一席话,拨云见日,云散月明,突然为之一振,“和光同尘”这个词,第一次听却如此精...
UTC时间和GMT时间
GMT 格林威治时间,十七世纪,格林威治皇家天文台为了海上霸权的扩张计画而进行天体观测。1675年旧皇家观测所(Old Royal Observatory) 正式成立,到了1884年决定以通过格林威治的子午线作为划分地球东西两半球的经度零度。观测所门口墙上有一...
Flink 容错机制
这里把各种资料里认为和容错有关的概念放在一起来解释,这样或许能更好的理解Flink强大的容错机制。主要的概念有四个:Stage、Checkpoint、SavePoint、Barrier。 Flink容错 Apache Flink 提供了可以恢复数据流应用到一致...
童鞋,你听过“天葬”吗?
午休过后,突然看到桌面上很久前收藏的一张截图“我要去西藏”,大概内容说的是西藏情节、旅行建议什么的,然后目光就定焦到上面的一行字“去西藏看天葬”,然后就脑补了各种鹰或动物吃人肉的场景(有点血腥是不)。 什么是天葬? 百度百科如是说: 其实,就是一种人死后如何处...
数据仓库(Data Warehouse)介绍及设计原则
什么是数据仓库? 1. 百度百科如是说: 2. 个人理解: 数据仓库是支撑整个公司业务的大型数据集合,包含数据的存储、建模、处理等过程。 数据仓库建设的几个重要步骤: 建立数据仓库是一个解决企业问题的过程,业...
埃隆马斯克,一个不走寻常路的神人
最近迷上了看埃隆马斯克的传记,已经看了一多半了,虽然没有看完,今天还是迫不及待的写一下笔记,原因是今天正好看见两篇关于马斯克的文章,里面的观点和数字着实震撼。 一、来自“得到”《邵衡头条》第353期“特斯拉如何做一只‘兔子’” 开篇主要讲了特斯拉最近在中国产的...
Flink 重点概念
Levels of Abstraction “流”并不是一个新的概念,视频流、音频流很多场景都用到了这个概念,这里主要理解“流式计算”和“批次计算”的区别,流式没有边界的,实时性更强,但相应对于failover等机制,流式计算更难控制,在诸多流式计算框架中Fl...