log

日志(journal)

预先写日志[Write-ahead-logs] WAL
提交日志(commit logs)
事物日志(transaction logs)

在日志的末尾添加记录，读取日志则从左到右

应用日志

journal 与 data logs 一种不同可能来自与阅读者的不同
journal 一般用来给程序读取，而data logs 则用于给人类读取
当涉及到多服务器时，data logs 难于管理
很快变成对输入查询和输出用于理解多台机器的欣慰的图标

一致性(consensus)

Paxos -> Multi-Paxos
ZAB 
RAFT
Viewstamped Replication

表与事件的二象性(duality)

变更日志和表之间有二象性
日志类似借贷清单和银行流水
数据库表则是当前账户的余额

数据集成(data integration)

使一个组织的所有数据对这个组织的所有服务和系统可用
ETL(Extraction Transformation Loading) 数据提取， 转换， 加载 (数据集成的一个有限子集)

遵循马斯洛的需要层次理论
金字塔的基础部分包含捕获所有相关数据，能够将他们放到适当的处理环境中
数据需要以统一的方式建模，以方便读取和处理
统一的方式捕获数据的基本需求得到满足，就可以通过不同的方法处理这些数据

数据集成的难题(事件数据管道)

增长的时间数据(event data)
事件数据记录的是发生的事情，而不是已经存在的事情
在web系统中，意味着用户活动日志

数据集成的难题(专用的数据系统[specialized data systems])

专用数据系统的爆发, OLAP, Search, Hadoop, Graph, Redis, Spark

日志结构化的(log structured) 数据流

提取所有组织的数据，并放到一个用于实时订阅的中心日志中

发布订阅

发布订阅只是表达出了消息的间接寻址(indirect addressing of messages)

流处理

处理的是包含时间概念的底层数据并不需要静态的数据快照
可以以用户可控频率产生输出而不是等待数据集[都]到达后再产生输出(数据会持续，所以实际上不会有[都]到达的时间点)