数据一致性与基础设施

本页用于整理数据一致性、缓存、消息队列、扩展性、可维护性、虚拟化和云计算。

云计算与虚拟化

云计算按服务模式分为 IaaS、PaaS、SaaS：IaaS 提供虚拟机、存储和网络等基础设施；PaaS 提供运行环境和数据库平台；SaaS 直接交付可用软件。由 IaaS 到 SaaS，服务商管理的层次增多，用户自行管理的部分递减。常见部署方式包括公有云、私有云、混合云和多云。

虚拟机由 Hypervisor（VMM）虚拟化硬件，通常运行独立客户操作系统；容器共享宿主机内核，启动较快，但隔离与资源抽象方式不同。Kubernetes（K8s）用于容器编排。选择方案时应综合考虑隔离、安全、资源利用和运维治理，不能将容器等同于虚拟机。

大数据分布式计算

大数据常用 5V 概括：Volume（规模）、Velocity（速度）、Variety（类型）、Veracity（真实性）、Value（价值）。分布式文件系统通过数据分片、多副本、容错和横向扩展处理单机容量与性能限制，并利用数据本地性减少跨节点传输。

Hadoop 生态中，HDFS 是分布式存储层，MapReduce 是批处理计算层，YARN 负责集群资源调度。Map 阶段拆分并并行处理任务，Reduce 阶段汇总中间结果，即“Map 分、Reduce 合”。Spark 是以内存计算为特点的分布式引擎，核心抽象为 RDD（弹性分布式数据集），适用于迭代计算、交互式查询和机器学习；常见组件有 Spark SQL、Spark Streaming、MLlib 和 GraphX。相较于中间结果常落盘的 MapReduce，Spark 在迭代场景通常更快。

批处理积累一批数据再计算，延迟较高，常见于日终计息、对账和报表；流处理逐条或持续处理数据，延迟较低，适用于实时风控和反欺诈。常见技术包括 MapReduce、Spark 批处理，以及 Spark Streaming、Flink 等流处理框架。

来源：专业课速记/08_云计算大数据AI.md