Distributed Technology
2024
ray
Ray 是一个为了给分布式提供通用的 API 发明出来的分布式计算框架,希望通过简单但通用的抽象编程方式,让系统自动完成所有的工作。
kafka
Kafka 是什么呢?用一句话概括一下:Apache Kafka 是一款开源的消息引擎系统。而且不是单纯的消息中间件,主要是大数据应用,分布式日志提交。
rpc
RPC 的全称是 Remote Procedure Call Protocol,中文名是远程过程调用协议。官方的描述是:一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。
分布式事务
·1371 words·7 mins
事务的多个参与者分布在不同的地方。
Hadoop
Hadoop是一个开源的分布式存储和处理框架,用于处理大规模数据。它提供了分布式文件系统(HDFS)和分布式计算框架(MapReduce),能够在廉价的硬件上高效处理海量数据。Hadoop被广泛应用于大数据领域,支持数据存储、处理、分析和挖掘,为企业提供了强大的数据处理能力。
2023
Ceph集群部署
·1343 words·7 mins
Ceph是一种开源分布式存储系统,为大规模数据提供可扩展性和高性能。它使用分布式对象存储、块存储和文件系统,通过智能数据复制和动态数据分布,确保高可用性和容错性。Ceph的设计使其适用于云计算和大数据环境,提供灵活、可靠的存储解决方案,同时支持自动负载平衡和故障恢复。
ZooKeeper
ZooKeeper 是 Apache 的顶级项目。ZooKeeper 为分布式应用提供了高效且可靠的分布式协调服务,提供了诸如统一命名服务、配置管理和分布式锁等分布式的基础服务。在解决分布式数据一致性方面,ZooKeeper 并没有直接采用 Paxos 算法,而是采用了名为 ZAB 的一致性协议。