近年来，人工智能取得了飞速的发展，实现了一个又一个技术突破。这些成功的幕后英雄是海量的训练数据、超大规模的机器学习模型、性能良好的优化算法以及分布式的训练系统。目前，一系列有关分布式机器学习方面的优化算法研究工作，从算法设计、理论推导到系统构建，都在如火如荼地展开。尽管学者们发表了大量的学术论文，也开发出一批实用性很强的分布式机器学习系统，但系统总结和梳理分布式机器学习专门书籍还颇为少见。本教材深入贯彻习近平新时代教育教学思想和教材编写理念，通过回溯分布式机器学习的发展脉络，系统梳理和总结分布式机器学习的基础知识、基本概念、科学思想和创新精神等知识图谱，向系统科学，人工智能，图像重建，信号处理等专业的研究生提供基本的算法学习基础和科学思维。教材全面展示分布式机器学习算法的现状，深入分析其中的核心算法技术问题，并且讨论该领域未来发展的方向。所以本教材既可以作为研究生从事分布式机器学习方向研究的基础学习，也可以作为人工智能从业者进行算法选择和系统设计的工具书。