分布式机器学习系统: Parameter Server 设计
分布式机器学习系统: Parameter Server 设计​
论文地址​
翻译地址​
大神B站​
业务领域​
算法工程师的工作:​
考虑这样一种编程模型: 计算图,这是一种面向并行计算的表达数学公式的数据结构。​
实现了对公式 Z = X + Y 表达，其中节点是运算符(可以叫做算子)，节点的边表达参数变量。​
预估: 输入一个向量[x,y] = [1,2] 给到计算图，其计算出Z为3​
训练: 链式求导法则，然后通过 [W = W - 学习率*梯度来更新权重]​
如何面向分布式的表示一个计算图？​