我敢打赌,认得出这三人的历史绝对不会差,一般只认识中间的那人

...


我敢打赌,认得出这三人的历史绝对不会差	,一般只认识中间的那人

本文来自作者[剧子冉]投稿,不代表视听号立场,如若转载,请注明出处:https://stddy.com/cskp/202512-68680.html

(1)

文章推荐

  • 3分钟学会“微乐四川麻将小程序怎么拿好牌(助赢神器通用版)

    软件神器超酷!微信雀神广东麻将小程序修改器(可以设置输赢吗)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微信雀神广东麻将小程序修改器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神

    2025年09月07日
    80
  • 教程辅助“开心麻将必备神器(专用辅牌神器免安装)

    这神器太香了!白金岛长沙麻将确实是有猫腻(免费专用神器)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”白金岛长沙麻将确实是有猫腻是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有

    2025年09月10日
    77
  • 玩家实测“雀神麻将有挂吗(专用辅牌神器免安装)

    软件宝藏必备!中至乐平麻将可以设置输赢吗(总输怎么回事)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”中至乐平麻将可以设置输赢吗是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有

    2025年09月15日
    73
  • 胜率设置方法“微乐捉鸡麻将控牌器(专用辅牌神器免安装)

    神器魅力无限!微乐掼蛋怎么让系统发好牌(技巧攻略怎样拿好牌)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐掼蛋怎么让系统发好牌是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,

    2025年09月22日
    67
  • 必看教程“微信红包辅助透视作弊软件”(详细透视教程)-今日头条

    软件神器超优!微乐广西麻将小程序开挂神器(有什么赢的技巧)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐广西麻将小程序开挂神器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,

    2025年09月27日
    62
  • 他是叶剑英的大女婿,人称“朴实无华好总理”,97岁了仍精神矍铄

    邹家华:大时代下的温情与刚毅说起来,命运有时候就像一只没头苍蝇,撞得你措手不及。你努力奔跑,结果风向一变,竟被推往相反方向。家华身上,就有这样拐了好几个弯的故事。有时想想,也真是,人这一辈子到底是轮子还是舵手?话还得从他父亲邹韬奋说起。这是个脑子快、脾气也倔的人。老邹从小让家里人喊他“邹疯子”,为啥

    2025年10月01日
    66
  • 黑天鹅突袭!特朗普威胁对华加税,关税战再启,中美将要脱钩?

    2025年10月10日,特朗普在社交媒体发布的长文打破了中美经贸关系的短暂平静,这位美国总统在文中先是将中方稀土新规描述为“用资源俘虏世界”,随即抛出重磅威胁。“美国将从11月1日起,在现有关税基础上对中国输美产品加征额外100%关税,同时对所有关键软件实施出口管制。”这一突如其来的表

    2025年10月11日
    68
  • “行之苟有恒,久久自芬芳”——习近平主席出席全球妇女峰会开幕式侧记

    原标题:“行之苟有恒,久久自芬芳”——习近平主席出席全球妇女峰会开幕式侧记这是一场跨越三十载的初心回望,这是早在5年前就发出的真诚邀约,这是全球妇女事业发展又一个历史性时刻。10月13日,全球妇女峰会,世界目光汇聚北京。国家会议中心会场内,各国国旗和联合国旗帜组成恢弘旗阵。上午10时30分许,在《和

    2025年10月14日
    62
  • 不忘历史.发奋图强

    ——纪念中国人民抗日战争胜利80周年*****不忘历史奋斗今天,中华民族砥砺向前。神州大地同欢共庆,抗战胜利八十周年。抗日战争,牢牢记住,1931——1945。日本强盗,虎豹豺狼,妖魔鬼怪,魑魅魍魉。918,北大营挑衅事变,7月7,卢沟桥无端开枪,813,践踏上海,1213,南京逞凶狂。东北

    2025年11月24日
    37
  • 清朝已经灭亡一百多年,为何故宫的龙椅至今无人敢坐?

    谁敢坐上那把椅子先把结果摆在这儿。到今天,太和殿那把金光晃眼的龙椅,空了百多年,没人敢碰,更别说坐。不是仪式感作祟,是所有人心里都清楚,一旦坐上去,意味太多,惹麻烦。“这把椅子不是家具,它是权力本身。”回到现场。走进故宫太和殿,你能看到高台正中那把金椅,贴金,亮得刺眼。椅背、扶手、踏枋,雕满龙纹,密

    2025年12月23日
    20

发表回复

本站作者后才能评论

评论列表(4条)

  • 剧子冉
    剧子冉 2025年12月27日

    我是视听号的签约作者“剧子冉”!

  • 剧子冉
    剧子冉 2025年12月27日

    希望本篇文章《我敢打赌,认得出这三人的历史绝对不会差,一般只认识中间的那人》能对你有所帮助!

  • 剧子冉
    剧子冉 2025年12月27日

    本站[视听号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • 剧子冉
    剧子冉 2025年12月27日

    本文概览:...

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM - 视听号

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    机器之心报道编辑:Panda用 iPhone 本地跑大模型已经不是新鲜事了,但能不能在 iPhone 上微调模型呢?最近,苹果亲自上场,用一篇论文展示了其可行性。在这篇论文中,...

    机器之心报道

    编辑:Panda

    用 iPhone 本地跑大模型已经不是新鲜事了,但能不能在 iPhone 上微调模型呢?

    最近,苹果亲自上场 ,用一篇论文展示了其可行性。在这篇论文中,苹果提出了一种内存高效型反向传播(MeBP)。该方法可在内存使用量和计算时间之间提供比零阶优化(ZO/zeroth-order optimization)更好的权衡,同时还比 ZO 基线收敛更快、性能更优 。他们还在 iPhone 15 Pro Max 上验证了 MeBP 的有效性。

    这个苹果团队(宋丛峥与 Xinyu Tang)也在论文中表示会发布一个 MeBP 实现 ,但其公开的链接目前还空无一码。

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    • 论文标题:Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
    • 论文地址:https://arxiv.org/abs/2510.03425
    • 仓库地址:https://github.com/apple/ml-mebp

    内存高效型反向传播(MeBP)

    在这篇论文中,苹果团队的研究重点是使用 LoRA 微调 LLM 。因此,主要的内存瓶颈在于模型参数和中间激活值。该团队的目标是将微调的内存使用量保持在现代移动设备可接受的范围内 ,例如 PocketLLM 所建议的「低于 1GB」。

    使用 MeBP 在设备上微调 LLM 包含三个步骤:

    • 压缩模型基础权重(冻结的参数)以减少磁盘空间占用
    • 编译包含反向传播和梯度检查点的训练图(training graph)以优化内存
    • 实现一个内存高效的运行时(runtime)来执行编译后的训练图 。

    下面将详细描述每个步骤。

    基础模型权重压缩

    在设备上部署 LLM 时,压缩基础模型权重以减少磁盘空间使用是一种常见做法。

    在该团队的实现中,他们对包括嵌入在内的非 LoRA 参数使用了 4-bit 对称模式 INT4 量化 。

    梯度检查点编译

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    也就是说 ,反向图的输入是:已被检查点的激活值、来自前一个检查点的梯度 、以及相应的可训练权重;其输出则是这些输入的梯度。

    随后,所有块的前向图和反向图被序列化为设备运行时兼容的格式,例如模型中间语言(MIL)表示或 MLX 导出的函数。

    在运行时 ,这些序列化后的图将被反序列化并编译以进行计算 。

    运行时实现

    算法 1 概述了 MeBP 的运行时实现 。

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    模型首先使用 InitializeModel 函数进行初始化 ,之后训练循环中的每个数据点都会调用 Backpropagation 函数。在 InitializeModel 期间,压缩后的基础模型权重被内存映射(memory-mapped)。为最小化内存占用,基础模型权重在训练循环开始前不会被解压 。相反 ,它们会在计算需要时才被按需(on demand)延迟解压和加载。注意,对于支持使用量化权重进行计算的设备运行时框架,解压步骤可以被跳过 ,届时只需按需加载压缩后的权重。

    在 Backpropagation 函数中,系统首先执行已编译的前向子图(subgraphs)以存储所有必要的检查点;随后,按相反顺序执行已编译的反向子图 ,使用存储的检查点来计算梯度 。在前向传播过程中,这些检查点被内存映射,而不是保留在内存中。

    在每次前向和反向传播之前 ,只有必需的基础模型权重会被解压和加载。如此一来,总内存使用量被限制为:所需基础模型权重的大小,加上每个子图中操作的峰值内存使用量 。这个总和远小于基础模型权重的完整大小。该函数描述的是单个数据点的梯度计算。对于批量输入 ,可以使用梯度累积来计算梯度 ,而不会增加内存占用 。

    在 MeBP 中,内存中仅为优化器保留一份 LoRA 权重及其梯度的副本。

    对于参数量从 0.5B 到 4B 的 LLM,LoRA 权重的大小通常在几十 MB 的范围内 ,这在内存中存储是合理的。优化器状态(例如动量)可以像基础模型权重一样,被内存映射并延迟加载 。

    实验表现如何?

    MeBP 表现如何,还得看实践 ,而作为对比的基线,他们选择了 MeZO,因为它是目前已知的唯一应用于移动设备 LLM 微调的优化方法 。该团队通过服务器端的模拟来评估 MeZO 和 MeBP 的效用(utility) ,并在移动设备上比较它们的性能。

    效用(Utility)比较

    配置上,这个苹果团队使用了 Gemma-3 和 Qwen-2.5,在 WikiText-2 数据集上进行语言建模任务实验 ,以此比较一阶(FO)优化(即通过反向传播获得梯度)和零阶(ZO)优化的效用。该团队专注于参数量不超过 4B 的模型,因为移动设备的计算资源有限 。该团队的评估指标是评估集上的损失(loss)和下一 token 准确度。其它配置见原论文,下面重点关注结果。

    如图 1 所示 ,尽管 ZO 的损失和下一 token 准确度呈现收敛趋势 ,但 ZO 的收敛速度明显慢于 FO 。FO 方法在最初的 100 步内就显著改善了这两项指标,而 ZO 在 1,000 步后仅显示出轻微的改善。即使在 100,000 步之后(即比 FO 多 100 倍的优化步数),对于同一模型 ,ZO 的测试损失仍然高于 FO,测试准确度也低于 FO。

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    目前 AI 社区已经提出了几种方法,可以改善 ZO 方法的收敛速度 。该团队也在 Qwen2.5-0.5B 上使用了这些改进版 ZO 方法进行实验 ,结果见下图。

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    尽管这些方法比「纯」 ZO 收敛得更快,但其损失和下一 token 准确度仍然劣于使用 FO 微调的模型。此外,这些方法通常每次迭代需要更多的计算时间 ,因为它们需要额外的前向传播来更准确地估计梯度 。

    效用结果表明,在语言建模任务的 LLM 微调上,按「每一步」(per-step)来看 ,反向传播的收敛速度明显快于 ZO 方法。这使得它在计算时间方面更适合移动部署 —— 前提是每个 FO 优化步骤都能被高效地实现。

    性能比较

    苹果使用 Swift 在 iOS 中实现了 MeBP,并在配备 8GB RAM 的 iPhone 15 Pro Max 上评估了其性能 。对于 MeZO 基线实现,其前向图被拆分为多个子图 ,并应用了延迟解压来减少基础模型权重的总内存使用 。每个 MeZO 优化步骤涉及两次前向传播。其它设置见原论文。

    结果见下表 。

    苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM

    总体而言 ,与 MeZO 相比,MeBP 每个梯度步骤的计算时间要多 43% 到 94%。但是,正如前面的效用对比所示 ,MeZO 所需的步数是一阶优化的 10 倍到 100 倍以上,因此在时间方面,MeBP 的收敛速度要快得多。在最坏情况下 ,MeBP 的内存使用量比 MeZO 多出 20%,但其总训练内存使用量比以往的移动设备实现大约小 10 倍 。所有测试的 LLM 均可在 1GB 内存内高效微调,使其适合在手机上进行后台训练。

    此外 ,该团队还测试了解压开销与序列长度的影响,并还分析了每一层的性能;详见原论文。

    本文来自作者[小虫会飞]投稿,不代表视听号立场,如若转载,请注明出处:https://stddy.com/cskp/202511-54933.html

    (51)

    文章推荐

    • 3分钟学会“微乐四川麻将小程序怎么拿好牌(助赢神器通用版)

      软件神器超酷!微信雀神广东麻将小程序修改器(可以设置输赢吗)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微信雀神广东麻将小程序修改器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神

      2025年09月07日
      80
    • 教程辅助“开心麻将必备神器(专用辅牌神器免安装)

      这神器太香了!白金岛长沙麻将确实是有猫腻(免费专用神器)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”白金岛长沙麻将确实是有猫腻是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有

      2025年09月10日
      77
    • 玩家实测“雀神麻将有挂吗(专用辅牌神器免安装)

      软件宝藏必备!中至乐平麻将可以设置输赢吗(总输怎么回事)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”中至乐平麻将可以设置输赢吗是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有

      2025年09月15日
      73
    • 胜率设置方法“微乐捉鸡麻将控牌器(专用辅牌神器免安装)

      神器魅力无限!微乐掼蛋怎么让系统发好牌(技巧攻略怎样拿好牌)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐掼蛋怎么让系统发好牌是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,

      2025年09月22日
      67
    • 必看教程“微信红包辅助透视作弊软件”(详细透视教程)-今日头条

      软件神器超优!微乐广西麻将小程序开挂神器(有什么赢的技巧)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐广西麻将小程序开挂神器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,

      2025年09月27日
      62
    • 他是叶剑英的大女婿,人称“朴实无华好总理”,97岁了仍精神矍铄

      邹家华:大时代下的温情与刚毅说起来,命运有时候就像一只没头苍蝇,撞得你措手不及。你努力奔跑,结果风向一变,竟被推往相反方向。家华身上,就有这样拐了好几个弯的故事。有时想想,也真是,人这一辈子到底是轮子还是舵手?话还得从他父亲邹韬奋说起。这是个脑子快、脾气也倔的人。老邹从小让家里人喊他“邹疯子”,为啥

      2025年10月01日
      66
    • 黑天鹅突袭!特朗普威胁对华加税,关税战再启,中美将要脱钩?

      2025年10月10日,特朗普在社交媒体发布的长文打破了中美经贸关系的短暂平静,这位美国总统在文中先是将中方稀土新规描述为“用资源俘虏世界”,随即抛出重磅威胁。“美国将从11月1日起,在现有关税基础上对中国输美产品加征额外100%关税,同时对所有关键软件实施出口管制。”这一突如其来的表

      2025年10月11日
      68
    • “行之苟有恒,久久自芬芳”——习近平主席出席全球妇女峰会开幕式侧记

      原标题:“行之苟有恒,久久自芬芳”——习近平主席出席全球妇女峰会开幕式侧记这是一场跨越三十载的初心回望,这是早在5年前就发出的真诚邀约,这是全球妇女事业发展又一个历史性时刻。10月13日,全球妇女峰会,世界目光汇聚北京。国家会议中心会场内,各国国旗和联合国旗帜组成恢弘旗阵。上午10时30分许,在《和

      2025年10月14日
      62
    • 不忘历史.发奋图强

      ——纪念中国人民抗日战争胜利80周年*****不忘历史奋斗今天,中华民族砥砺向前。神州大地同欢共庆,抗战胜利八十周年。抗日战争,牢牢记住,1931——1945。日本强盗,虎豹豺狼,妖魔鬼怪,魑魅魍魉。918,北大营挑衅事变,7月7,卢沟桥无端开枪,813,践踏上海,1213,南京逞凶狂。东北

      2025年11月24日
      37
    • 清朝已经灭亡一百多年,为何故宫的龙椅至今无人敢坐?

      谁敢坐上那把椅子先把结果摆在这儿。到今天,太和殿那把金光晃眼的龙椅,空了百多年,没人敢碰,更别说坐。不是仪式感作祟,是所有人心里都清楚,一旦坐上去,意味太多,惹麻烦。“这把椅子不是家具,它是权力本身。”回到现场。走进故宫太和殿,你能看到高台正中那把金椅,贴金,亮得刺眼。椅背、扶手、踏枋,雕满龙纹,密

      2025年12月23日
      20
    • 北京市2025年高考考生分数分布公布

      北京市2025年普通高考成绩查询系统已开通,考生查询到本人高考成绩,接下来就该考虑填志愿啦。考生分数分布统计可是填好志愿必不可少的利器,考生和家长们千万看仔细,因为排名对填好志愿意义重大!成绩分布统计表怎么用?“成绩分布统计表”是以“一分”为单位,统计考得该分数的考生人数和累计人数,每一个分数段上有

      2025年06月25日
      128
    • 今日盘点“斗棋辅助软件交易平台”(详细透视教程)-今日头条

      这软件超神了!微信财神十三张是不是有挂(自建房怎么拿好牌)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微信财神十三张是不是有挂是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有

      2025年09月09日
      77
    • 实测分析“手机金花软挂神器”(详细辅助教程)-今日头条

      软件神器超顶流!手机麻将软件购买(怎么提高胡牌率)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”手机麻将软件购买是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加

      2025年09月10日
      75
    • 玩家必备教程“财神十三张辅助器(助赢神器通用版)

      软件神器强推!雀神广东麻将软件插件安装教程(万能开挂神器)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”雀神广东麻将软件插件安装教程是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器

      2025年09月21日
      69
    • 分享辅助“微乐内蒙麻将赢牌的技巧(助赢神器通用版)

      软件神器优选!微乐宁夏麻将怎么赢(其实真的有挂)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐宁夏麻将怎么赢是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加

      2025年09月24日
      65
    • 实测结果“湖南跑得快有外挂吗(专用辅牌神器免安装)

      软件神器爆赞!微乐斗地主自建房怎么拿好牌(免费辅助)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”微乐斗地主自建房怎么拿好牌是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要

      2025年09月29日
      66
    • 3分钟学会“麻将机程序控牌器怎么识别的(助赢神器通用版)

      超酷软件神器!广东微乐麻将助赢神器(一直输怎么办)“我们专注于各类软件定制开发,已成功研发高效实用的软件系统。软件定制开发服务用获取专业解决方案。”广东微乐麻将助赢神器是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可

      2025年10月09日
      55
    • 伤残鉴定,个人如何申请?

      发生事故或疾病后,需要进行伤残鉴定,但单位不配合、自己又不懂流程,该怎么办?别担心,个人完全可以自行申请伤残鉴定。只要按步骤操作,就能拿到具有法律效力的鉴定结论。一、明确鉴定类型:选对是第一步劳动能力鉴定(针对工伤):向设区的市级劳动能力鉴定委员会申请,用于确定工伤伤残等级(1-10级),是获得工伤

      2025年12月20日
      23
    • 以色列定居者被逮捕,针对巴勒斯坦人的暴行,以军方也看不下去

      11月17日,在以色列占领的约旦河西岸,一名妇女抱着婴儿控诉,以色列安全部队正在拆除未经授权的以色列定居点“祖尔·米斯加维”(TzurMisgavi)。据媒体报道,以色列安全部队周四宣布逮捕了五名以色列定居者,他们涉嫌参与袭击巴勒斯坦人住宅,导致一名女婴在被占领的约旦河西岸受伤。据巴勒斯坦官方通讯

      2025年12月26日
      10

    发表回复

    本站作者后才能评论

    评论列表(4条)

    • 小虫会飞
      小虫会飞 2025年11月05日

      我是视听号的签约作者“小虫会飞”!

    • 小虫会飞
      小虫会飞 2025年11月05日

      希望本篇文章《苹果提出新型反向传播:一台iPhone 15 Pro Max就能微调LLM》能对你有所帮助!

    • 小虫会飞
      小虫会飞 2025年11月05日

      本站[视听号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

    • 小虫会飞
      小虫会飞 2025年11月05日

      本文概览:机器之心报道编辑:Panda用 iPhone 本地跑大模型已经不是新鲜事了,但能不能在 iPhone 上微调模型呢?最近,苹果亲自上场,用一篇论文展示了其可行性。在这篇论文中,...

      联系我们

      邮件:视听号@sina.com

      工作时间:周一至周五,9:30-18:30,节假日休息

      关注我们