为 Flash‑MoE 的开源项目已在 iPhone 17 Pro 上成功运行，据网友 @anemll 展示，这款旗舰机虽然能运行这个算力需求极高的模型，但也存在明显短板，其 Token 生成速度慢得惊人，仅 0.6 个 Token / 秒，大约每 1.5 到 2 秒才能生成一个单词。不过话又说回来，无论速度如何，一部智能手机能跑起来 4000 亿参数的大语言模型，这一事实本身就说明：只要再做一些
，鹭岛维持晴好天气，城区气温在17℃～23℃之间。需要提醒的是，眼下厦门森林火险等级较高，达到3级中度危险，请市民进山入林游玩切勿携带火种。 明天暖湿气流活跃起来，厦门云系增多，以多云到阴天为主，温润的偏南风吹拂下，城区最高气温或略升至24℃，夜晨最低气温17℃。后天（25日）新一股弱冷空气来袭，与暖湿气流交锋，厦门从多云转为岛外局部阵雨天气。
据。此外，“MoE”代表混合专家模型（Mixture of Experts），这意味着其每生成一个单词，只需要调用 4000 亿参数中的一小部分。在本地运行大语言模型还有一个好处：完全保护隐私，且无需联网就能获得回复，只不过 iPhone 17 Pro 的电池会被严重消耗。开发者们也会使用大语言模型的压缩版，也就是“量化版”，但即便是量化后的 4000 亿参数模型，最低仍需 200GB 内存，这在
当前文章：http://rbap.xgxjyw.com/dlxl/oukxrg.htm
发布时间：06:38:47