用 iPhone 本地跑大模型已經不是新鮮事了,但能不能在 iPhone 上微調模型呢?
最近,蘋果親自上場,用一篇論文展示了其可行性。在這篇論文中,蘋果提出了一種內存高效型反向傳播(MeBP)。該方法可在內存使用量和計算時間之間提供比零階優化(ZO/zeroth-order optimization)更好的權衡,同時還比 ZO 基線收斂更快、性能更優。他們還在 iPhone 15 Pro Max 上驗證了 MeBP 的有效性。
這個蘋果團隊(宋叢崢與 Xinyu Tang)也在論文中表示會發布一個 MeBP 實現,但其公開的鏈接目前還空無一碼。
