知名AI博主「爱可可-爱生活」做客OSCHINA高手问答回顾

OSC开源社区 · 公众号 · 程序员 · 2025-04-02 16:18

正文

请到「今天看啥」查看全文

如果需要在多种设备上部署AI模型，目前较为实用的方案是：

1、以ONNX为中心的工作流：
- 训练模型转换为ONNX格式
- 针对不同设备选择最优运行时（ONNX Runtime、厂商SDK等）
- 利用设备特定的量化工具进一步优化

2、基于编译优化的方案：
- 使用TVM或类似技术针对目标硬件编译优化模型
- 牺牲一定开发便利性，换取跨平台性能

3、混合部署策略：
- 高端设备：PyTorch Mobile/TFLite提供完整功能
- 中端设备：ONNX Runtime配合量化模型
- 低端设备：ncnn等超轻量框架运行特别优化的模型

综合来看，没有完美的"一站式"解决方案，但ONNX生态系统结合特定优化工具链，是目前覆盖范围最广的方案。

一个比较宽泛的问题。对于大龄程序员来说，是转AI Infra呢，还是继续做AI应用？

对大龄程序员而言，AI Infra和AI应用并非非此即彼的选择，而应基于个人优势和市场需求做出决策：

如果有系统底层或分布式系统经验，转AI Infra可能更有优势，尤其是在可靠性工程、性能优化方面；

如果有丰富的产品开发或业务理解，继续AI应用可能更有价值，特别是领域特定AI应用；

最佳定位可能是中间层：AI平台工程、MLOps、AI应用架构等连接基础设施和应用的角色；

降低风险策略：打造"T型"技能组合，一个方向深入，同时保持另一方向的理解。

大龄程序员的优势在于对技术完整生命周期的理解，而非单纯的开发速度。选择应该基于个人兴趣、现有技能和自我的价值主张，而非仅仅追随市场热点。