我是个CURD程序员, 想转型端侧AI, 本人也是对硬件嵌入式非常感兴趣
苦思冥想之后决定从端侧AI入门, 也是为了以后找工作
调查分析后决定先买个jetson orin 16g的, 国内OEM的好像很便宜
求大佬来给我一些意见和建议
1
建议只看显存带宽, 如果纯推理的话带宽/激活参数量就是模型的tps峰值. 如果还要万后训练那就要超大显存+浮点性能了. 总之建议还是先vast.ai之类的租卡试试
我是个CURD程序员, 想转型端侧AI, 本人也是对硬件嵌入式非常感兴趣
苦思冥想之后决定从端侧AI入门, 也是为了以后找工作
调查分析后决定先买个jetson orin 16g的, 国内OEM的好像很便宜
求大佬来给我一些意见和建议
建议只看显存带宽, 如果纯推理的话带宽/激活参数量就是模型的tps峰值. 如果还要万后训练那就要超大显存+浮点性能了. 总之建议还是先vast.ai之类的租卡试试