我是个CURD程序员, 想转型端侧AI, 本人也是对硬件嵌入式非常感兴趣

苦思冥想之后决定从端侧AI入门, 也是为了以后找工作

调查分析后决定先买个jetson orin 16g的, 国内OEM的好像很便宜

求大佬来给我一些意见和建议

3
message-square
1
  • karminski-牙医MA
    1 day ago

    建议只看显存带宽, 如果纯推理的话带宽/激活参数量就是模型的tps峰值. 如果还要万后训练那就要超大显存+浮点性能了. 总之建议还是先vast.ai之类的租卡试试