之前的文章聊过手机嵌入端模型的一些趋势 AI大潮来袭,移动开发迎来第二春?最近做的需求正好是将端模型引入到了我们的应用里。 大家知道模型种类有很多,有语言模型,生图模型,生视频模型,其实理论上来说有多少业务场景,就会有多少种模型的出现。我们做的是将 Text To Speech 端模型引入到移动端,来降低语音生成的过程对服务端的依赖,同时完成降本。 不过在实践过程中还是踩了一些坑。 模型文件下 ...
之前的文章聊过手机嵌入端模型的一些趋势 AI大潮来袭,移动开发迎来第二春?最近做的需求正好是将端模型引入到了我们的应用里。 大家知道模型种类有很多,有语言模型,生图模型,生视频模型,其实理论上来说有多少业务场景,就会有多少种模型的出现。我们做的是将 Text To Speech 端模型引入到移动端,来降低语音生成的过程对服务端的依赖,同时完成降本。 不过在实践过程中还是踩了一些坑。 模型文件下 ...
得用发展的眼光看AI。AI的发展太快了,半年甚至几个月之前你觉得AI做不到的事情,现在再去尝试可能已经能做到了,所以眼光不能停留在过去。半年之前你能想到Cursor这么牛逼? 端部署模型可能会是未来的趋势,现在端上部署模型还是差点意思,比如deepseek那个1.5b量化到4bit的生成效果就差点意思,但是手机硬件会越来越好,量化甚至整个模型的训练过程都会朝着更精简的方向去。毕竟 ...
推理模型和指令模型的作用是不一样的。xx-R1 是推理模型,xx-V1是指令模型。推理模型和指令模型的侧重点是不一样的。大多数场景其实根本用不到推理模型。 参数模型越大,模型文件越大,文件模型越大就只能在服务端部署,本地部署的都是比较小的模型,比如1.5B的模型。641B的模型就只能在服务端部署。 参数量越大的模型效果越好,类似参数越大记忆的东西越多,输出会更加准确, ...