AI 产品的诞生，我们就假设是一个模拟角色对话类的 AI 产品。 第一步就是模型选择，其实就是 LLM 类的模型选择，之前我总有一种错觉是，这种模型会很大，但是其实并不然，像很多模型其实并不大，至少比我想象的要小，7、8B 参数量基本上就能满足要求，这种参数量我们的自己的 PC 都能带动起来。 选模型的过程会占用很多时间，如果对模型要求并不高的话，其实找一些常见的模型，比如 LLama，MIs ...

端午节前两周，我主要的工作放在模型搭建部署和测试上，期间需要看明白和写一些 Python 语言相关的程序。 按照以往的经验，学习编程语言要开始打基础，了解这些编程语言相关的基础语法，比如之前(23年)学习 JAVA 的时候，我会在印象笔记里建一个笔记，专门存放我学过的 JAVA 相关的语法。 但是到了学 Python 这里，我已经开始不再纠结于基础的编程语法，并不是说基础的编程语法 （比如条件 ...

之前的文章聊过手机嵌入端模型的一些趋势 AI大潮来袭，移动开发迎来第二春？最近做的需求正好是将端模型引入到了我们的应用里。 大家知道模型种类有很多，有语言模型，生图模型，生视频模型，其实理论上来说有多少业务场景，就会有多少种模型的出现。我们做的是将 Text To Speech 端模型引入到移动端，来降低语音生成的过程对服务端的依赖，同时完成降本。 不过在实践过程中还是踩了一些坑。 模型文件下 ...

得用发展的眼光看AI。AI的发展太快了，半年甚至几个月之前你觉得AI做不到的事情，现在再去尝试可能已经能做到了，所以眼光不能停留在过去。半年之前你能想到Cursor这么牛逼？ 端部署模型可能会是未来的趋势，现在端上部署模型还是差点意思，比如deepseek那个1.5b量化到4bit的生成效果就差点意思，但是手机硬件会越来越好，量化甚至整个模型的训练过程都会朝着更精简的方向去。毕竟 ...

推理模型和指令模型的作用是不一样的。xx-R1 是推理模型，xx-V1是指令模型。推理模型和指令模型的侧重点是不一样的。大多数场景其实根本用不到推理模型。 参数模型越大，模型文件越大，文件模型越大就只能在服务端部署，本地部署的都是比较小的模型，比如1.5B的模型。641B的模型就只能在服务端部署。 参数量越大的模型效果越好，类似参数越大记忆的东西越多，输出会更加准确， ...