视为经典案例的小沙第一次庭审,那次的应对也不过是需要三个基础能力:语义理解、法律服务、软件开发能力。
只有极少数的情况,才需要去动用小沙的全量模型。
即便需要全量模型,全程调用全量模型,和只在有需要的步骤去调用全量模型,消耗的资源也是大相径庭的,但结果可能是一模一样。
……
“训练提升难住我了,裁切蒸馏还不是手拿把掐!”
深夜课堂学了这么久,郝成还是有几把刷子的,微意识体的模型训练力有未逮,但压缩郝成还是有办法的。
更何况,郝成还有小沙这个绝佳的辅助工具。
“小沙,帮我统计并分析一下所有的用户行为,并将他们最常使用的能力和功能分类列举出来,从大到小进行排序。”
原本就这个工作量,没有十天半个月都不可能完的成,但现在有小沙,所需时间顿时缩短到顷刻间。
郝成现在的思路就是:将小沙完全体作为全量模型,压阵,轻易不出,只有当问题确实解决不了了,才转到这里。
然后就是分门别类,根据分类将小沙分别压缩成若干个各自领域和专业的小模型。
后续,用户请求,就先经过甄别,由对应领域的小模型处理。
比如,与人的交互,当然是语言模型最先接手,然后一步一步去处理。
至于ai使用元素级应用、ai保障网络完全、ai开发应用和软件等等这些,第一步就可以省了——ai与机器的交互,还通过语言模型再转一道,除了消耗资源之外,毫无意义。
……
第一个阶段方案的雏形迅速的被设计了出来。
这个阶段,郝成也不求精,就干一件事儿——裁剪,也就模型剪枝。
比如,第一个要做的小模型:语言识别。
那就把除语言识别能力以外的能力全剪掉,你只需要识别语音,转成文字就可以了,连理解都不需要,那是第二个模型的事儿。
依照这样的理论,在郝成的指导下,小沙本“人”操刀,一个又一个的专业或者复合小模型迅速诞生。
……
翌日上午,一到公司,郝成就喊来