AI大模型冲击智能客服行业,如何应对国内大厂的降维打击?
以AI为导向重塑生产流程 训练自己的行业大模型

  • 2024年06月24日 15时16分
  • 来源: 四川日报
  • 【字体:
  • 等电梯时,川观智库研究员随口问起公司加班情况,“现在是大小周冲刺,不加班不行。”成都晓多科技有限公司研发总监向海说完又补充道,“2022年底(Chat GPT发布后)我们就慌了,慌到我们老板睡不着觉。”

    当天是6月18日,记者专程找向海谈谈人工智能行业大模型。近期多位业内大佬不约而同都谈道,行业大模型会迎来爆发式增长,四川相关专题会议也明确将“行业大模型发展”作为推动人工智能产业发展的重要工作。而向海所在公司,恰恰走在国内这个领域的最前沿——晓多科技是在国家网信办成功备案人工智能大模型的4家川企之一,专注于电商行业智能客服的行业大模型研发和运用。向海及同事所经历的欢欣和阵痛,以及由此引发的思考和行动,可为各地抢抓行业大模型发展机遇提供来自一线的认知参考。

    等到电梯开门,川观智库和向海的对话已经从“慌到睡不着觉”开始了。

    谈大模型浪潮中的兴奋与焦虑

    ●为何兴奋——足以颠覆行业的变化来了,可能做出改变行业的产品

    ●为何焦虑——竞争不是来自同行,而是国内大厂的降维打击

    ●怎么应对——做出不逊于大厂的行业大模型,降低交付成本

    记者:老板睡不着觉,你睡得着吗?

    向海:我睡得着,但是也慌。那会儿老板一是焦虑,二是兴奋,觉得一个新时代已经拉开帷幕,到现在,老板和我们也都是焦虑加兴奋。人这种生物就很有意思,越是这种情况下,战斗意志就越旺盛。

    记者:兴奋什么?焦虑什么?

    向海:我们做的是电商行业的智能客服,说白了就是机器人在线回答客户问题。

    兴奋主要是因为可能做出改变行业的产品。我们做产品时有个理论,就是影响你营收的关键因素中,只要其中一个发生了革命性变化,那这个行业一定会被颠覆——现在变化来了,公司营收翻十倍都有可能。

    说焦虑,一个原因是以ChatGPT为代表的大模型技术,智能程度确实非常高。另外一个原因是我们当时储备不够。之前大家其实知道有ChatGPT,但不知道它有那么震撼。当时我们只安排了一个人,叫“跟踪前沿”——就是盯着它的技术发展,知道大概是什么技术思路、进展到哪一步,但具体的技术准备、算力准备等都几乎没有。

    记者:新技术的智能程度高,你们为什么要焦虑?是怕同行更早应用?

    向海:我们的焦虑从来不是来自同行。国内做电商行业智能客服的就三四家,规模都差不多,各自擅长领域不一样,所以大家和平共处。

    让我们焦虑的是国内大厂(注:指互联网、人工智能领域头部企业)。大模型出现之前,他们为什么不介入智能客服这条赛道?因为交付成本高。或者说每增加一个客户,都要增加相应成本。因为每个客户的商品和需求不一样,我们就要帮客户去反复调试、训练和评估效果,这个过程之前要花一个多月,现在压缩到了两周,但不管怎样,利润并不算高。

    但大模型技术出来后,智能客服赛道的交付成本有可能大幅降低。而某个业务的交付成本接近于零,就可能被大厂盯上。国内大厂现在就只需要做一件事——训练好相关行业大模型,一旦训练好,就有可能省去调试等环节,把智能客服交付成本降到非常低的水平,这对我们来说就是降维打击。

    就像翻译行业,前几天吴恩达(注:美国人工智能科学家)把自己用GPT-4o调的一个AI智能体机器翻译项目开源了(注:通常指开放源代码,供全社会免费试用),以前我们说ChatGPT搞不定专业领域的翻译,现在突然就能搞定了。那么多做翻译软件的公司,可能就要被一个行外人给颠覆掉。

    记者:大厂入局,你们怎么办?

    向海:我们的思路就是成为他——不是说我们要成为大厂,而是说我们自己把交付成本也降到极低,这样你打出来的效果,和我打出来是一样的。整个行业能挣的钱也没那么多,大厂还不如不做,或者就把我们收购掉。

    所以为什么要做行业大模型,就是必须减少人的干预,把交付的边际成本降下来。

    记者:你们有可能做出更好的行业大模型吗?

    向海:我们现在做大模型有两条技术线路:一条是拿大厂的开源大模型进行微调。这种线路不能很好控制训练的语料占比,因为基础就是人家已经训练过的大模型,二次训练只能尽力加一点特定语料。但即使这样效果已经很好,之前测试用ChatGPT3.5的答题正确率大概是70%,我们微调后的大模型能做到86%。

    另一条技术线路是我们去年在上海组建了预研团队,四五个人,自己训练行业大模型——这就和文心一言、通义千问等通用大模型类似,都是基于Transformer框架去自己选语料、写代码,区别是我们从一开始就按垂直领域的需要去训练,类似于我们的大模型是考大专、考职高,而通用大模型是考综合性大学。最终我们要靠这条技术线路来降低交付成本。

    当然技术只是一方面。大厂现在有了大模型后发现,其实也不能瞬间击破这个行业壁垒,因为还需要行业知识和数据积累等。比如和客户交流完后,机器人还要给客户一些赞美,想办法鼓励他继续下单,这就要拼对业务的理解了。我们经常说自己比客户更懂AI,比大厂更懂业务。这算是我们的壁垒吧,大厂能不能突破、什么时候突破,不好说。

    谈大模型改变的现在和未来

    ●目前看人工客服不会被完全替代,因为人需要被人服务

    ●预计智能客服行业明年运用大模型技术的商家比例会飙升到70%以上

    ●企业应定期审视业务流程中哪些能以AI为主,并以此去变更工作流程

    记者:把大模型技术用于智能客服,效果比用其他技术好多少?

    向海:我们公司2014年成立,基本上完整经历了人工智能技术在自然语言处理,特别是在电商客服领域的五个发展阶段。其中第四阶段是公司目前主要在用的技术,以神经网络为基础,用深度学习理解用户意图,我们叫“BERT模型”。第五阶段就是大模型。

    如果说BERT模型能考六十分,只能算“人工弱智”,现在大模型就可以考七八十分,在部分场景已是强智能了。举个例子,我俩聊天说上海天气怎么样,合肥呢?后面这句“合肥呢”,过去技术就不知道是在说天气,因为它不能理解人类的指代、省略等表达,必须技术人员设定好规则,一步步去教它理解。但对话场景那么多那么复杂,不可能都去教它。背后原因还是和大模型比,BERT模型的参数不够多,是“亿级”和“百亿级”的区别,另外模型本身的智能化程度也不够高。

    记者:人工客服最终会被完全替代吗?

    向海:至少从目前看不会,因为人需要被人服务。

    之前我们和宝洁谈合作的时候,就说过一两千元的商品,你敢让机器人回复吗?不敢。这些情况下需要人来洞察情绪,AI只能辅助,做资料查询、业务系统操作等工作——本来就是要搞定情感,客户才买单啊。比如买个冰箱,也要考虑放在哪儿才好看,才和装修风格匹配等,这涉及类似情商、智商的“美商”,至少目前人工智能大模型还没有看到激发出这种能力。

    现在我们大概一半是机器人直接回答,主要是客单价低的、回答场景简单的情况;还有一半是人“包着”的——就是说机器人不直接面向消费者,消费者问了问题,机器人会生成答案给人工客服,客服如果觉着行,点击发送就传客户了,如果不行就修改后再发送。

    记者:现在公司有多少业务在用大模型技术?

    向海:目前很少。我们现在大概2万家客户,今年二季度结束是计划在1000家客户的店铺客服应答场景中用到大模型技术,进展很顺利,客户愿意用。

    记者:大模型效果好,客户又愿意用,为啥推广那么保守?

    向海:几个原因吧。一是工程优化问题,同时使用大模型的人多了目前还可能出现延迟等问题。二是存在大模型幻觉问题(注:指大模型会产生与来源无关的荒谬或不真实内容的现象),万一大模型结果生成错了,比如退换货政策本来不免邮费,大模型说免邮费,算谁的?

    当然这些问题都会随着技术迭代而解决。我们判断今年年底(运用大模型技术的商家)占比能飙到30%到40%,明年整个行业占比能飙到70%以上。人工智能进化速度是很快的。所以你看现在很多企业都有点蒙——信息化还没做完,数字化来了;数字化做到一半,智能化来了。信息化、数字化、智能化三股浪潮叠加,怎么办?

    记者:你的答案是什么?

    向海:就是以智能化为终点,来倒逼和调整信息化和数字化建设。

    如果说信息化数字化是以人为主,那么智能化就是以AI为主,这个变化是很大的。我们认为未来思路一定会变成:先判断AI能干什么,AI能干的都让它干。它干不了、干不好的事再让人来干,人干好之后再反过去把AI训练更好,最终还是让AI干。

    我们整个公司,已经在以AI为导向来牵引生产工作。举个例子,训练语料的标注工作以前我们公司是由人来干,但人会疲劳,所以要想很多办法比如优化系统界面设计等让人不容易疲劳。而现在,标注的生产流水线还在,但主要干活的已经是AI了,人就负责质检,效率提高了。

    现在要用好人工智能,企业应该把业务流程中的所有节点拿出来逐一判断,未来它会是以AI为主,还是以AI为辅。然后根据相应判断去变更工作流程,避免“把发动机装在马车上”。而且随着大模型技术发展,类似判断每隔一段时间就应该进行一次。

    在这种趋势下,未来市面上最缺的人才一定是在AI重塑生产流水线以后,去管理、去优化生产流水线的复合型人才。(川观智库研究员 熊筱伟

    责任编辑: 李莎莎
    扫一扫在手机打开当前页

    AI大模型冲击智能客服行业,如何应对国内大厂的降维打击?
    以AI为导向重塑生产流程 训练自己的行业大模型

  • 2024年06月24日 15时16分
  • 来源: 四川日报
  • 等电梯时,川观智库研究员随口问起公司加班情况,“现在是大小周冲刺,不加班不行。”成都晓多科技有限公司研发总监向海说完又补充道,“2022年底(Chat GPT发布后)我们就慌了,慌到我们老板睡不着觉。”

    当天是6月18日,记者专程找向海谈谈人工智能行业大模型。近期多位业内大佬不约而同都谈道,行业大模型会迎来爆发式增长,四川相关专题会议也明确将“行业大模型发展”作为推动人工智能产业发展的重要工作。而向海所在公司,恰恰走在国内这个领域的最前沿——晓多科技是在国家网信办成功备案人工智能大模型的4家川企之一,专注于电商行业智能客服的行业大模型研发和运用。向海及同事所经历的欢欣和阵痛,以及由此引发的思考和行动,可为各地抢抓行业大模型发展机遇提供来自一线的认知参考。

    等到电梯开门,川观智库和向海的对话已经从“慌到睡不着觉”开始了。

    谈大模型浪潮中的兴奋与焦虑

    ●为何兴奋——足以颠覆行业的变化来了,可能做出改变行业的产品

    ●为何焦虑——竞争不是来自同行,而是国内大厂的降维打击

    ●怎么应对——做出不逊于大厂的行业大模型,降低交付成本

    记者:老板睡不着觉,你睡得着吗?

    向海:我睡得着,但是也慌。那会儿老板一是焦虑,二是兴奋,觉得一个新时代已经拉开帷幕,到现在,老板和我们也都是焦虑加兴奋。人这种生物就很有意思,越是这种情况下,战斗意志就越旺盛。

    记者:兴奋什么?焦虑什么?

    向海:我们做的是电商行业的智能客服,说白了就是机器人在线回答客户问题。

    兴奋主要是因为可能做出改变行业的产品。我们做产品时有个理论,就是影响你营收的关键因素中,只要其中一个发生了革命性变化,那这个行业一定会被颠覆——现在变化来了,公司营收翻十倍都有可能。

    说焦虑,一个原因是以ChatGPT为代表的大模型技术,智能程度确实非常高。另外一个原因是我们当时储备不够。之前大家其实知道有ChatGPT,但不知道它有那么震撼。当时我们只安排了一个人,叫“跟踪前沿”——就是盯着它的技术发展,知道大概是什么技术思路、进展到哪一步,但具体的技术准备、算力准备等都几乎没有。

    记者:新技术的智能程度高,你们为什么要焦虑?是怕同行更早应用?

    向海:我们的焦虑从来不是来自同行。国内做电商行业智能客服的就三四家,规模都差不多,各自擅长领域不一样,所以大家和平共处。

    让我们焦虑的是国内大厂(注:指互联网、人工智能领域头部企业)。大模型出现之前,他们为什么不介入智能客服这条赛道?因为交付成本高。或者说每增加一个客户,都要增加相应成本。因为每个客户的商品和需求不一样,我们就要帮客户去反复调试、训练和评估效果,这个过程之前要花一个多月,现在压缩到了两周,但不管怎样,利润并不算高。

    但大模型技术出来后,智能客服赛道的交付成本有可能大幅降低。而某个业务的交付成本接近于零,就可能被大厂盯上。国内大厂现在就只需要做一件事——训练好相关行业大模型,一旦训练好,就有可能省去调试等环节,把智能客服交付成本降到非常低的水平,这对我们来说就是降维打击。

    就像翻译行业,前几天吴恩达(注:美国人工智能科学家)把自己用GPT-4o调的一个AI智能体机器翻译项目开源了(注:通常指开放源代码,供全社会免费试用),以前我们说ChatGPT搞不定专业领域的翻译,现在突然就能搞定了。那么多做翻译软件的公司,可能就要被一个行外人给颠覆掉。

    记者:大厂入局,你们怎么办?

    向海:我们的思路就是成为他——不是说我们要成为大厂,而是说我们自己把交付成本也降到极低,这样你打出来的效果,和我打出来是一样的。整个行业能挣的钱也没那么多,大厂还不如不做,或者就把我们收购掉。

    所以为什么要做行业大模型,就是必须减少人的干预,把交付的边际成本降下来。

    记者:你们有可能做出更好的行业大模型吗?

    向海:我们现在做大模型有两条技术线路:一条是拿大厂的开源大模型进行微调。这种线路不能很好控制训练的语料占比,因为基础就是人家已经训练过的大模型,二次训练只能尽力加一点特定语料。但即使这样效果已经很好,之前测试用ChatGPT3.5的答题正确率大概是70%,我们微调后的大模型能做到86%。

    另一条技术线路是我们去年在上海组建了预研团队,四五个人,自己训练行业大模型——这就和文心一言、通义千问等通用大模型类似,都是基于Transformer框架去自己选语料、写代码,区别是我们从一开始就按垂直领域的需要去训练,类似于我们的大模型是考大专、考职高,而通用大模型是考综合性大学。最终我们要靠这条技术线路来降低交付成本。

    当然技术只是一方面。大厂现在有了大模型后发现,其实也不能瞬间击破这个行业壁垒,因为还需要行业知识和数据积累等。比如和客户交流完后,机器人还要给客户一些赞美,想办法鼓励他继续下单,这就要拼对业务的理解了。我们经常说自己比客户更懂AI,比大厂更懂业务。这算是我们的壁垒吧,大厂能不能突破、什么时候突破,不好说。

    谈大模型改变的现在和未来

    ●目前看人工客服不会被完全替代,因为人需要被人服务

    ●预计智能客服行业明年运用大模型技术的商家比例会飙升到70%以上

    ●企业应定期审视业务流程中哪些能以AI为主,并以此去变更工作流程

    记者:把大模型技术用于智能客服,效果比用其他技术好多少?

    向海:我们公司2014年成立,基本上完整经历了人工智能技术在自然语言处理,特别是在电商客服领域的五个发展阶段。其中第四阶段是公司目前主要在用的技术,以神经网络为基础,用深度学习理解用户意图,我们叫“BERT模型”。第五阶段就是大模型。

    如果说BERT模型能考六十分,只能算“人工弱智”,现在大模型就可以考七八十分,在部分场景已是强智能了。举个例子,我俩聊天说上海天气怎么样,合肥呢?后面这句“合肥呢”,过去技术就不知道是在说天气,因为它不能理解人类的指代、省略等表达,必须技术人员设定好规则,一步步去教它理解。但对话场景那么多那么复杂,不可能都去教它。背后原因还是和大模型比,BERT模型的参数不够多,是“亿级”和“百亿级”的区别,另外模型本身的智能化程度也不够高。

    记者:人工客服最终会被完全替代吗?

    向海:至少从目前看不会,因为人需要被人服务。

    之前我们和宝洁谈合作的时候,就说过一两千元的商品,你敢让机器人回复吗?不敢。这些情况下需要人来洞察情绪,AI只能辅助,做资料查询、业务系统操作等工作——本来就是要搞定情感,客户才买单啊。比如买个冰箱,也要考虑放在哪儿才好看,才和装修风格匹配等,这涉及类似情商、智商的“美商”,至少目前人工智能大模型还没有看到激发出这种能力。

    现在我们大概一半是机器人直接回答,主要是客单价低的、回答场景简单的情况;还有一半是人“包着”的——就是说机器人不直接面向消费者,消费者问了问题,机器人会生成答案给人工客服,客服如果觉着行,点击发送就传客户了,如果不行就修改后再发送。

    记者:现在公司有多少业务在用大模型技术?

    向海:目前很少。我们现在大概2万家客户,今年二季度结束是计划在1000家客户的店铺客服应答场景中用到大模型技术,进展很顺利,客户愿意用。

    记者:大模型效果好,客户又愿意用,为啥推广那么保守?

    向海:几个原因吧。一是工程优化问题,同时使用大模型的人多了目前还可能出现延迟等问题。二是存在大模型幻觉问题(注:指大模型会产生与来源无关的荒谬或不真实内容的现象),万一大模型结果生成错了,比如退换货政策本来不免邮费,大模型说免邮费,算谁的?

    当然这些问题都会随着技术迭代而解决。我们判断今年年底(运用大模型技术的商家)占比能飙到30%到40%,明年整个行业占比能飙到70%以上。人工智能进化速度是很快的。所以你看现在很多企业都有点蒙——信息化还没做完,数字化来了;数字化做到一半,智能化来了。信息化、数字化、智能化三股浪潮叠加,怎么办?

    记者:你的答案是什么?

    向海:就是以智能化为终点,来倒逼和调整信息化和数字化建设。

    如果说信息化数字化是以人为主,那么智能化就是以AI为主,这个变化是很大的。我们认为未来思路一定会变成:先判断AI能干什么,AI能干的都让它干。它干不了、干不好的事再让人来干,人干好之后再反过去把AI训练更好,最终还是让AI干。

    我们整个公司,已经在以AI为导向来牵引生产工作。举个例子,训练语料的标注工作以前我们公司是由人来干,但人会疲劳,所以要想很多办法比如优化系统界面设计等让人不容易疲劳。而现在,标注的生产流水线还在,但主要干活的已经是AI了,人就负责质检,效率提高了。

    现在要用好人工智能,企业应该把业务流程中的所有节点拿出来逐一判断,未来它会是以AI为主,还是以AI为辅。然后根据相应判断去变更工作流程,避免“把发动机装在马车上”。而且随着大模型技术发展,类似判断每隔一段时间就应该进行一次。

    在这种趋势下,未来市面上最缺的人才一定是在AI重塑生产流水线以后,去管理、去优化生产流水线的复合型人才。(川观智库研究员 熊筱伟

    责任编辑: 李莎莎
    扫一扫在手机打开当前页
    主办单位:四川省人民政府办公厅
    运行维护单位:中国电信四川公司
  • 微信
  • 微博
  • 客户端
  • 头条号
  • 手机版 电脑版
    ×
    x
    Baidu
    map