「虎博科技」发布自研多模态大模型TigerBot,开源模型、代码及数据 | 36氪首发

虎博科技成立于2017年,是一家专注于深度学习及NLP(自然语言处理)技术的AI公司,36氪曾多次报道。此前,经过多年技术探索和积累,虎博科技已经拥有包括智能搜索、智能推荐、机器阅读理解、总结、翻译、舆情分析及撰稿在内的关键技术,亦有全球各行业的专业信息数据积累。

36氪获悉,6月7日,虎博科技正式发布并开源其自研大模型TigerBot。同时,虎博科技还发布了大模型应用开发所需的全套API,以及多领域专业数据。

虎博科技成立于2017年,是一家专注于深度学习及NLP(自然语言处理)技术的AI公司,36氪曾多次报道。此前,经过多年技术探索和积累,虎博科技已经拥有包括智能搜索、智能推荐、机器阅读理解、总结、翻译、舆情分析及撰稿在内的关键技术,亦有全球各行业的专业信息数据积累。

2022年11月,OpenAI发布ChatGPT,掀起了全球的AI大模型科技浪潮,中国市场也出现了不少团队自研AI大模型的尝试,虎博科技也是其中之一。

本次虎博科技所发布的自研大模型TigerBot,是一个多语言多任务大规模语言模型,经历3个月的封闭式开发和超过3000次实验迭代,当前已经迭代出第一个MVP版本。

从功能上,Tigerbot已经包含大部分生成和理解类的能力,具体包括几大部分:

内容生成:辅助用户解决创作类问题,快速生成营销文案、评论、新闻稿等等。另外,Tigetbot也支持图片生成——模型可以实现文生图,进行插图创作等

图片生成

开放问答:用户向Tigerbot提出问题,比如烹饪攻略、长文本总结、文本理解、角色对话、润色等等

开放式问答

提取信息:比如有目的地获取关键信息、提取数字、主要内容等等

长文本解读

在3个月封闭开发背后,是一支精干的团队。虎博科技创始人兼CEO陈烨对36氪表示,在大模型研发上,虎博团队致敬了硅谷经典的“车库创业”模式,团队开始只有5个人,CEO同时担任首席程序员及首席AI科学家。

“在大模型的研发上,我们坚信顶尖团队能起到的作用,团队规模不必太大,但技术需要过硬。在我们从0到1的研发过程中,我们核心的研发团队一直保持在4-5个人,以及密切合作的研发状态。”陈烨表示。

从模型效果上看,虎博Tigerbot根据OpenAI InstructGPT论文的公开 NLP数据集上进行评测,TigerBot-7B对应OpenAI同等规模的6B版本,其综合表现能够达到OpenAI效果的96%。

以OpenAI-instruct GPT-6B-SFT为基准,归一化并平均各模型的得分情况 来源:虎博科技

在过去三个月中,虎博科技主要基于GPT和BLOOM两个开源模型基础上,在模型架构和算法侧做了一系列优化。陈烨对36氪表示,虎博科技在技术突破上,主要集中在原创的监督和微调方法上。“从整个技术角度来说,监督微调的方法是大模型这件事的核心,能够影响模型效果的七到八成。”

比如,大模型浪潮来临后,困扰业界的一个难题在于大模型的“幻觉”——即大模型输出的结果,和人类说的话一样自然,但在事实层面会“胡说八道”。

陈烨以实际案例举例,针对这一问题,虎博应用了一些经典的监督学习方法,如Ensemble和Probabilistic Modeling,结合到大模型中。

“假设人类在问模型一个事实性问题,Tigerbot不会只是简单地生成自然语言,而是同步利用更少量的数据就能知道人类意图——在回答上,则会更好的权衡事实性和创造性。”陈烨补充。这样的结果是,机器在训练模型中算力和数据的消耗,会比同等档次模型要小。

针对中文语境,虎博科技从分词器(Tokenizer)到训练算法等方面做了针对性算法优化,使得模型更懂中文指令,提高了问答结果的中国文化属性。(注:这里调后了一段,因为在模型里,事实性和创造性决定了它是不是会胡说八道,中文环境的针对性算法优化,可以让它更懂中国人的交流,类似于几个同学在一起,总有1个比其他人文学底蕴更好一点)

而在并⾏训练上,虎博的大模型团队也突破了比如 deep-speed 等主流框架中若⼲内存和通信问题,使得在千卡环境下,可实现训练数⽉⽆间断。

虎博科技在大模型研发上选择走开源路线。此次开源内容包含模型、代码、数据三部分,包含TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research等多个模型版本;基本训练且覆盖双卡推理 180B 模型的量化和推理代码;以及达100G的预训练数据、监督微调1G/100万条数据。

目前,这些内容已经全部在Github中发布(链接见此)。之所以选择开源路线,陈烨表示,推进人类文明的技术变革往往源于本能、直觉和偶然性,拥有自由的创新精神是根本。

“大模型技术就像是一门新兴学科,是颠覆式且长周期的,未来的可能性超越PC和互联网。现阶段过早和过于理性地探讨产品、应用、场景和商业化或许没有必要,更重要的是推广这一人工智能基础设施的原创突破,促进技术的发展和更新。”

出于上述的考虑,虎博除了一部分积累的预训练数据集,也同时开源了系统性的中文数据搜集和清洗方法论。陈烨并不认为数据会成为壁垒:“更重要的是团队对于数据清洗的理论和系统性的高度,这是一个长期的系统工程。”

虎博科技自成立之初就专注在中文NLP的技术和产品研发上,积累了大量高质量的中文预训练数据,本次发布的100G预训练数据,就是其中的一部分。未来,虎博还将开放大量的金融、法律、百科等领域专业数据,供应用开发者使用。

此前几年,虎博科技基于NLP,开发了主要面向泛金融领域的NLP产品,如舆情监测、搜索、知识图谱等,也已经用api的方式服务B端客户。本次大模型的发布也会与虎博的业务相结合——当前,虎博科技已经面向老客户提供包括内容生成类的功能模块。陈烨表示,大模型技术浪潮来临后,在市场侧感觉“客户决策速度比以前更快,产品落地速度也更快。”

未来,虎博科技将持续投入力量到大模型的研发和落地中。陈烨谈及了正在研发或者正在完善的一些功能,如研究助手TigerDoc、文创和营销工具等,虎博科技也正在内测部分面向个人的类助手产品。

THE END
免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!