像OpenAI的GPT-4这样的大型语言模型(LLMs)是强大的,具有颠覆性的工具,有望颠覆各个行业。但是,它们存在限制,使得对合规和治理要求严格的企业组织觉得它们并不那么吸引人。例如,LLMs有时会以很高的信心制造出信息,而且它们的架构方式使得很难移除或甚至修订它们的知识库。
为了解决这些和其他障碍,Douwe Kiela共同创办了Contextual AI,该公司今天从隐秘状态中启动,获得了2000万美元的种子资金。Contextual AI的投资者包括Bain Capital Ventures(领投种子轮),Lightspeed,Greycroft和SV Angel,Contextual AI有雄心壮志地想要为企业构建“下一代”LLMs。
Kiela通过电子邮件告诉TechCrunch:“我们创办这家公司是为了满足在新兴的生成AI领域中企业的需求,到目前为止,这个领域主要关注的是消费者。Contextual AI正在解决当今在企业采用生成AI方面存在的几个障碍。”
Kiela和Contextual AI的另一位联合创始人Amanpreet Singh在AI初创公司Hugging Face和Meta工作过,然后决定在2月初自己创业。在Meta期间,Kiela主导了一种叫做检索增强生成(RAG)的技术研究,这种技术构成了Contextual AI的文本生成AI技术的基础。
那么RAG是什么呢?简而言之,RAG(Google的DeepMind R&D部门也已经探索过)通过外部资源(如文件和网页)来增强LLMs,以提高它们的性能。给定一个提示(例如,“美国的总统是谁?”),RAG会在资源中寻找可能相关的数据。然后,它将结果和原始提示一起打包,喂给一个LLM,生成一个“具有上下文感知”的回答(例如,“根据官方白宫网站,现任总统是乔·拜登”)。
相比之下,对于像“尼泊尔的GDP按年份怎么样?”这样的问题,一个典型的LLM(例如ChatGPT)可能只会返回到某个日期的GDP,而且不会注明信息的来源。
Kiela坚称,RAG可以解决现今LLMs的其他未解决的问题,比如关于归因和定制的问题。对于常规的LLMs,知道模型为什么会以某种方式回应是很困难的,而且向LLMs添加数据源通常需要重新训练或微调,这些步骤通常可以通过RAG来避免。
“RAG语言模型可以比等价的语言模型小,但仍然能够达到相同的性能。这使得它们运行得更快,意味着延迟更低,成本也更低,”Kiela说。“我们的解决方案解决了现有方法的不足和固有问题。我们相信,通过集成并共同优化不同的数据整合、推理、语音甚至看和听的模块,将会释放出语言模型在企业用例中的真正潜力。”
我的同事Ron Miller曾经思考过生成AI在企业中的未来可能是更小的、更专注的语言模型。我并不否认这一点。但也许,不仅是专门为企业调整的LLMs,而是将“较小”的模型和现有的LLMs与大量特定公司的文件一起增强。
Contextual AI并不是第一个探索这个想法的。OpenAI及其密切合作伙伴Microsoft最近推出了一个插件框架,允许第三方将信息源添加到像GPT-4这样的LLMs。其他初创公司,如LlamaIndex,正在尝试如何将个人或私人数据,包括企业数据,注入到LLMs中。
但Contextual AI声称已经在企业中取得了进展。尽管该公司目前尚未实现收入,但Kiela声称Contextual AI正在与财富500强公司进行谈话,试图测试其技术。
“企业需要确保他们从生成AI获取的答案是准确的、可靠的和可追溯的,” Kiela说。“Contextual AI将让雇主和他们的知识工作者更容易地获得生成AI可以提供的效率优势,同时安全准确地做到这一点……几家生成AI公司已经表示他们将追求企业市场,但Contextual AI将采取不同的方法,构建一个更为集成的解决方案,专门针对企业用例。”
Contextual AI目前有大约8名员工,计划将大部分种子资金投入到产品开发中,这将包括投资计算集群来训练LLMs。该公司计划到2023年底将其员工数量增加到近20人。