近期,OpenAI的创始人Sam Altman在接受采访时详细讨论了OpenAI的API及产品规划。他坦诚地回应了包括开发者实际问题和关于OpenAI使命、AI社会影响的宏观问题。以下是讨论的主要内容:
- 目前OpenAI严重依赖于GPU。
客户对OpenAI最大的不满集中在API的可靠性和速度,Sam表示认同这一观点并解释说,大部分问题源于GPU的短缺。
目前,32k的上下文还无法推广至更多用户。尽管OpenAI即将实现100k – 1M tokens的上下文窗口(预计今年),但任何更大的窗口都需要技术突破。
由于GPU的短缺,微调(Fine-Tuning)API也面临限制。OpenAI尚未应用如Adapters或LoRa等高效微调方法,因此微调操作和管理过程非常耗费计算资源。未来,将有更强大的微调支持,可能会设立由社区贡献的模型市场。
OpenAI提供的专用容量服务也受到GPU供应的限制,该服务为客户提供模型的私有副本。客户需要愿意预付$100k的费用来使用此服务。
- OpenAI近期规划包括更便宜、更快的GPT-4、更长的上下文窗口、微调API,以及有状态的API。
Sam分享了OpenAI近期的API路线图:
2023年:
更便宜、更快的GPT-4:这是首要任务。OpenAI的总体目标是尽可能降低“智能的成本”,因此他们会持续努力降低API的成本。
更长的上下文窗口:预计在不远的将来,上下文窗口可能扩大至一百万tokens。
微调API:微调API将升级到最新模型,但具体形态将由开发者实际需求来决定。
支持会话状态的API:未来API将提供记住对话历史的版本。
2024年:
多模态:尽管在GPT-4的发布中已进行演示,但要扩展到所有人还需等待更多GPU的投入使用。
- 尽管许多开发者对通过API获取ChatGPT插件表现出了兴趣,但可能不会很快发布。
Sam表示虽然有许多开发者对获取ChatGPT插件感兴趣,但他不认为插件会很快发布。他认为,虽然许多人期望在ChatGPT内部运行他们的应用,但他们真正需要的是在自己的应用中运行ChatGPT。
- OpenAI会避免与客户竞争,唯一的例外是ChatGPT。他们的目标是让ChatGPT成为超级智能的助手。
Sam提到,许多开发者担心在使用OpenAI API构建产品时,OpenAI可能会发布与他们竞争的产品。他明确表示,OpenAI不会发布超过ChatGPT的产品。他强调,ChatGPT能够作为杀手级应用,帮助OpenAI优化API,同时成为超级智能助手。然而,OpenAI不会触及其他许多GPT的应用场景。
- Sam Altman虽然呼吁监管未来的模型,但他并不认为现有模型是危险的,且他认为对现有模型进行监管或禁止将是一个巨大的错误。他再次强调了开源的重要性,并透露OpenAI正在考虑开源GPT-3。
- OpenAI的内部数据显示,模型性能的缩放规则依然有效,因此增大模型规模将继续提升性能。这对人工智能的发展时间线有重要影响。
虽然OpenAI在短短几年内已经将模型扩大了数百万倍,但这样的缩放速度无法维持,未来将不可持续。这并不代表OpenAI不会继续尝试扩大模型,只是意味着模型的扩大速度可能只会以每年一倍或两倍的速度增长,而不会是数量级的增长。
缩放规则的持续有效对于人工通用智能(AGI)的发展时间线具有重要影响。如果缩放规则失效,我们可能预期AGI的发展会更加遥远。然而,缩放规则的持续有效则强烈暗示了更短的发展时间线。