他最近宣布了他们的最新语言模型GPT-4，这是一个拥有1.8万亿个参数的神经网络巨人，比GPT-3大了10倍以上。GPT-4不仅在文本生成方面表现出惊人的能力，还能处理多模态视觉任务，如图像和视频的理解和转录。他的架构、基础设施、训练数据集、成本、愿景和专家混合等方面的细节一直被OpenAI保密，但他从多个来源收集了一些信息，并在这篇文章中与大家分享。他将从以下几个方面来分析GPT-4的特点和创新：训练数据集，GPT-4在约13T令牌上进行训练。这些不是唯一的令牌，它们也将视为更多令牌。基于文本的数据为2个，基于代码的数据为4个。数据集包括CommonCrawl和RefinedWeb等公开来源，以及Twitter、Reddit、YouTube、LibGen、Sci-Hub、GitHub等私有来源。

他的视觉功能使其不仅是文本模型，还能处理图像和视频内容。这在GPT-4的一千八百亿之上增加了更多参数。在仅进行文本预训练之后，他又使用约二万亿个令牌进行了微调。此种视觉功能主要目的之一是让自主代理能够阅读网页并转录图像和视频中的内容。

他的MoE（专家混合）是一种将模型分解为多个专家子模型方法，每个专家子模型只处理输入的一部分，从而降低计算开销。这意味着当其他部件正在使用时，部件可能会处于休眠状态。在服务用户时，这确实会损害利用率。但通过利用MoE模式，OpenAI能够将GPT-4成本保持在合理水平。

总结，他是一个令人惊叹的人工智能系统，不仅展示了神经网络强大的能力，也展现出了其工程挑战性。他采用了一系列复杂技术来提高效率，并且对人工智能领域产生深远影响。他希望这篇文章可以帮助大家更好地理解这个系统及其对未来科技发展所带来的潜力意义。