微软推出38亿参数phi-3-mini模型：每秒可生成12个tokens
|
4月23日消息，微软研究院近日公布了一项令人瞩目的技术成果--Phi-3系列AI模型。这一系列模型包含三个版本：mini(38亿参数)、small(70亿参数)以及medium(140亿参数)，分别满足不同场景和需求的应用。
据微软技术报告显示，拥有38亿参数的phi-3-mini模型在经过高达3.3万亿个tokens的训练后，其在基准测试中的跑分性能已经成功超越了Mixtral 8x7B和GPT-3.5等业界知名模型。这一成就彰显了微软在人工智能领域的深厚实力和创新能力。 phi-3-mini模型不仅可以部署在高性能计算机上，还可以轻松应用于手机等便携设备。该模型在27亿参数的Phi-2模型基础上进行了进一步优化，通过整合严格过滤的网络数据和合成数据，提升了模型的通用性和准确性。 尽管phi-3-mini模型在语言理解和推理能力方面表现出色，甚至可以媲美更大参数的AI模型，但微软也坦诚地指出，在某些特定任务，如TriviaQA等，其性能仍然受到模型规模的限制。然而，这并不影响phi-3-mini模型在众多领域中的广泛应用前景。 此外，微软还公布了phi-3-small和phi-3-medium两个模型在MMLU测试中的得分，分别为75.3和78.2，显示出这两个模型在处理复杂任务时也具备了相当高的性能。 |
