Anthropic 发布了全新大模型 Claude 3.5 Sonnet，号称是迄今为止最智能的模型。
Claude 3.5 Sonnet 为研究生水平推理 (GPQA)、本科生水平知识 (MMLU) 和编码能力 (HumanEval) 设定了新的行业基准。它在理解细微差别、幽默和复杂指令方面表现出显著的进步，并且擅长以自然、亲切的语气撰写高质量的内容。
Claude 3.5 Sonnet 的运行速度是 Claude 3 Opus 的两倍。这种性能的提升加上实惠的价格，使 Claude 3.5 Sonnet 成为复杂任务的理想选择。
在内部代理编码评估中，Claude 3.5 Sonnet 解决了 64% 的问题，优于 Claude 3 Opus（解决了 38%）。Anthropic 评估测试了 Claude 3.5 Sonnet 根据自然语言描述的需求，修复错误或增加功能到开源代码库中的能力。
在获得指导和相关工具后，Claude 3.5 Sonnet 可以独立编写、编辑和执行代码，并具有复杂的推理和故障排除功能。Claude 3.5 Sonnet 可以轻松处理代码转换，这对于更新旧版应用程序和迁移代码库特别有效。
下表为 Claude 3.5 Sonnet 与其他模型的比较，评估基准包括推理、阅读理解、数学、科学和编码。在所有这些基准测试中，Claude 3.5 Sonnet 的表现均优于之前的前沿模型 Claude 3 Opus。
我们也可以看到表中 Claude3.5 与 GPT-4o 的对比数据，除了数学方面，得分都比 GPT-4o 高或者逼近。