【新智元导读】AI能像科幻电影中的先知一样预测未来吗？一个名为「Prophet Arena」的全新基准测试◈ღ◈，正通过预测真实世界事件来评估AI的「预言」能力◈ღ◈。

　　在昨晚的男篮亚洲杯冠军争夺战中◈ღ◈，中国男篮虽以1分之差惜败澳大利亚◈ღ◈，但已是近十年来的最好成绩◈ღ◈！

　　今天要介绍的Prophet Arena就是一个通过实时更新的真实世界预测任务来评估AI系统预测智能的基准测试◈ღ◈。

　　为「人机协作」而生◈ღ◈：你可以给AI提供线索◈ღ◈，看看它的预测如何变化◈ღ◈；AI也会把它的思考过程告诉你◈ღ◈。

　　Prophet Arena从像Kalshi和Polymarket这样的预测市场平台挑选热门◈ღ◈、多样且周期性的真实事件作为考题◈ღ◈。

　　Kalshi是一家美国的金融交易所和预测市场平台佳域g4官网◈ღ◈，是美国第一个受美国商品期货交易委员会（CFTC）监管的◈ღ◈、专注于交易「事件结果」的交易所

　　AI模型们利用搜索引擎凯发K8国际娱乐官网入口◈ღ◈，像侦探一样收集关于某个事件的新闻报道◈ღ◈，整理成一份精炼的「情报简报」◈ღ◈。同时◈ღ◈，也会把当时的市场价格（可以看作是群众的集体智慧）放进去◈ღ◈。

　　拿到相同的情报后◈ღ◈，每个AI模型都要提交一份详细的「预测报告」◈ღ◈：对所有可能的结果给出一个概率分布◈ღ◈，并附上长篇大论的理由◈ღ◈，解释自己为什么这么看◈ღ◈。

　　事件结束◈ღ◈，结果揭晓◈ღ◈。会用一套专业的指标来评估AI的预测到底有多准◈ღ◈，然后更新在一个实时排行榜上佳域g4官网◈ღ◈。

　　排行榜主要看两个指标◈ღ◈：一个是衡量准确度和校准度的Brier分数（越高越好）◈ღ◈，另一个是模拟真实投注的平均回报（看谁能赚钱）凯发K8国际娱乐官网入口◈ღ◈。

　　除了上述两个核心指标外◈ღ◈，Prophet Arena还采用了受统计学和心理测量建模启发的高级评估方法◈ღ◈，如项目反应理论（Item Response Theory◈ღ◈，IRT）和广义Bradley-Terry（BT）模型◈ღ◈。

　　比如一场温布尔登网球赛佳域g4官网◈ღ◈，赛前市场普遍认为选手保罗有84%的胜率◈ღ◈，甚至在开赛前一度攀升至95%◈ღ◈。

　　比如在「AI监管法规会在2026年前成为联邦法律吗？」这个事件上◈ღ◈，市场认为可能性只有25%◈ღ◈。

　　保守派代表Llama 4 Maverick◈ღ◈：它也看到了同样的信息◈ღ◈，但认为立法过程复杂又缓慢◈ღ◈，所以只给出了比市场略高一点的35%◈ღ◈。

　　例如在圣地亚哥与多伦多的美国职业足球大联盟比赛中◈ღ◈，o3-mini在1美元的投注上获得了9美元的回报◈ღ◈。

　　根据市场数据和新闻来源◈ღ◈，o3-mini预测多伦多获胜的概率为30%◈ღ◈，而市场隐含的概率仅为11%（价格=0.11）◈ღ◈。

　　尽管多伦多是不被看好的一方◈ღ◈，但AI识别到了正的期望值凯发K8国际娱乐官网入口◈ღ◈，并由于其最大的优势比率30%/11%≈3◈ღ◈。

　　就像在上面那场足球赛中◈ღ◈，市场认为多伦多队只有11%的胜算佳域g4官网◈ღ◈，但o3-mini经过分析认为有30%◈ღ◈。

　　数值越低（颜色越深的单元格）表示概率推理更接近一致◈ღ◈；数值越高（颜色越浅的单元格）则表明分歧越大◈ღ◈。

　　与Kimi K2佳域g4官网◈ღ◈、o3和Llama 4 Maverick等模型相比◈ღ◈，它的L2距离始终高于0.7◈ღ◈，这表明其可能采用了不同的校准方式或内部决策机制◈ღ◈。

　　在频谱的另一端◈ღ◈，诸如Grok-4和GPT-5之类的模型经常作出高度一致的预测◈ღ◈，L2距离通常低于0.3凯发K8国际娱乐官网入口◈ღ◈。

　　换句话说凯发K8国际娱乐官网入口◈ღ◈，这张图展示了AI预测的多样性◈ღ◈：有些模型形成「群体共识」◈ღ◈、有些模型像「特立独行的异议者」◈ღ◈。

　　设想◈ღ◈，AI系统将成为预测市场的积极参与者◈ღ◈，将人类的直觉洞察与AI强大的数据分析能力相结合◈ღ◈，最终提升整个社会的集体远见◈ღ◈，为那些高风险的决策提供更可靠的依据◈ღ◈。

　　毕竟◈ღ◈，如果说语言模型的下一步是预测下一个词◈ღ◈，那么它的终极形态◈ღ◈，或许就是预测这个真实世界的下一个事件佳域g4官网◈ღ◈。

　　特别声明◈ღ◈：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布佳域g4官网◈ღ◈，本平台仅提供信息存储服务◈ღ◈。

　　李斌谈被问蔚来何时倒闭◈ღ◈：公司混得不好◈ღ◈，车主也没面子◈ღ◈！他曾强调◈ღ◈，四季度盈利的目标必须实现……

　　女子与装修公司发生纠纷◈ღ◈，将新房起名“装修翻车现场”邀请网友打卡避坑凯发K8国际娱乐官网入口◈ღ◈，当事人◈ღ◈：已有50多人探访

　　卢浮宫抢劫案已有7名嫌疑人被捕◈ღ◈；失窃皇冠已被压平◈ღ◈，被抢珠宝尚未追回◈ღ◈，检方称价值达7.2亿元凯发K8国际娱乐官网入口◈ღ◈，凯发k8官网首页◈ღ◈，今日头条◈ღ◈，凯发k8官网◈ღ◈，凯发k8官网首页◈ღ◈。凯发k8首页