先说结论OpenAI 这次公开的 62 页手稿核心价值不在“62”这个页数而在于它把 AI 在数学推理、代码生成和 agent 任务执行上的技术路径摊开了。配合 Codex harness 的开源开发者现在不只是看热闹而是真的能拿到工具链去验证“AI 连破数学难题”这件事到底是怎么发生的。这篇文章会做三件事第一把这次公开手稿和开源 Codex harness 的技术背景拆清楚说明它跟普通 AI 编程工具有什么区别第二给出一套可落地的本地部署和 API 调用流程重点覆盖环境准备、接口调用、批量任务和效果验证第三整理 AI agent 在数学推理、代码生成、自动化任务中的资源占用、性能观察和常见问题排查思路。不管你是做 AI 应用开发、研究推理模型评测还是想把手稿里的思路用到自己的编程工作流里这篇文章都值得收藏。1. 核心能力速览先把这次事件的关键信息整理成一张表方便快速判断它跟你手头工作的关联度。能力项说明项目来源OpenAI 公开 62 页技术手稿并开源 Codex harness 工具链核心突破AI 在多个“菲尔兹奖级”数学难题上实现自动证明和验证主要功能数学推理、代码生成、agent 任务执行、自动化验证关键技术Codex harness、工具调用、模型循环、自动反馈开源内容Codex harness 相关工具链需按官方仓库确认硬件要求云端 API 调用本地几乎无要求本地模型需较高显存量级需实测启动方式API 调用 / 本地开发环境配置是否支持 API是通过 OpenAI API 兼容接口调用是否支持批量任务可用脚本批量提交推理任务需注意限流适合场景AI 编程、数学推理研究、agent 开发、自动化评测这里要特别说明一点网上很多标题把“OpenAI 公开手稿”理解成“模型开源了”这不对。OpenAI 这次公开的是技术报告和部分工具链不是把模型权重全部放出来。实际想要复现“连破数学难题”的效果主流路径还是通过 API 调用 自己搭建验证脚本而不是在普通显卡上直接跑一个完整模型。2. 适用场景与使用边界在动手之前先想清楚这个东西到底适合谁用、不适合谁用可以少走很多弯路。2.1 适合哪些场景AI 数学推理研究如果你想验证当前模型到底能不能做符号推导、定理证明、复杂逻辑推理这次公开的手稿提供了很多测试思路和评测维度照着它设计自己的评测集会比拍脑袋提问靠谱得多。AI 编程工作流Codex 系列本身就是 OpenAI 的编程 agent开源 harness 之后你可以把“模型 执行器 反馈循环”这套模式搬到自己的项目里实现自动写代码、自动跑测试、自动修 bug 的闭环。agent 开发手稿里大量的工具调用、多步推理、结果验证流程本质上就是 agent 开发的工程实践。自己做 agent 时可以把这些流程当成模板。自动化评测和批量任务以前人工逐条测试 prompt 效果太慢现在可以用脚本批量提交、批量收集结果、自动对比分数。2.2 不推荐哪些场景想在本地免费复现完整模型不现实。这类推理模型参数规模大普通消费级显卡即使能加载推理速度也会慢到不可用。想直接拿到完整手稿原文并逐字分析如果你没有技术报告的全文权限网上流传的更多是摘要和解读不能拿二手转述当作一手事实。对实时性和成本敏感的生产环境API 调用有网络延迟而且 AI 数学推理任务通常需要多次采样和验证单个任务可能消耗较长时间不适合放在高频实时链路里。2.3 使用边界与合规提醒这次事件涉及的内容安全边界很明确所有 API 调用需使用自己的账号和 Key按官方计费规则使用不要使用来路不明的共享 Key。涉及代码生成时要审查生成代码的版权和许可证尤其是用于商业项目前。数学证明和代码结果需要人工复核AI 仍然可能产生看似正确但逻辑错误的内容。不要拿这个能力去做自动化学术造假、批量代写论文、绕过考试等违规行为。如果要将结果公开发布或商用注意保留测试记录和追溯能力。3. 环境准备与前置条件这次任务不是“下载一个整合包双击就能跑”的类型而是“API 调用 脚本编排 结果验证”的工程流程。所以环境准备要按开发项目来做不复杂但要做干净。3.1 推荐环境清单组件说明操作系统Windows 10/11、Ubuntu 20.04、macOS 均可Python3.10 或更高版本包管理工具pip 或 condaAPI Key需要准备可用的 OpenAI API Key并确认有对应模型访问权限网络环境能正常访问 API 服务即可本地硬盘代码项目、日志、输出结果预留 10GB 以上即可GPU纯 API 调用不需要 GPU如本地跑小模型备用需独立显卡3.2 创建项目目录和虚拟环境不管用哪个系统先建一个独立目录避免文件散落。mkdir openai-math-handbook cd openai-math-handbook创建虚拟环境python -m venv venv激活虚拟环境Windows PowerShell.\venv\Scripts\Activate.ps1Linux / macOSsource venv/bin/activate3.3 安装依赖需要安装的基础包包括 OpenAI Python SDK、dotenv管理环境变量、以及可选的 pandas用来做批量结果分析。pip install -U openai python-dotenv pandas如果希望输出格式更整齐可以额外安装 richpip install -U rich安装完成后可以用下面的命令确认 SDK 版本pip show openai这里不固定版本号因为 OpenAI SDK 更新比较频繁建议以 pip 自动解析到的最新稳定版为准。3.4 配置 API Key在项目目录下创建.env文件填入自己的 KeyOPENAI_API_KEYsk-你的Key OPENAI_BASE_URLhttps://api.openai.com/v1然后把.env加入.gitignore防止误提交echo .env .gitignore这里有个工程习惯建议不要把 Key 写进代码文件也不要写进测试脚本统一从环境变量读取。后面所有批量任务都要依赖这一层配置。4. 启动与调用流程环境准备好之后先跑通最小调用再逐步引入数学推理任务、编程任务、批量任务。整个过程可以理解为“先确认 API 通再确认模型能回答问题再确认能完成复杂任务”。4.1 最小 API 调用测试创建test_connection.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) response client.chat.completions.create( modelgpt-5, messages[ {role: user, content: 请用一句话介绍你自己。} ] ) print(response.choices[0].message.content)运行python test_connection.py能正常打印内容说明 API 链路是通的。如果这一步失败后面所有任务都不需要继续先排查网络和 Key。注意这里的model参数需要根据你自己账号可用的模型名来替换。我写的是gpt-5不同时期账号可用的模型名可能不同务必以官方模型列表为准。更稳妥的办法是先调用模型列表接口models client.models.list() for model in models: print(model.id)看到返回的模型 ID 后再填到代码里。4.2 数学推理任务测试API 通了之后找一道有明确答案的数学题测试模型的推理能力。创建test_math.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) prompt 证明对于任意正整数 n7^n - 1 可以被 6 整除。 response client.chat.completions.create( modelgpt-5, messages[ {role: user, content: prompt} ], temperature0.2 ) print(response.choices[0].message.content)运行python test_math.py判断成功标准模型给出了完整的数学归纳法证明。证明过程中没有跳步。结论正确且可验证。如果失败可以调整提示词增加“请使用数学归纳法”“请逐步推理并验证每一步”等指令。4.3 多轮对话与追问验证数学推理不能只问一次要有追问机制。创建test_math_multi.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) messages [ {role: user, content: 设 x y 5xy 6求 x^2 y^2。}, ] for turn in range(3): response client.chat.completions.create( modelgpt-5, messagesmessages, temperature0.2 ) reply response.choices[0].message.content print(f--- 第 {turn1} 轮 ---) print(reply) print() messages.append({role: assistant, content: reply}) messages.append({role: user, content: 请检查你的推理过程如果错误请修正。})这个脚本模拟了“模型推理 → 人工追问 → 模型修正”的过程。实际使用中等式类简单题不容易错但复杂证明题经过追问确认能显著降低错误率。4.4 代码任务与工具调用测试手稿和 Codex harness 的核心之一是让模型不仅能“思考”还能“执行”——写出代码、运行代码、看结果、再修正。我们可以在本地用脚本模拟这个循环。创建test_code_agent.pyimport os import subprocess from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) prompt 写一个 Python 函数输入一个整数返回它的质因数分解结果。要求函数名为 prime_factors返回列表。python test_code_agent.py如果 API 调用正常会返回一段 Python 代码。把这个代码保存下来先运行一次python -c from test_generated import prime_factors; print(prime_factors(84))预期输出是[2, 2, 3, 7]或类似结果取决于实现。这个流程模拟的正是 Codex harness 的“生成代码 → 本地执行 → 验证结果”闭环。真正完整的 Codex harness 自动化程度更高它会自动创建容器环境、自动执行测试、根据报错信息自动修改代码并重新提交。如果你要在本地复现可以用 Docker 做隔离环境docker run --rm -v $(pwd)/workspace:/workspace python:3.11-slim python /workspace/script.py5. 功能测试与效果验证每次测试都要有明确的输入、执行步骤、预期输出和判断标准不能“跑一次看个热闹”。5.1 数学推理能力测试用例测试项输入示例预期结果判断标准数论证明证明任意奇数平方减 1 可被 8 整除完整证明过程正确、无跳步代数题已知 a b c 0求 a^3 b^3 c^3 与 3abc 的关系输出恒等式结果可代入验证几何题求三角形内切圆半径公式给出公式及推导过程与公式一致组合数学证明 1^2 2^2 ... n^2 n(n1)(2n1)/6完整归纳法证明关键步骤齐全逻辑推理三个人各说一句话判断谁说真话给出唯一结论结论符合逻辑约束5.2 OpenAI Codex 编程任务测试用例测试项输入示例预期结果判断标准函数实现实现二分查找返回正确索引多个测试用例通过代码解释给一段回溯算法解释执行流程清晰解释调用栈变化描述与代码一致代码重构把两层循环改成字典计数时间复杂度和空间复杂度优化测试结果一致测试生成给指定函数生成单测生成 pytest 代码测试运行通过调试修复给一段有 bug 的代码并附报错定位错误并修复修复后运行通过5.3 批量任务测试单条测试通过不等于批量可靠。批量测试要重点看三件事成功率、延迟分布、失败原因归类。创建batch_test.pyimport os import json import time from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) questions [ 证明 6 能整除 n^3 - nn 为任意整数。, 求函数 f(x) x^3 - 3x 1 的极值点。, 判断 2^100 是几位数。, 证明根号 2 是无理数。, 求 1 1/4 1/9 ... 1/n^2 当 n 趋于无穷的极限。 ] results [] for i, q in enumerate(questions, 1): start time.time() try: response client.chat.completions.create( modelgpt-5, messages[{role: user, content: q}], temperature0.2 ) answer response.choices[0].message.content.strip() elapsed round(time.time() - start, 2) results.append({ id: i, question: q, answer: answer, elapsed: elapsed, status: success }) print(f[{i}] 耗时 {elapsed}s答案长度 {len(answer)} 字符) except Exception as e: results.append({ id: i, question: q, error: str(e), status: failed }) print(f[{i}] 失败{e}) with open(batch_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(批量测试完成结果写入 batch_result.json)运行python batch_test.py完成之后可以用 pandas 快速统计import pandas as pd df pd.read_json(batch_result.json) print(df[status].value_counts()) print(df[elapsed].describe())6. 接口 API 与批量任务编排手动一条条提问效率太低真实使用场景里要把 API 调用组装成可复用的工具服务。6.1 通用 API 请求封装创建ai_client.pyimport os import time from openai import OpenAI from dotenv import load_dotenv load_dotenv() class AIAssistant: def __init__(self, modelgpt-5): self.client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) self.model model def ask(self, prompt, temperature0.2, max_retries3): for attempt in range(max_retries): try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperaturetemperature ) return response.choices[0].message.content.strip() except Exception as e: print(f[{attempt1}] 请求失败{e}) if attempt max_retries - 1: time.sleep(2 ** attempt) return None6.2 JSON 输出与结构化返回数学推理结果往往需要后续处理所以要模型输出 JSON 格式便于程序消费。import json prompt 让模型返回以下题目的答案输出 JSON 格式 { question: 题目, answer: 最终答案, proof: 证明过程 } 题目证明 n^2 n 是偶数。 response assistant.ask(prompt) data json.loads(response) print(data)注意直接让模型输出 JSON 偶尔会夹杂多余文字更稳妥的做法是在 prompt 里明确写“只输出 JSON不要输出其他解释”。如果仍然解析失败可以用正则提取 JSON 部分或要求模型把 JSON 放在代码块中。6.3 批量任务队列设计批量提交任务时要设计好任务文件格式、状态标记和重试机制。建议用 CSV 作为任务输入示例如下id,prompt,temperature 1,证明 n^3 - n 被 6 整除,0.2 2,求 1 到 100 的质数和,0.2 3,设计一个 LRU 缓存实现,0.3然后写一个批量处理脚本逐行读取并记录结果import csv import time from ai_client import AIAssistant assistant AIAssistant() with open(tasks.csv, r, encodingutf-8) as f: reader csv.DictReader(f) tasks list(reader) output_file output.csv with open(output_file, w, encodingutf-8, newline) as f: writer csv.writer(f) writer.writerow([id, status, answer, elapsed]) for task in tasks: start time.time() answer assistant.ask(task[prompt], temperaturefloat(task[temperature])) elapsed round(time.time() - start, 2) status success if answer else failed writer.writerow([task[id], status, answer, elapsed]) print(f任务 {task[id]} 完成状态 {status}耗时 {elapsed}s) time.sleep(1)在批量任务里加time.sleep(1)是为了降低触发限流的概率。如果你的账号 QPM 额度较高可以去掉或调小。7. 资源占用与性能观察这次任务以 API 调用为主本机资源占用很低。但如果你要跑 Codex harness 或者本地模型性能观察就很重要了。7.1 API 调用场景主要看三个指标单次请求延迟简单数学题一般在几秒到几十秒之间复杂证明题可能超过一分钟。延迟受模型版本、请求排队、网络质量影响。并发请求数并发越高单请求延迟可能越高因为 API 服务有限流和排队机制。Token 消耗复杂数学推理任务会消耗大量推理 Token尤其是模型在内部生成“思考过程”时。单次请求可能消耗几千 Token批量任务前先做成本预算。观察方法response client.chat.completions.create(...) print(response.usage)response.usage会返回prompt_tokens、completion_tokens、total_tokens直接记录即可。7.2 本地模型推理场景如果未来你有机会在本地部署类似推理模型需要关注显存推理模型在生成长推理链时KV Cache 占用会持续增长显存占用可能远高于普通对话模型。实际占用以本机测试为准。内存如果没有 GPU 或显存不足系统会用内存换显存速度会明显下降。推理时间数学题可能涉及几百到几千步推理生成时间比普通问答长很多。并发本地并发很低通常一个显卡只能跑一个批次。不建议本地直接开高并发。观察方法nvidia-smi -l 2-l 2表示每 2 秒刷新一次。跑任务时盯着显存占用和 GPU 使用率就能判断瓶颈在哪。7.3 推理优化技巧降低输入长度prompt 越短首 Token 响应越快。控制输出长度设置了max_tokens后复杂证明题可能被截断需要平衡。分批处理不能所有题目一次性提交建议按 5-20 个一组分批执行。延迟与成本权衡如果只是验证思路用低 temperature 采样一到两次即可如果追求答案稳定可以多次采样并投票但成本成倍增加。8. 常见问题与排查方法问题现象可能原因排查方式解决方案API 调用报 401Key 错误或已失效检查.env配置和 Key 是否可访问重新申请或更换 KeyAPI 调用报 429触发限流或额度不足查看返回头中的限流字段降低请求频率等待后重试模型名不存在账号没有该模型权限调用模型列表接口核对换成可用模型名请求超时网络波动或复杂任务耗时过长检查网络增加 timeout把 timeout 调大到 300 秒模型输出乱码或截断输出长度限制查看返回的 finish_reason增大 max_tokens 或拆分子任务本地代码生成后运行失败缺少依赖或缩进错误看报错堆栈先手动修复再让模型修正批量任务中途失败单条任务异常导致脚本中断检查 CSV 输出和日志增加 try-except 和断点续跑JSON 解析失败模型输出带多余解释打印原始输出用正则提取 JSON 或强化 prompt结果时好时坏temperature 过高导致随机性大多次运行对比调低 temperature固定随机种子成本快速上升复杂任务重复采样过多看 usage 数据减少采样次数精简 prompt9. 最佳实践与使用建议把这套流程跑通之后有三个工程建议值得长期坚持。9.1 先小后大建立基线第一次不要求“破难题”先跑 5-10 道简单题记录延迟和 Token 消耗建立性能基线。基线稳定了再上复杂题目方便判断问题到底出在模型能力、prompt 设计还是环境配置上。9.2 prompt 模板化与版本管理数学推理、代码生成、代码解释是三类不同的任务建议每个任务一个 prompt 模板文件放到prompts/目录下每次修改都记录版本。例如prompts/ math_proof.txt code_generation.txt code_review.txt batch_runner.py模板统一管理批量任务才能复用。9.3 结果可追溯每次任务保存三样东西原始输入、模型输出、任务元信息时间、模型、temperature、token 用量。这样后面做质量评测或成本复盘时有据可查。record { prompt: prompt, output: output, model: model, timestamp: timestamp, temperature: temperature, usage: usage }9.4 接口服务隔离如果要把这套能力封装成服务给团队用不要把 API Key 直接暴露给前端也不要直接让用户任意输入 prompt。建议加一层网关限制 IP、限制单用户调用频率、记录请求日志防止 Key 被刷爆。9.5 版权与合规红线再次强调AI 生成的代码、证明、文档都应视为“需要人工复核的草稿”不能直接作为正式交付物。尤其涉及开源许可证、学术发表、商业产品时必须做版权审查和授权确认。不要使用来路不明的共享 Key 或代理接口避免安全和合规风险。10. 总结与下一步这次 OpenAI 公开手稿的看点不在“62 页”这个数字而在于它展示了 AI 解决高难度数学问题的完整技术闭环模型提出思路工具执行验证反馈修正结果。Codex harness 开源之后这套闭环已经部分变成开发者可以动手用的工具链。对你来说下一步最值得做的事情是三件第一准备一个 API Key跑通最小案例先确认链路可用。第二把手稿里的数学推理和代码生成能力接到你自己的评测集或编程工作流里别停留在看别人的解读自己记录一组延迟和 Token 数据。第三搭一个批量评测脚本把你关心的任务类型跑一遍用数据判断这个模型在你的场景里到底好不好用。最容易踩的坑是以为模型能直接输出可信证明就直接拿去用。实际上AI 数学推理结果的可靠性需要反复验证最稳妥的做法是让模型输出代码或可检验的推导步骤再用程序自动验证。接下来你可以继续探索的方向包括把 Codex harness 的“写代码 → 跑测试 → 改 bug”循环接进自己的 CI/CD 流程用多次采样 投票机制提高数学推理答案的稳定性或者做一套 prompt 评测集持续对比不同模型在数学推理任务上的表现。建议收藏备用后面需要做 AI 推理评测或 agent 开发时再翻出这套流程对照着搭。
先说结论OpenAI 这次公开的 62 页手稿核心价值不在“62”这个页数而在于它把 AI 在数学推理、代码生成和 agent 任务执行上的技术路径摊开了。配合 Codex harness 的开源开发者现在不只是看热闹而是真的能拿到工具链去验证“AI 连破数学难题”这件事到底是怎么发生的。这篇文章会做三件事第一把这次公开手稿和开源 Codex harness 的技术背景拆清楚说明它跟普通 AI 编程工具有什么区别第二给出一套可落地的本地部署和 API 调用流程重点覆盖环境准备、接口调用、批量任务和效果验证第三整理 AI agent 在数学推理、代码生成、自动化任务中的资源占用、性能观察和常见问题排查思路。不管你是做 AI 应用开发、研究推理模型评测还是想把手稿里的思路用到自己的编程工作流里这篇文章都值得收藏。1. 核心能力速览先把这次事件的关键信息整理成一张表方便快速判断它跟你手头工作的关联度。能力项说明项目来源OpenAI 公开 62 页技术手稿并开源 Codex harness 工具链核心突破AI 在多个“菲尔兹奖级”数学难题上实现自动证明和验证主要功能数学推理、代码生成、agent 任务执行、自动化验证关键技术Codex harness、工具调用、模型循环、自动反馈开源内容Codex harness 相关工具链需按官方仓库确认硬件要求云端 API 调用本地几乎无要求本地模型需较高显存量级需实测启动方式API 调用 / 本地开发环境配置是否支持 API是通过 OpenAI API 兼容接口调用是否支持批量任务可用脚本批量提交推理任务需注意限流适合场景AI 编程、数学推理研究、agent 开发、自动化评测这里要特别说明一点网上很多标题把“OpenAI 公开手稿”理解成“模型开源了”这不对。OpenAI 这次公开的是技术报告和部分工具链不是把模型权重全部放出来。实际想要复现“连破数学难题”的效果主流路径还是通过 API 调用 自己搭建验证脚本而不是在普通显卡上直接跑一个完整模型。2. 适用场景与使用边界在动手之前先想清楚这个东西到底适合谁用、不适合谁用可以少走很多弯路。2.1 适合哪些场景AI 数学推理研究如果你想验证当前模型到底能不能做符号推导、定理证明、复杂逻辑推理这次公开的手稿提供了很多测试思路和评测维度照着它设计自己的评测集会比拍脑袋提问靠谱得多。AI 编程工作流Codex 系列本身就是 OpenAI 的编程 agent开源 harness 之后你可以把“模型 执行器 反馈循环”这套模式搬到自己的项目里实现自动写代码、自动跑测试、自动修 bug 的闭环。agent 开发手稿里大量的工具调用、多步推理、结果验证流程本质上就是 agent 开发的工程实践。自己做 agent 时可以把这些流程当成模板。自动化评测和批量任务以前人工逐条测试 prompt 效果太慢现在可以用脚本批量提交、批量收集结果、自动对比分数。2.2 不推荐哪些场景想在本地免费复现完整模型不现实。这类推理模型参数规模大普通消费级显卡即使能加载推理速度也会慢到不可用。想直接拿到完整手稿原文并逐字分析如果你没有技术报告的全文权限网上流传的更多是摘要和解读不能拿二手转述当作一手事实。对实时性和成本敏感的生产环境API 调用有网络延迟而且 AI 数学推理任务通常需要多次采样和验证单个任务可能消耗较长时间不适合放在高频实时链路里。2.3 使用边界与合规提醒这次事件涉及的内容安全边界很明确所有 API 调用需使用自己的账号和 Key按官方计费规则使用不要使用来路不明的共享 Key。涉及代码生成时要审查生成代码的版权和许可证尤其是用于商业项目前。数学证明和代码结果需要人工复核AI 仍然可能产生看似正确但逻辑错误的内容。不要拿这个能力去做自动化学术造假、批量代写论文、绕过考试等违规行为。如果要将结果公开发布或商用注意保留测试记录和追溯能力。3. 环境准备与前置条件这次任务不是“下载一个整合包双击就能跑”的类型而是“API 调用 脚本编排 结果验证”的工程流程。所以环境准备要按开发项目来做不复杂但要做干净。3.1 推荐环境清单组件说明操作系统Windows 10/11、Ubuntu 20.04、macOS 均可Python3.10 或更高版本包管理工具pip 或 condaAPI Key需要准备可用的 OpenAI API Key并确认有对应模型访问权限网络环境能正常访问 API 服务即可本地硬盘代码项目、日志、输出结果预留 10GB 以上即可GPU纯 API 调用不需要 GPU如本地跑小模型备用需独立显卡3.2 创建项目目录和虚拟环境不管用哪个系统先建一个独立目录避免文件散落。mkdir openai-math-handbook cd openai-math-handbook创建虚拟环境python -m venv venv激活虚拟环境Windows PowerShell.\venv\Scripts\Activate.ps1Linux / macOSsource venv/bin/activate3.3 安装依赖需要安装的基础包包括 OpenAI Python SDK、dotenv管理环境变量、以及可选的 pandas用来做批量结果分析。pip install -U openai python-dotenv pandas如果希望输出格式更整齐可以额外安装 richpip install -U rich安装完成后可以用下面的命令确认 SDK 版本pip show openai这里不固定版本号因为 OpenAI SDK 更新比较频繁建议以 pip 自动解析到的最新稳定版为准。3.4 配置 API Key在项目目录下创建.env文件填入自己的 KeyOPENAI_API_KEYsk-你的Key OPENAI_BASE_URLhttps://api.openai.com/v1然后把.env加入.gitignore防止误提交echo .env .gitignore这里有个工程习惯建议不要把 Key 写进代码文件也不要写进测试脚本统一从环境变量读取。后面所有批量任务都要依赖这一层配置。4. 启动与调用流程环境准备好之后先跑通最小调用再逐步引入数学推理任务、编程任务、批量任务。整个过程可以理解为“先确认 API 通再确认模型能回答问题再确认能完成复杂任务”。4.1 最小 API 调用测试创建test_connection.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) response client.chat.completions.create( modelgpt-5, messages[ {role: user, content: 请用一句话介绍你自己。} ] ) print(response.choices[0].message.content)运行python test_connection.py能正常打印内容说明 API 链路是通的。如果这一步失败后面所有任务都不需要继续先排查网络和 Key。注意这里的model参数需要根据你自己账号可用的模型名来替换。我写的是gpt-5不同时期账号可用的模型名可能不同务必以官方模型列表为准。更稳妥的办法是先调用模型列表接口models client.models.list() for model in models: print(model.id)看到返回的模型 ID 后再填到代码里。4.2 数学推理任务测试API 通了之后找一道有明确答案的数学题测试模型的推理能力。创建test_math.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) prompt 证明对于任意正整数 n7^n - 1 可以被 6 整除。 response client.chat.completions.create( modelgpt-5, messages[ {role: user, content: prompt} ], temperature0.2 ) print(response.choices[0].message.content)运行python test_math.py判断成功标准模型给出了完整的数学归纳法证明。证明过程中没有跳步。结论正确且可验证。如果失败可以调整提示词增加“请使用数学归纳法”“请逐步推理并验证每一步”等指令。4.3 多轮对话与追问验证数学推理不能只问一次要有追问机制。创建test_math_multi.pyimport os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) messages [ {role: user, content: 设 x y 5xy 6求 x^2 y^2。}, ] for turn in range(3): response client.chat.completions.create( modelgpt-5, messagesmessages, temperature0.2 ) reply response.choices[0].message.content print(f--- 第 {turn1} 轮 ---) print(reply) print() messages.append({role: assistant, content: reply}) messages.append({role: user, content: 请检查你的推理过程如果错误请修正。})这个脚本模拟了“模型推理 → 人工追问 → 模型修正”的过程。实际使用中等式类简单题不容易错但复杂证明题经过追问确认能显著降低错误率。4.4 代码任务与工具调用测试手稿和 Codex harness 的核心之一是让模型不仅能“思考”还能“执行”——写出代码、运行代码、看结果、再修正。我们可以在本地用脚本模拟这个循环。创建test_code_agent.pyimport os import subprocess from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) prompt 写一个 Python 函数输入一个整数返回它的质因数分解结果。要求函数名为 prime_factors返回列表。python test_code_agent.py如果 API 调用正常会返回一段 Python 代码。把这个代码保存下来先运行一次python -c from test_generated import prime_factors; print(prime_factors(84))预期输出是[2, 2, 3, 7]或类似结果取决于实现。这个流程模拟的正是 Codex harness 的“生成代码 → 本地执行 → 验证结果”闭环。真正完整的 Codex harness 自动化程度更高它会自动创建容器环境、自动执行测试、根据报错信息自动修改代码并重新提交。如果你要在本地复现可以用 Docker 做隔离环境docker run --rm -v $(pwd)/workspace:/workspace python:3.11-slim python /workspace/script.py5. 功能测试与效果验证每次测试都要有明确的输入、执行步骤、预期输出和判断标准不能“跑一次看个热闹”。5.1 数学推理能力测试用例测试项输入示例预期结果判断标准数论证明证明任意奇数平方减 1 可被 8 整除完整证明过程正确、无跳步代数题已知 a b c 0求 a^3 b^3 c^3 与 3abc 的关系输出恒等式结果可代入验证几何题求三角形内切圆半径公式给出公式及推导过程与公式一致组合数学证明 1^2 2^2 ... n^2 n(n1)(2n1)/6完整归纳法证明关键步骤齐全逻辑推理三个人各说一句话判断谁说真话给出唯一结论结论符合逻辑约束5.2 OpenAI Codex 编程任务测试用例测试项输入示例预期结果判断标准函数实现实现二分查找返回正确索引多个测试用例通过代码解释给一段回溯算法解释执行流程清晰解释调用栈变化描述与代码一致代码重构把两层循环改成字典计数时间复杂度和空间复杂度优化测试结果一致测试生成给指定函数生成单测生成 pytest 代码测试运行通过调试修复给一段有 bug 的代码并附报错定位错误并修复修复后运行通过5.3 批量任务测试单条测试通过不等于批量可靠。批量测试要重点看三件事成功率、延迟分布、失败原因归类。创建batch_test.pyimport os import json import time from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) questions [ 证明 6 能整除 n^3 - nn 为任意整数。, 求函数 f(x) x^3 - 3x 1 的极值点。, 判断 2^100 是几位数。, 证明根号 2 是无理数。, 求 1 1/4 1/9 ... 1/n^2 当 n 趋于无穷的极限。 ] results [] for i, q in enumerate(questions, 1): start time.time() try: response client.chat.completions.create( modelgpt-5, messages[{role: user, content: q}], temperature0.2 ) answer response.choices[0].message.content.strip() elapsed round(time.time() - start, 2) results.append({ id: i, question: q, answer: answer, elapsed: elapsed, status: success }) print(f[{i}] 耗时 {elapsed}s答案长度 {len(answer)} 字符) except Exception as e: results.append({ id: i, question: q, error: str(e), status: failed }) print(f[{i}] 失败{e}) with open(batch_result.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(批量测试完成结果写入 batch_result.json)运行python batch_test.py完成之后可以用 pandas 快速统计import pandas as pd df pd.read_json(batch_result.json) print(df[status].value_counts()) print(df[elapsed].describe())6. 接口 API 与批量任务编排手动一条条提问效率太低真实使用场景里要把 API 调用组装成可复用的工具服务。6.1 通用 API 请求封装创建ai_client.pyimport os import time from openai import OpenAI from dotenv import load_dotenv load_dotenv() class AIAssistant: def __init__(self, modelgpt-5): self.client OpenAI( api_keyos.getenv(OPENAI_API_KEY), base_urlos.getenv(OPENAI_BASE_URL) ) self.model model def ask(self, prompt, temperature0.2, max_retries3): for attempt in range(max_retries): try: response self.client.chat.completions.create( modelself.model, messages[{role: user, content: prompt}], temperaturetemperature ) return response.choices[0].message.content.strip() except Exception as e: print(f[{attempt1}] 请求失败{e}) if attempt max_retries - 1: time.sleep(2 ** attempt) return None6.2 JSON 输出与结构化返回数学推理结果往往需要后续处理所以要模型输出 JSON 格式便于程序消费。import json prompt 让模型返回以下题目的答案输出 JSON 格式 { question: 题目, answer: 最终答案, proof: 证明过程 } 题目证明 n^2 n 是偶数。 response assistant.ask(prompt) data json.loads(response) print(data)注意直接让模型输出 JSON 偶尔会夹杂多余文字更稳妥的做法是在 prompt 里明确写“只输出 JSON不要输出其他解释”。如果仍然解析失败可以用正则提取 JSON 部分或要求模型把 JSON 放在代码块中。6.3 批量任务队列设计批量提交任务时要设计好任务文件格式、状态标记和重试机制。建议用 CSV 作为任务输入示例如下id,prompt,temperature 1,证明 n^3 - n 被 6 整除,0.2 2,求 1 到 100 的质数和,0.2 3,设计一个 LRU 缓存实现,0.3然后写一个批量处理脚本逐行读取并记录结果import csv import time from ai_client import AIAssistant assistant AIAssistant() with open(tasks.csv, r, encodingutf-8) as f: reader csv.DictReader(f) tasks list(reader) output_file output.csv with open(output_file, w, encodingutf-8, newline) as f: writer csv.writer(f) writer.writerow([id, status, answer, elapsed]) for task in tasks: start time.time() answer assistant.ask(task[prompt], temperaturefloat(task[temperature])) elapsed round(time.time() - start, 2) status success if answer else failed writer.writerow([task[id], status, answer, elapsed]) print(f任务 {task[id]} 完成状态 {status}耗时 {elapsed}s) time.sleep(1)在批量任务里加time.sleep(1)是为了降低触发限流的概率。如果你的账号 QPM 额度较高可以去掉或调小。7. 资源占用与性能观察这次任务以 API 调用为主本机资源占用很低。但如果你要跑 Codex harness 或者本地模型性能观察就很重要了。7.1 API 调用场景主要看三个指标单次请求延迟简单数学题一般在几秒到几十秒之间复杂证明题可能超过一分钟。延迟受模型版本、请求排队、网络质量影响。并发请求数并发越高单请求延迟可能越高因为 API 服务有限流和排队机制。Token 消耗复杂数学推理任务会消耗大量推理 Token尤其是模型在内部生成“思考过程”时。单次请求可能消耗几千 Token批量任务前先做成本预算。观察方法response client.chat.completions.create(...) print(response.usage)response.usage会返回prompt_tokens、completion_tokens、total_tokens直接记录即可。7.2 本地模型推理场景如果未来你有机会在本地部署类似推理模型需要关注显存推理模型在生成长推理链时KV Cache 占用会持续增长显存占用可能远高于普通对话模型。实际占用以本机测试为准。内存如果没有 GPU 或显存不足系统会用内存换显存速度会明显下降。推理时间数学题可能涉及几百到几千步推理生成时间比普通问答长很多。并发本地并发很低通常一个显卡只能跑一个批次。不建议本地直接开高并发。观察方法nvidia-smi -l 2-l 2表示每 2 秒刷新一次。跑任务时盯着显存占用和 GPU 使用率就能判断瓶颈在哪。7.3 推理优化技巧降低输入长度prompt 越短首 Token 响应越快。控制输出长度设置了max_tokens后复杂证明题可能被截断需要平衡。分批处理不能所有题目一次性提交建议按 5-20 个一组分批执行。延迟与成本权衡如果只是验证思路用低 temperature 采样一到两次即可如果追求答案稳定可以多次采样并投票但成本成倍增加。8. 常见问题与排查方法问题现象可能原因排查方式解决方案API 调用报 401Key 错误或已失效检查.env配置和 Key 是否可访问重新申请或更换 KeyAPI 调用报 429触发限流或额度不足查看返回头中的限流字段降低请求频率等待后重试模型名不存在账号没有该模型权限调用模型列表接口核对换成可用模型名请求超时网络波动或复杂任务耗时过长检查网络增加 timeout把 timeout 调大到 300 秒模型输出乱码或截断输出长度限制查看返回的 finish_reason增大 max_tokens 或拆分子任务本地代码生成后运行失败缺少依赖或缩进错误看报错堆栈先手动修复再让模型修正批量任务中途失败单条任务异常导致脚本中断检查 CSV 输出和日志增加 try-except 和断点续跑JSON 解析失败模型输出带多余解释打印原始输出用正则提取 JSON 或强化 prompt结果时好时坏temperature 过高导致随机性大多次运行对比调低 temperature固定随机种子成本快速上升复杂任务重复采样过多看 usage 数据减少采样次数精简 prompt9. 最佳实践与使用建议把这套流程跑通之后有三个工程建议值得长期坚持。9.1 先小后大建立基线第一次不要求“破难题”先跑 5-10 道简单题记录延迟和 Token 消耗建立性能基线。基线稳定了再上复杂题目方便判断问题到底出在模型能力、prompt 设计还是环境配置上。9.2 prompt 模板化与版本管理数学推理、代码生成、代码解释是三类不同的任务建议每个任务一个 prompt 模板文件放到prompts/目录下每次修改都记录版本。例如prompts/ math_proof.txt code_generation.txt code_review.txt batch_runner.py模板统一管理批量任务才能复用。9.3 结果可追溯每次任务保存三样东西原始输入、模型输出、任务元信息时间、模型、temperature、token 用量。这样后面做质量评测或成本复盘时有据可查。record { prompt: prompt, output: output, model: model, timestamp: timestamp, temperature: temperature, usage: usage }9.4 接口服务隔离如果要把这套能力封装成服务给团队用不要把 API Key 直接暴露给前端也不要直接让用户任意输入 prompt。建议加一层网关限制 IP、限制单用户调用频率、记录请求日志防止 Key 被刷爆。9.5 版权与合规红线再次强调AI 生成的代码、证明、文档都应视为“需要人工复核的草稿”不能直接作为正式交付物。尤其涉及开源许可证、学术发表、商业产品时必须做版权审查和授权确认。不要使用来路不明的共享 Key 或代理接口避免安全和合规风险。10. 总结与下一步这次 OpenAI 公开手稿的看点不在“62 页”这个数字而在于它展示了 AI 解决高难度数学问题的完整技术闭环模型提出思路工具执行验证反馈修正结果。Codex harness 开源之后这套闭环已经部分变成开发者可以动手用的工具链。对你来说下一步最值得做的事情是三件第一准备一个 API Key跑通最小案例先确认链路可用。第二把手稿里的数学推理和代码生成能力接到你自己的评测集或编程工作流里别停留在看别人的解读自己记录一组延迟和 Token 数据。第三搭一个批量评测脚本把你关心的任务类型跑一遍用数据判断这个模型在你的场景里到底好不好用。最容易踩的坑是以为模型能直接输出可信证明就直接拿去用。实际上AI 数学推理结果的可靠性需要反复验证最稳妥的做法是让模型输出代码或可检验的推导步骤再用程序自动验证。接下来你可以继续探索的方向包括把 Codex harness 的“写代码 → 跑测试 → 改 bug”循环接进自己的 CI/CD 流程用多次采样 投票机制提高数学推理答案的稳定性或者做一套 prompt 评测集持续对比不同模型在数学推理任务上的表现。建议收藏备用后面需要做 AI 推理评测或 agent 开发时再翻出这套流程对照着搭。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
