Chain Of Thought (CoT) 第一作者、从谷歌跳槽到 OpenAI 的 Jason Wei 分享了自己在 OpenAI 的一天 > [9:00am] 起床 [9:30am] 搭乘 Waymo 前往 Mission SF，途中在 Tartine 买个牛油果吐司 [9:45am] 背诵 OpenAI 章程。向优化之神致敬，学习《The Bitter Lession》强化学习之父 Rich Sutton 著 [10:00am] 在 Google Meet 上开会，讨论如何在更多数据上训练更大的模型 [11:00am] 敲代码，在更多数据上训练更大的模型。搭档是 Hyung Won Chung [12:00pm] 去食堂吃午饭纯素且无麸质 [1:00pm] 真正开始在大量数据上训练大模型 [2:00pm] 处理基础设施问题我是脑子被驴踢了吗为啥要从 master 分支拉代码？ [3:00pm] 监控模型训练进度，玩 Sora [4:00pm] 给刚才训练的大模型上提示工程 [4:30pm] 短暂休息，坐在牛油果椅子上，思考 Gemini Ultra 的性能到底有多强 [5:00pm] 头脑风暴模型可能的算法改进 [5:05pm] 修改算法风险太高，pass。最安全的策略还是力大砖飞增加算力和数据规模 [6:00pm] 晚餐时间，和 Roon 一起享用蛤蜊浓汤 [7:00pm] 回家 [8:00pm] 喝点小酒，继续写码。Ballmers peak酒精带来的编码高效阶段即将到来 [9:00pm] 分析实验结果，我对 wandb 又爱又恨 [10:00pm] 启动实验，让它自己跑一晚上，第二天查看结果 [1:00am] 实验真正开始运行 [1:15am] 上床睡觉。在纳德拉和黄仁勋的守护下入梦。心想压缩才是真谛。晚安 https://twitter.com/_jasonwei/status/1760032264120041684