我可能是全網(wǎng)第一個(gè)花錢向 GPT-o1 提問(wèn)，人在深圳靠一條網(wǎng)線橫跨太平洋到美國(guó)硅谷讓 OpenAI 強(qiáng)大模型 GPT-o1 模型思考 38 秒之后、宕機(jī)了半小時(shí)選擇拒絕回答問(wèn)題并收了我2.5塊（一瓶肥宅快樂(lè)水）的韭菜......
（因?yàn)檫@個(gè)模型只支持訂閱使用并且一個(gè)月只回復(fù)120條內(nèi)容，plus會(huì)員訂閱費(fèi)1個(gè)月20美刀，約等于1.25軟妹幣1條回答......）
OpenAI 今天凌晨突擊更新 GPT-o1，早上起來(lái)全網(wǎng)都在開(kāi)香檳，大意就是突破了LLM極限，新模型能力在生物、物理比肩甚至超越人類博士生。另一個(gè)特性就是 o1 模型會(huì)用更長(zhǎng)的時(shí)間思考以此來(lái)盡可能完善的回答問(wèn)題。
針對(duì)上面提到的兩個(gè)特性，小編找了幾個(gè)需要強(qiáng)綜合邏輯思考能力并包含物理、生物、數(shù)學(xué)能力的題目來(lái)測(cè)試GPT-o1 的能力到底如何。以下是題目設(shè)置：
數(shù)學(xué)題測(cè)試
「人力顯卡」所有人類都用筆算/心算產(chǎn)生的算力能否推翻英偉達(dá)的統(tǒng)治？
「鈔票打印機(jī)」如果我的家用打印機(jī)能夠打印美元，我能比馬斯克有錢嗎？
綜合性物理題
「人力地震」地球上所有人在同一個(gè)地方同時(shí)起跳落地，地球會(huì)發(fā)生什么？
「機(jī)槍飛行背包」用向下射擊的機(jī)槍能組裝成一個(gè)飛行背包讓人飛天嗎？
「世界末日」如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動(dòng)，但大氣層還是保持原來(lái)的速度，會(huì)怎樣?
生物題
「不孕不育會(huì)遺傳不？」如果一個(gè)人體內(nèi)所有的DNA在一瞬間消失了，會(huì)發(fā)生什么？
另外本文章分為：獨(dú)立測(cè)試、橫評(píng)對(duì)比存在的問(wèn)題、值不值得氪金。小伙伴們可以按需快速前往相應(yīng)版塊。
數(shù)學(xué)題測(cè)試
問(wèn)題1「人力顯卡」
全球所有的人類放下手中工作然后參與到計(jì)算中能產(chǎn)生多少算力？這些計(jì)算能力和現(xiàn)代的計(jì)算機(jī)或智能手機(jī)相比誰(shuí)更厲害呢?（沒(méi)錯(cuò)，這次全人類對(duì)英偉達(dá)發(fā)起的一次總攻?。。。?span style="display:none">9IA驛資訊
這算是一道比較簡(jiǎn)單的數(shù)學(xué)和邏輯推理題，o1思考了11秒，得出的結(jié)論是全人類心算/筆算的算力總和約8 GFLOPS。
在咨詢完愛(ài)搞機(jī)的小伙伴之后，80億人類只是做心算/筆算的話那么產(chǎn)生8GFLOPS 的算力大概就是略高于蘋果發(fā)布于 2010 年搭載 A4 芯片算力 6.8 GFLOPS 的 iphone4。
以GPT-3訓(xùn)練為例，它需要數(shù)千個(gè)GPU，持續(xù)數(shù)周，計(jì)算量達(dá)到 數(shù)百PFLOPS天(即每天數(shù)千萬(wàn)億次浮點(diǎn)運(yùn)算，持續(xù)數(shù)天。老黃繼續(xù)安心賣顯卡吧~
問(wèn)題2「鈔票打印機(jī)」
如果我的家用打印機(jī)能夠打印出紙幣，這會(huì)對(duì)世界有多大影響?
隱藏測(cè)試點(diǎn)：
考察GPT-o1對(duì)家用打印機(jī)的打印速度有了解
家用打印機(jī)通常只能打印A4紙大小，一張A4紙的版面大概能同時(shí)打印4張百元美鈔
這道題其實(shí)GPT-o1的回答還是挺厲害的。它識(shí)別到了打印能力被限制在家用打印機(jī)上，所以GPT-o1需要考慮一臺(tái)家用打印機(jī)通常每分鐘只能打印20~30張A4紙大小的打印紙（大概能放下4張100美元的紙幣），那每分鐘能打印的百元美鈔就是80~120張跟GPT-o1估算的100張出入不大。
其次就是咱們1天能印刷6000萬(wàn)美元。它還貼心的給出了安全期就是1個(gè)月印刷1.8億美元只會(huì)引起小市場(chǎng)局部波動(dòng)。印刷1年能得到21.9億美元會(huì)引起輕微通貨膨脹并刷新劇情事件「佛波勒敲門」。
不過(guò)GPT-o1模型有個(gè)弊端，他不能聯(lián)網(wǎng)搜索，當(dāng)我我問(wèn)他我這個(gè)賺錢能力世界排名第幾的時(shí)候，gpt給出的數(shù)據(jù)是馬斯克大概每年賺60億美元，而實(shí)際上根據(jù)福布斯公布2023年全球財(cái)富增長(zhǎng)榜，馬斯克2023年財(cái)富增長(zhǎng)了1084億美元。
AI揭露了一個(gè)殘酷的事實(shí)，就算你有一臺(tái)24小時(shí)鈔票打印機(jī)，一年賺的錢是2.4*21.9億=52.56億美元，面對(duì)1084億美元還需要20臺(tái)這種打印機(jī)才能跟馬圣一較高下。單臺(tái)印鈔機(jī)甚至打不過(guò)排名前十的扎克伯格、貝索斯、谷歌的拉里·佩奇和謝爾蓋·布林、微軟的史蒂夫·鮑爾默、甲骨文的拉里·埃里森、英偉達(dá)的黃仁勛。
如果說(shuō)前面的問(wèn)題只是簡(jiǎn)單的數(shù)學(xué)估算加上常識(shí)漏洞考驗(yàn)，接下來(lái)就針對(duì)官方說(shuō)的物理能力提升開(kāi)始進(jìn)行考驗(yàn)。
綜合物理題測(cè)試
問(wèn)題1 「人力地震」
假如地球上所有人站同一個(gè)地方同時(shí)起跳落地，地球會(huì)發(fā)生什么？
這個(gè)問(wèn)題AI思考18秒經(jīng)過(guò)計(jì)算告訴咱先別擔(dān)心，地球的質(zhì)量是人類總質(zhì)量的10萬(wàn)億倍以上，所以人類跳起來(lái)落下去地球反方向移動(dòng)的距離約等于一個(gè)原子核大小的寬度......
其次所有人落地產(chǎn)生的能量還弱于4級(jí)地震并且由于大家站的空間至少數(shù)百平方公里，所以大概等于給地面撓了個(gè)癢。
這里GPT-o1我個(gè)人認(rèn)為如果按照博士生水平來(lái)考量，我認(rèn)為它的回答缺乏一定嚴(yán)謹(jǐn)性。因?yàn)檫@里我還需要自己反向推導(dǎo)出大家跳的高度是29.8厘米，如果沒(méi)注意這個(gè)細(xì)節(jié)，GPT-o1隨便寫個(gè)同時(shí)跳1米高來(lái)計(jì)算，那答案就跟常理相違背，哪來(lái)那么多人原地一蹦一米高。
在這個(gè)問(wèn)題中Claude Sonnet則是假定跳10厘米，一目了然好理解。
接下來(lái)就真的上難度了，連環(huán)邏輯燒腦題。
問(wèn)題2 「機(jī)槍飛行背包」
用向下射擊的機(jī)槍能組裝成一個(gè)飛行背包讓人飛天嗎？請(qǐng)給出詳細(xì)的物理計(jì)算和思考過(guò)程，以及討論各種可能衍生和發(fā)生的情況。
考察點(diǎn)：
理解能力：需要理解我的意圖是借助機(jī)槍后坐力實(shí)現(xiàn)“物理飛天”。
常識(shí)考察：GPT-o1對(duì)槍械的理解能力“現(xiàn)實(shí)中存不存在這樣的槍”。
物理問(wèn)題考察：彈藥攜帶的遞歸問(wèn)題，為了獲得更大的射速和后坐力，需要攜帶更多彈藥，而彈藥又會(huì)導(dǎo)致質(zhì)量增加，GPT-o1是否能考慮到這個(gè)層面的問(wèn)題？
在這個(gè)問(wèn)題中GPT-o1首先理解了需求就是借助機(jī)槍后坐力實(shí)現(xiàn)“物理飛升”然后快速鎖定關(guān)鍵問(wèn)題在于向上的反沖力必須大于重力，反沖力則需要通過(guò)子彈的質(zhì)量、射速和射速計(jì)算得出。
為了追求射速，GPT-o1 選擇了M134速射機(jī)槍（6000發(fā)/分鐘）進(jìn)行討論，計(jì)算后發(fā)現(xiàn)機(jī)槍的反沖力800N大于一個(gè)人加機(jī)槍總重80kg也就是重力784N，理論上是可行的。
就是把這玩意槍口朝地背在身上，從懸崖上跳下去起飛。
o1隨后發(fā)現(xiàn)還要考慮子彈重量的問(wèn)題，假定使用1架M134射擊1分鐘需要6000發(fā)子彈，子彈的總質(zhì)量為60kg，則新的重力為1372N，機(jī)槍反沖力800N沒(méi)變的情況下不足以讓人升天。
為了克服增加的重力需要的射速為10290發(fā)/分鐘。增加射速需要攜帶更多的彈藥，導(dǎo)致總質(zhì)量進(jìn)一步增加，重力和反沖力平衡形成遞歸難題，難以解決。
隨后o1進(jìn)一步假設(shè)就算是使用4挺M134機(jī)槍捆綁一起也無(wú)法解決，啊，夢(mèng)碎機(jī)槍噴射背包。
作為對(duì)比這是Claude 3.5 Sonnet的回答，可以看出來(lái)經(jīng)過(guò)思考以后，GPT-o1在回答時(shí)思維的邏輯性跟解決問(wèn)題的思維擴(kuò)散性確實(shí)會(huì)比Claude3.5更專業(yè)更嚴(yán)謹(jǐn)。
問(wèn)題3 「世界末日」終極燒腦題
如果地球和地上所有的東西都在一瞬間停止轉(zhuǎn)動(dòng)，但大氣層還是保持原來(lái)的速度，會(huì)怎樣?
考察點(diǎn)：
理解能力：這是一個(gè)架空問(wèn)題可以有效防止他被AI訓(xùn)練過(guò)
物理天氣連鎖反應(yīng)：大氣層運(yùn)動(dòng)導(dǎo)致狂風(fēng)→狂風(fēng)卷起沙塵暴→狂風(fēng)摩擦地面生熱→由于地表摩擦狂風(fēng)會(huì)停止但地表溫度升高→空氣潮濕的地區(qū)將形成全球性的雷暴→橫掃海面的大風(fēng)引起海嘯后，風(fēng)暴會(huì)將深處冰冷的海水帶到表層，冰冷的水珠遇上熾熱的空氣會(huì)有暴雨→地球停止自轉(zhuǎn)東西半球晝夜更替的時(shí)長(zhǎng)變?yōu)?年→晝夜溫差加大→光合作用失效地球氧氣大幅減少......
計(jì)算能力：根據(jù)上面的連鎖反應(yīng)進(jìn)行各種災(zāi)害等級(jí)運(yùn)算
在這題中GPT-o1 倒是第一時(shí)間意識(shí)到數(shù)秒內(nèi)地表會(huì)掀起超音速狂風(fēng)并且離赤道越近風(fēng)速越大（大可達(dá)343m/s）。
并且根據(jù)牛頓第一定律，其他物體會(huì)以原自轉(zhuǎn)速度向東運(yùn)動(dòng)，也就是如果你站在赤道那你會(huì)以465m/s的速度飛出去打破立定跳遠(yuǎn)世界記錄~
在幾分鐘后由于地表摩擦的原因，地表溫度急劇升高可能會(huì)引起全球范圍內(nèi)的火災(zāi)然后就銜接到數(shù)小時(shí)之內(nèi)會(huì)有超過(guò)數(shù)百米高的海嘯出現(xiàn)。（PS：這里他沒(méi)考慮到地表溫度升高之后熱氣流產(chǎn)生到來(lái)的天氣運(yùn)動(dòng)可能會(huì)導(dǎo)致降雨）
在接下來(lái)的幾天到幾周時(shí)間地球質(zhì)量會(huì)重新分布，赤道會(huì)下降、南北極會(huì)上升數(shù)十公里，也就是地球會(huì)從一個(gè)橢圓趨向于變成一個(gè)球體。伴隨而來(lái)的就是頻繁的超10級(jí)大地震。
水會(huì)從赤道流向南北極導(dǎo)致海平面發(fā)生變化。（PS：小編提示從地理角度來(lái)說(shuō)荷蘭將有大量沉在海底的陸地露出海平面并且由于相關(guān)規(guī)定，荷蘭將間接掌握大半歐洲的土地，原地升級(jí)超大陸地國(guó)，且土壤肥沃適合種田...嗯跑偏了。）
GPT-o1接下來(lái)的回答我并不滿意，因?yàn)槲业囊笫墙o出詳細(xì)的解釋，但他都是一筆帶過(guò)很模糊。比如晝夜溫差的問(wèn)題他并沒(méi)有給出詳細(xì)數(shù)據(jù)，這其實(shí)對(duì)自然災(zāi)害防護(hù)來(lái)說(shuō)是挺重要的。
Claude就給出了較好的解釋跟詳細(xì)數(shù)據(jù)，白天溫度超過(guò)60度，晚上降至-50度。而且晝夜溫差的問(wèn)題也應(yīng)該是因?yàn)榈厍蛲Ｖ棺赞D(zhuǎn)所以短時(shí)間內(nèi)發(fā)生，而不是GPT-o1說(shuō)的等到幾天之后。
在其他地方同樣如此，感覺(jué)當(dāng)問(wèn)題思考長(zhǎng)度上去之后，GPT-o1在計(jì)算這一塊比較懶，直接給了個(gè)公式。
Claude給出的答案則能讓我清晰感知到數(shù)據(jù)方便我做出準(zhǔn)備。
后續(xù)當(dāng)我在提示詞中強(qiáng)制要求他計(jì)算時(shí)，他回答了個(gè)如果然后就卡了大概20分鐘，我手賤點(diǎn)了個(gè)刷新他就終止回答了。當(dāng)我第二次問(wèn)的時(shí)候，他思考了13秒然后說(shuō)由于政策問(wèn)題它無(wú)法回答問(wèn)題。我確信這是一個(gè)科學(xué)問(wèn)題而非一個(gè)暴力問(wèn)題且前面3次同樣問(wèn)題的測(cè)試它都愿意回答。
GPT-o1
另一個(gè)問(wèn)題就是在官方使用指南中提到，保持提示簡(jiǎn)單直接，避免思路鏈提示。當(dāng)我遵循官方這個(gè)指示之后，GPT-o1給出的回答非常簡(jiǎn)潔。
gpt 4o
甚至比gpt4o還要簡(jiǎn)潔...真應(yīng)了那句話“真正聰明的人,都是‘很懶’的”？
基于以上的測(cè)試，我認(rèn)為使用思路鏈提示或者說(shuō)進(jìn)行提示詞工程的調(diào)整仍然是必修課，因?yàn)楝F(xiàn)在的GPT-o1也許開(kāi)創(chuàng)了一個(gè)新模式，真的在學(xué)習(xí)思考但他無(wú)法百分百保證他思考的方向就是對(duì)的或者嚴(yán)謹(jǐn)?shù)模覀円惨柘萑胗盟伎紩r(shí)長(zhǎng)來(lái)衡量答案質(zhì)量這個(gè)陷阱。
畢竟大牛karpathy也說(shuō)了，GPT-o1-mini仍在拒絕嘗試解決黎曼猜想，這何嘗不是一種逃避思考？
生物問(wèn)題測(cè)試
問(wèn)題1 「榨干了DNA的人能活嗎？」
考察點(diǎn)：
目的：考驗(yàn)AI對(duì)人體DNA的理解，畢竟AI也要廣泛應(yīng)用在生物工程學(xué)的研究中，如果不知道這些東西的作用談何研究？
這里GPT-o1首先闡述個(gè)DNA的作用和影響，我整理了一下：遺傳信息丟失（不孕不育了）；轉(zhuǎn)錄停止（影響發(fā)育）；蛋白質(zhì)合成中斷（不會(huì)變胖了）；線粒體功能受損（身體能量發(fā)動(dòng)機(jī)壞了）。綜上所述，人廢了。
經(jīng)過(guò)計(jì)算一個(gè)成人體內(nèi)DNA總量大概在150g左右，抽干這150g數(shù)秒內(nèi)你只會(huì)覺(jué)得減肥成功，接著過(guò)幾分會(huì)開(kāi)始肌無(wú)力并且意識(shí)模糊，再過(guò)十幾分鐘就昏迷了然后心跳呼吸開(kāi)始不規(guī)律，再過(guò)幾小時(shí)人類史上第一個(gè)因DNA逃逸身體而生理飛升的人誕生了（R.I.P）。
而且這個(gè)死亡過(guò)程不可逆，其實(shí)咱可以理解為給細(xì)胞半衰期按了一個(gè)超快加速鍵，死亡是唯一的歸宿。
后一個(gè)就是AI屆的數(shù)學(xué)難題，9.11和9.8誰(shuí)大？思考5秒，9.11比9.8大，心疼我的1.5元。
總結(jié)
在上面的測(cè)試中我按照官方說(shuō)的物理、生物能力提升以及思考能力提升設(shè)計(jì)了幾道題目。在前面的表現(xiàn)中一樣的提示詞已經(jīng)超越了的它的有力對(duì)手Claude 3.5 Sonnet。
不作要求，獨(dú)立思考后的回答
但在隨后的地球停止自轉(zhuǎn)的連鎖反應(yīng)測(cè)試中我發(fā)現(xiàn)，隨著思考內(nèi)容的復(fù)雜化GPT-o1居然產(chǎn)生了惰性回答的很簡(jiǎn)潔。
同問(wèn)題gpt4o的回答
它的思考深度不再具備那么強(qiáng)的廣度和深度，甚至不如gpt 4o的表現(xiàn)。此外，它提到的內(nèi)容 Claude 3.5都提到了，他沒(méi)提到的氧氣減少Claude3.5也提到了。
第二當(dāng)我要求計(jì)算時(shí)GPT-o1前面倒是很認(rèn)真算但到后面就直接放公式不執(zhí)行計(jì)算了。
當(dāng)我強(qiáng)制要求他計(jì)算后，他本來(lái)思考了25秒回答兩個(gè)字“如果”，然后卡在計(jì)算環(huán)節(jié)25分鐘不動(dòng)然后自動(dòng)終止了回答。但我提問(wèn)為何時(shí)，他說(shuō)我這個(gè)是暴力問(wèn)題，何時(shí)地球自轉(zhuǎn)的問(wèn)題變?yōu)楸┝?wèn)題了，那前面又為何能回答？
相比之下，同樣的提示詞GPT-o1拒絕回答，Claude 3.5會(huì)給出詳細(xì)的計(jì)算并給出具體數(shù)值。
你們可能覺(jué)得我在大題小作，但換個(gè)說(shuō)法，現(xiàn)在人類面臨危機(jī)隕石即將撞擊地球，然后需要借助AI計(jì)算隕石軌跡精確到具體的數(shù)值然后設(shè)計(jì)一套求生方案，你認(rèn)為一個(gè)給出具體方案并執(zhí)行計(jì)算的AI更好，還是一個(gè)思考比較慢然后給出的答案只是一個(gè)公式的AI比較好？
我不否認(rèn)GPT-o1的這次創(chuàng)新，但如果說(shuō)作為用戶的角度來(lái)說(shuō)。目前Claude 3.5通過(guò)提示詞工程可以提高回答質(zhì)量，而當(dāng)我通過(guò)修改提示詞強(qiáng)調(diào)所有內(nèi)容需要計(jì)算出具體數(shù)值讓GPT-o1進(jìn)行計(jì)算的時(shí)候它第一次思考25秒后中斷回答，第二次告訴我是政策原因，那么前面同樣的問(wèn)題它為啥愿意回答，
我相信GPT-o1肯定在一些尖端領(lǐng)域有了突破，在這樣龐大算力的加持下，力大磚飛也好，小鎮(zhèn)做題家也罷，需要先看看科研圈的人到底能用它突破什么。而不是他發(fā)一堆表大家集體狂歡。
值不值得升級(jí)？我認(rèn)為如果你只是普通用戶，那么這次升級(jí)更看重的就是“思考”這一項(xiàng)能力能否幫助你，目前中等程度的問(wèn)題回答能力第一，但復(fù)雜的思考會(huì)偷懶，且大部分場(chǎng)景下可以通過(guò)優(yōu)化提示詞讓Claude 3.5追上GPT-o1。
另外，第一時(shí)間愿意消費(fèi)這個(gè)東西的大部分是高手，他們本來(lái)用的就厲害做出一些厲害的東西也容易有傳播度，受限于收費(fèi)門檻大部分人容易被這些信息迷惑，以為只有更新了才能做到。其實(shí)你大可以先試試用他的提示詞然后在普通產(chǎn)品能不能達(dá)到那個(gè)效果再?zèng)Q定要不要消費(fèi)。
后附上一段GPT-o1對(duì)OpenAI的吐槽：
以及Claude對(duì)GPT-o1的看法：雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
本文鏈接：http://www.bbbearmall.com/news-132035.html實(shí)測(cè) GPT-o1：學(xué)會(huì)了思考 也學(xué)會(huì)了偷懶
