???????????????????????????????????????
???????????????????????????????????????
OpenAI????о????????????
?????·??籨????OpenAI???????????о?????????????????????OpenAI??????????????????????о????????Nvidia GPU?????????????????????????????????????????о???????δ?????????????о???????????????????OpenAI??CEO Sam Altman?????????Nvidia GPU???????OpenAI?????????????????????????????????????????OpenAI????????????????????????????????????Э??????λ?????????????????OpenAI???????????????????????????????Andrew Tulloch??????????????OpenAI????о?????????OpenAI?????????????????????????????????????????OpenAI????????衢???????????????????????????????????о????е??????????
OpenAI????????о?
?????????OpenAI????о???????????????GPU?????????????????????????ǹ???Nvidia??GPU????????????GPU??????????????????????OpenAIδ???????????????????????????????????
OpenAI????????????????????????????????????GPT-3???????°????ChatGPT????????????Щ??????????????????????????????????????????????????????????????????????????OpenAI??????????????????????????????????????????????δ??????????????????????????????????·?????????OpenAI??????????2800?????????????????5.4?????????OpenAI?????????????????????????????????????????5.4?????????????????????????????????2022????δ?????????????????????????????????????
?????????????????????????????????????????????????OpenAI????????????????????????????????????????????????????δ????????????????????????????????????????????????????????????????????
???????ó???????????????????????????????????д??????????????????δ?????и??????????ó??????????????????????????????????Щ???ò???????????????????????????????????????????????????
??????????????Bernstein??????????ChatGPT??????????????????????????????????OpenAIδ??????????????????????OpenAI??GPU????????160??????????????????????????δ??OpenAI???????????????????????
?????OpenAI????????о??????????????????????????????????Nvidia H100 GPU???????????????30????????????????????????????????????????????100??????????????AWS??????????????????????????????????????????????OpenAI????????о??????????????????????????10?????????????????????????????棬???????о?????????????????????????????????????????1???????????ú??????????????????????????????10???????????????????
OpenAI????о????кζ??????
????????о????????????в???????OpenAI???????о?????衢??????????????????о???????????
?????OpenAI??????о????????????????????????????????衢???????????о??????????????????????????????????????????????衢???????????о????????????????????????????????????????????????????????????????????????????????????????????о??????????????????????????????????????????????????????????Ч?????????????????OpenAI????о???????????????????????????????????????Transformer??????????????????????????????????????????????????????????????з???????????
??????????OpenAI????????з???????????OpenAI?????????????????????????GPT??????????????????????????????????????????OpenAI????????????????????????????OpenAI?????????????????????????????????????????ζ??OpenAI?????????????????о?-???Э????????????о??????????????????????????????????????????о?????????????????????????洢??о??以?????????????????????????????OpenAI????δ??????????????????·???????????????????滮??????ζ????????о????????????????ù??????о??????????????????????????????檔?????????????OpenAI??????о????????????????к???????????????????????Dojo?????????????о?????????????????????????????????OpenAI?????????????????????????????????????????????о????????????OpenAI??????????
??ЩOpenAI???????????????л??????????÷???????????????????о????????Nvidia?????????ж?????GPU???????????????????????Nvidia??GPU??????????????????1000?????????????1000???????????У??????????????????16λ????8λ????????????????32λ????????????????????????????????16????????????????о????????????????Э??????????12.5?????????????????????????幤?????????????????????????????????????????????о?????????о????Э???????????????????????????????????????????????????Huang??s Law???????????????????OpenAI???????????????????λ???????????????????????OpenAI??????????????Huang??s Law???????δ???????????????????о???????
OpenAI????о??????
OpenAI????о??????????????????????????????
OpenAI????о?????????????????????????????о?????????о??????????????臨??????о????????????????о??е????????洢???????о?????????????????????????磬??????????????????о??????????HBM??棻??????о??????Ч???????????????????????????о?????????????????????????????÷??????????о?????????????????????Nvidia??NVLINK??InfiniBand????????GPU???????????OpenAI??????????????????Що????????????????????????????????????????Щ???????????????????????????????????????????OpenAI????????????齨????о?????????????Щ?????????????????????????????
????о??????????????????????Э?????????????仰?????????????????????????????????????OpenAI????????????????Nvidia GPU????????????????????CUDA??????????????????????????к?????????????????OpenAI??????о??У????????????????CUDA?????????????????????о?????????????????????????????????о??????OpenAI??о?????ǹ??????????????????????????????????????????????????????????????????Nvidia??CUDA??????С??????OpenAI????????????Щ??????????????????????OpenAI????????????????Triton???????????????????????????Python?????????????????Triton??????м????intermediate representation??IR????????????Triton????????LLVM??????????PTX???????????????????PTX??GPU????????????????????С????????????OpenAI???????????????????????????о?????????
???о????????????????????????????????OpenAI???????????????????????????????????????????????????????????????????????????????????????????????п???????????????????????????????????????????????
?????????????????????????OpenAI??????о??????????????????????????????????????????????????OpenAI???????????????????????????????о????Athena?????Nvidia??????AMD???????????????о???????OpenAI??о?????????Щ??????????ЩIP???????????Щ??????????о??????????????????????????????????????OpenAI????????????????е??????о???????????????????????
972369124
