1924年，年仅16岁的马丁·古德曼辍学。在开始职业生涯前，马丁·古德曼搭火车游遍了美国。他扒过火车，睡过野地，也曾吃糠咽菜。

马丁·古德曼的律师兼好友杰瑞·佩莱斯（Jerry Perles）曾说：“他熟悉每座城镇，所以对市场了如指掌。”“没有他不知道的城镇。他对这个国家了然于胸，这对他日后提高杂志的发行量有很大的助益。”

什么是大模型？

大模型，英文名叫Large Model，大型模型。早期的时候，也叫Foundation Model，基础模型。

大模型是一个简称。完整的叫法，应该是“人工智能预训练大模型”。 预训练，是一项技术，我们后面再解释。

我们现在口头上常说的大模型，实际上特指大模型的其中一类，也是用得最多的一类——语言大模型（Large Language Model，也叫大语言模型，简称LLM）。

除了语言大模型之外，还有视觉大模型、多模态大模型等。现在，包括所有类别在内的大模型合集，被称为广义的大模型。而语言大模型，被称为狭义的大模型。

大名鼎鼎的卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）以及transformer架构，都属于神经网络模型。

同样以GPT-3为例，采用了45TB的文本数据进行训练。即便是清洗之后，也有570GB。具体来说，包括CC数据集（4千亿词）+WebText2（190亿词）+BookCorpus（670亿词）+维基百科（30亿词），绝对堪称海量。

根据公开的数据显示，训练GPT-3大约需要3640PFLOP·天（PetaFLOP·Days）。如果采用512张英伟达的A100 GPU（单卡算力195 TFLOPS），大约需要1个月的时间。训练过程中，有时候还会出现中断，实际时间会更长。

对于Windows IDE的用户，我们建议下载Microsoft Visual Studio 2022（https://visualstudio.microsoft.com）作为集成开发环境。该工具的任何版本都能够运行书中的所有示例。如果需要使用跨平台的集成开发环境，则请下载Visual Studio Code。

本系列图书自2007年出版第一本以来，得到了一些优秀的技术专家的支持。我尤其要感谢Stephen Toub、Paulo Morgado、Fred Silberberg、Vitek Karas、Aaron Robinson、Jan Vorlicek、Sam Gentile、Rod Stephens、Jared Parsons、Matthew Groves、Dixin Yan、Lee Coward、Bonnie DeWitt、Wonseok Chae、Lori Lalonde和James Montemagno对最近几个版本的帮助。

在这里，我也希望表达对Eric Lippert、Jon Skeet、Stephen Toub、Nicholas Paldino、Chris Burrows、Shawn Farkas、Brian Grunkemeyer、Maoni Stephens、David DeWinter、Mike Barnett、Melitta Andersen、Mitch Wheat、Brian Peek、Krzysztof Cwalina、Matt Warren、Joel Pobar、Glyn Griffiths、Ion Vasilian、Brad Abrams和Adam Nathan的感谢。感谢他们帮忙审校先前的修订版本。