最早的 IBM watson 是基于 statistical learning，GPT这一类是基于 tranformer 的 deep neural net learning

到了gpt 3.5，gpt 4 人们发现大数据量+RLHF，回答质量一下好了很多，就火起来了

GPT-4 和 GPT-3.5 内部的模型结构也在变，因为是 close source，外人只能猜，比如一个说法是 GPT-4 用了 MOE（mixture of expert）