zhshthd
基于大语言模型（LLM) 的 AI 对理科和文科工作都会带来巨大冲击，但是文科工作受到的冲击会更来的更早，更猛烈
865
12
2024-05-30 22:29:50
听上去有点反直觉。但是原因很简单，大语言模型是基于概率的预测，‘依样画葫芦’，而不是基于对世界万物的底层原理产生的推理（reasoning）。要让它的推理能力增强，必须通过人工干预，做一些具体的优化，但这个世界千变万化，不可能都干预得过来。
所以语言模型对那些没有具体的，硬性的，客观可测量要求的任务，可以完成的很好。比如画一张印象派油画，你画之前也不知道应该画成啥样的，纯粹为了欣赏，totally open ended。这是它的强项。
但对有具体硬性要求的，比如从头到尾理解一个数学题，最后给出正确答案（而不是差不多就行），或者写一段不那么简单，非基础的程序，可以跑起来并给出正确输出。它或许可以做到85%到90%，但是在理科任务里，很多事情，不是100%就等于0%，需要人工去纠正，修改。
哪怕是画画，如果是要画一张海报，但规定哪几个字必须以什么颜色出现，必须如何如何排版， 第一个字母自必须黑体，背景必须是某个城市某个建筑，等等有硬性约束条件的。你去试试，它怎么画都满足不了你的条件。不是‘不好看’的问题，是客观上无法满足一些很简单，人类画家可以轻松做到的东西。这就是语言模型其模糊概率特性所决定的。
Google 最近推出的 AI Overview 给出让人从金门大桥跳下去的答案，也是同样原因。
当然我相信这些依靠一些工程上的技巧来局部优化，可以大大减少其模糊性，但无法做到完全杜绝, 这是LLM的先天不足。
最后，我认同我司首席AI科学家，图灵奖获得者杨乐坤（Yann LeCunn) 的观点： 靠大语言模型（LLM） 走向AGI （强人工智能）是一条死路。活路是创建一个对世界底层原理的知识库，从而进行推理的"世界知识模型"(world model). 换言之，要让AI “从小到大” （一生二，二生三，三生万物），而不是像现在那样“从大到小”去模仿。这也是李飞飞最近创业公司所做的事情。
人类终有一天要把自己给搞没了
最开始我就记得有人说，AI再怎么搞，艺术类的是不可能被取代的。反正现在Ai画画写歌写诗写小作文都不差。大大拉低门槛，很多就不需要童子功了，有个脑子想想就行。反倒理工科还稳点，目前。
别的不知道，但我感觉版上很多ID很容易被LLM代替。那些家长里短鸡毛蒜皮的裹脚布帖子，随便搞个模型训练一下，就能生成差不多风格的帖子，要发多少有多少。
还有那些垃圾网络文学，网络小说，玄幻小说什么的，应该也很容易用LLM生成
说难听了，就是越垃圾越没技术含量的东西越容易被AI代替。
别的不知道，但我感觉版上很多ID很容易被LLM代替。那些家长里短鸡毛蒜皮的裹脚布帖子，随便搞个模型训练一下，就能生成差不多风格的帖子，要发多少有多少。
还有那些垃圾网络文学，网络小说，玄幻小说什么的，应该也很容易用LLM生成
说难听了，就是越垃圾越没技术含量的东西越容易被AI代替。
小城往事 发表于 2024-05-30 22:45
你看，我让他按照华人网风格模仿了一篇，结果验证的我的说法：无法细看，漏洞百出。
输出：
好的,我来模仿一下华人网上的帖子风格:
标题:独子捡垃圾养家,儿媳嫌弃翻脸不认我这可怜孤老?
都说儿行千里母担忧,我这当了一辈子母亲的,才知道这句话是多么的实在!
大家都知道,我这个做母亲的真是命途多舛。先是老伴十多年前就去世了,我就剩下独子小明一个。小明从小就很懂事,为了供我上大学,他从6岁起就在垃圾场捡破烂卖钱。好不容易我考了个文凭,可谁知道就在那年遇到了大家熟知的911事件,我被公司裁员,一下子就沦落到了要靠儿子赡养的地步。
命运对我太残酷了!而且就在前几年,小明自己也失业了,我们母子两个就只能靠他捡垃圾度日了。可你们猜怎么着,就在这种境地下,小明还是自力更生娶了个媳妇,我们三个人相依为命。
没想到这几年家里的新媳妇慢慢开始看不起我和小明了,总说我们这些穷人太不卫生,有失体面。去年她甚至控告小明骚扰她,害我可怜的儿子进了局子,而我这个老身子骨就只能靠捡垃圾维生了。
亲们,你们说我这辛酸的一生太不值了吧?我的好儿子就这么被自己的媳妇糟蹋,我这个做了一辈子的母亲该何去何从啊?我是不是活该这么窝囊?大家有什么建议吗?
最开始我就记得有人说，AI再怎么搞，艺术类的是不可能被取代的。反正现在Ai画画写歌写诗写小作文都不差。大大拉低门槛，很多就不需要童子功了，有个脑子想想就行。反倒理工科还稳点，目前。
doublemint 发表于 2024-05-30 22:37
现在想想，可能是因为以前觉得文学艺术需要创造力，但是其实AI不缺创造力，它可以胡写胡画，反正没有对错，全是主观感受，反而理工科需要严谨，正确，AI做的东西目前还需要人来验证。。。
你的输入是啥？应该把足够数量的某一类的华人帖子投喂给模型，才能训练的比较像样
回复 1楼 zhshthd 的帖子
那样的话，这次AI的Deep Learning 进步（概率的预测）还有何用，怎么融入? 即，如果反过来“从小到大”，任何一个环节只要引入概率预测，都会给下一步带来模糊性。除非一种例外情况，每一步都找到“最佳解”，而这看上去似乎是不可能的。
你的输入是啥？应该把足够数量的某一类的华人帖子投喂给模型，才能训练的比较像样
小城往事 发表于 2024-05-30 22:54
我用的 claude.ai ， 输入是 “写一篇模仿华人网（huaren.us）风格的，家长里短，狗血的帖子”。华人网所有帖子都被这些模型（chatgpt, gemini, claude, llama 3) 看过。这些模型基本上吧人类历史上所有出版的，互联网上的文字都读过了。
我觉得如果给一些具体的帖子的例子，可能训练效果更好。
到底了
Hot Deals
All Deals