$
https://www.36kr.com/p/3789105218362369GPT之父:只用上世纪数据训AI,它居然也会写Python?
模型名叫talkie-1930-13b.
操盘手是AI研究员Nick Levine、多伦多大学副教授David Duvenaud,以及大家熟悉的那位——真·GPT系列之父Alec Radford。
该模型训练数据有一条铁律,那就是1931年1月1日之后的任何一个字都不!准!进!
它不知道电视机、互联网为何物,它的世界,永远停在了1930年12月31日的午夜。
然鹅,最最最最魔幻的事儿来了,团队成员发现:
这个本不该知道罗斯福新政的AI,却把新政立法说得头头是道,连年份都报得出来的内种?? 更离大谱的是,当团队扔给它一道Python编程题时,这个跨越了将近一百年的过去之灵,竟然写出了它人生中的第一行Python??
==========================
相比于写python函数,我更震惊于它说出了罗斯福总统的第一任期和其间签署的主要法案。我搜索了,它说的是对的。这就像你坐飞机去了一个遥远的国度,一拐弯遇到一个老头,他直接说出了你的姓名和工作年限,以及发表了哪些论文,我就问你麻不麻?!
python这事也厉害,至少他看懂了示例的python函数。有一个背景:世界上第一程序员是一个叫ada的女士,她处的年代还没有后来的通用计算机,但她已经在论文中发表了程序。如果这个大模型学习了ada及其同行的思路和程序,它读懂python的函数也是可以理解的。
有人说大模型可能做了弊,它联网搜索了。要知道给它喂的资料里完全没有计算机,更没有互联网,如果它能涌现出上网的技能,哪比说出罗斯福总统的工作和写一个python函数更惊人。
我有一个想法,我们的智慧就藏在语言里,而我们的语言和我们大脑神经元的链接模式是匹配的。全息图像的任何一个局部都保留了全局的信息。我们的大脑神经元网络就是全息的,它匹配的语言是链接大脑神经元网络的钥匙。所以这个大模型虽然被喂了局部的资料,但它能外推全部的信息。当然,这个前提就是时间是一种错觉,过去、现在和未来是同时存在的,我们之所以认为时间在流逝,其实是有某种机制在“拉洋片”。
[/quote]