第10章 忽悠傻了

第10章 忽悠傻了 (第2/2页)

另外，你以为用GPT的数据来训练是什么很了不起的方案，是什么天才的灵光一闪。
　　
　　那是因为你了解的太少，你没有从事这一行，你在江城科技大学学的是四十年前的数据结构和C语言。
　　
　　你没有关注开源社区的前沿动态。
　　
　　华盛顿大学和艾伦人工智能研究所在ChatGPT发布的第一时间就发表了论文，论文名字叫Self-Instruct。
　　
　　你所谓的用GPT数据训练只是一句话，人家已经写成论文，并且进行了实验。
　　
　　Self-Instruct的核心内容就是让大模型自己生成自己的训练数据。
　　
　　他们把方法都公布了，一个迭代的过程。
　　
　　先准备一小批人工写的指令，这些作为例子来引导模型生成新任务。
　　
　　用当前模型提示它生成新的、更多样的指令。
　　
　　比如给它几个种子例子，让它发明新任务。
　　
　　为每个新指令生成输入和输出。
　　
　　对生成的指令，再让模型生成对应的Input和Output。
　　
　　这样就得到一条完整的Instruction、Input和Output三元组。
　　
　　过滤低质量数据，用启发式规则自动过滤无效的任务、与已有任务重复度太高的、输出质量差的。
　　
　　把过滤后的高质量数据加回任务池，可以继续迭代生成更多数据。
　　
　　最后用这些合成数据对原始基座模型进行监督微调。
　　
　　你以为的灵光一闪，人家早就想到了并且实践落地了。
　　
　　你以为自己发现了天才，殊不知人家可能只是比你懂得多一点呢！
　　
　　你以为他有知识，可能他只是有知道呢？”
　　
　　（PS：上述是YizhongWang在2022年12月20日挂在Arxiv上的论文，论文全称：Self-Instruct:AligningLanguageModelswithSelf-GeneratedInstructions，也是蒸馏方法的开创者。
　　
　　其中艾伦人工智能研究院是由微软联合创始人保罗·艾伦于2014年创立的一家专注于人工智能前沿研究的机构。）
　　
　　在江城大学湖滨七舍被室友们吹上天的陈神，在江城富人区的别墅里，在赵立明这不过是个运气好有点能力的小子。
　　
　　这样的反差陈曦本人不知道，但赵佩璇显然无法接受。
　　
　　但父亲说的有理有据，完全找不到反驳的点。
　　
　　这让赵佩璇内心郁郁寡欢，只是说了句：“知道了。”就回自己房间了。
　　
　　赵立明看着自己女儿扬长而去的背影，心想真是女儿大了留不住，小时候赵佩璇还会给他拥抱，现在一不顺心就是往自己房间里钻。
　　
　　“陈曦，抱歉，我没能说服我爹，找不到卡。”
　　
　　“他太固执了，不相信年轻人也能创造奇迹。”
　　
　　“看来还是得去硅谷了，我明天送你去领事馆。”
　　
　　赵佩璇每间隔几分钟就发条微信给陈曦。
　　
　　一直没人回。
　　
　　她也习惯了对方压根不回微信。
　　
　　想了想，赵佩璇收拾了一下，拿着车钥匙出门。
　　
　　女儿走到门口后，赵立明问：“去哪里？”
　　
　　“不用你管，我不回来吃饭。”赵佩璇摆了摆手，把赵立明气得够呛：“我不管你，但你吃完晚饭八点之前必须给我回来！”