第89章 吴辰帮的第一个成员

閔欣柔对这个技术並不陌生。

她立即举手道：“老师，基於词典和隱马尔可夫模型的分词吗？”

这是2008年的主流做法，比如ictclas（中科院分词）系统就是这么干的。

吴辰摇摇头。

“不是，我们要用一种叫做bpe，也就是字节对编码的算法。”

“它的原理大致是这样，不要预设字典，而是通过统计字符组合的频率，將最常见的字对合併成一个新的单位————”

听完吴辰的讲解后，閔欣柔立即意识到这种算法完全顛覆了传统。

就像word2vec让机器学会了自己翻译语言，这个bpe算法，让人类与机器的距离又靠近了一步！

她兴奋道：“吴老师，那我们要从哪一部分开始呢，是先写统计脚本，还是先构建词表？”

吴辰理解她的兴奋，同时惊嘆她的敏锐。

bpe算法，是未来大语言模型的一大重要支柱。

“从数据標註开始。”

“那我的任务呢？”

“去刷天涯论坛，然后在假期结束前完成5000条数据的標註，对一个帖子，你需要分辨出里面的好话、反话和脏话，並且標註情感正负向。”

“老师，我明白了！”

閔欣柔答应了下来。

算上明天和后天，再加上长假七天，她总共有九天时间。

如果要標註5000条数据，那就意味著她每天除了吃饭睡觉，至少要工作12个小时以上。

手不能停，脑子更不能停。

吴辰自然也明白这个道理，但他什么也没说。

对閔欣柔的学习能力他很满意，所以想好好培养她。

但这小姑娘有一个很大的缺点，就是太容易相信人。

自己也没做多少事，她就这么信任自己，那她以后在社会上一定会吃亏。

那吴辰不介意提前教她什么叫资本家的险恶。

看了看时间，吴辰道：“我下午还要去学校，你在家自己呆著，我的电脑你直接用就好了，请假的事情我会和你们辅导员说。”

閔欣柔点了点头。

吴辰的电脑她之前已经用过，很熟练了。

不过她有些难过的看著自己的右脚说：“老师，我今天受伤了，本来还打算做饭给您吃的。”

她现在走几步都难，更別说站在灶台前了。

吴辰奇怪的看了她一眼。

“怎么不能————你这样。”

他起身把电脑椅从书桌后搬过来，让閔欣柔坐上去后，推著她来到了厨房。

“椅子下面有轮子，你去哪里都很方便，而且还能坐著做饭，多方便。

安顿好閔欣柔以后，吴辰心情愉悦的去了学校。

他真的很看好这小姑娘在学术上的天赋。

其实bpe算法他花两个月左右就能完全搞定。

但有了閔欣柔的帮忙，下个月她就能帮自己处理讯飞和天涯那边给的数据，省去自己很大的精力。

那他就可以更专注的做关於注意力机制的研究了。

这项技术，是transformer架构的核心。

他不准备假手他人，必须自己牢牢掌握在手里。

而对自己掌握的其他超前知识，他不介意找一支聪明人组成的核心团队来帮助自己研究。

但相比聪明，更重要的是忠诚。

而老师这个身份就非常容易培养出一批忠於自己的人。

比如汉东省某个主观上不存在，但客观上存在的小团体。

其实学生们要的真的不多，只是一份正常的报酬而已。

所以吴辰很不理解高校里某些老师的做法，非要把学生当成牲口压榨，最后弄的一点香火情都没有。

到学校停好车后，吴辰径直去了篮球场。

本章未完，点击下一页继续阅读。（1 / 2）