最新网址：wap.qiqixs.info
虽然韩路一刚说了苏念念，可是其实他也给自己安排了视频会议。
和赵文渊。
赵文渊自从请假之後就没来办公室上班了，最近一直在家搭数据管线，在鼎盛那边的程序走完之前做准备工作。
两人先把训练的策略过了一遍，会议结尾，韩路一问了一下时间线。
「文渊，鼎盛那边帐户大概这两天就能配好，你这边什麽时候能开跑？」
电话那头，赵文渊停顿了一会，似乎在组织语言，然後才开口道：「韩总，就算算力到位了，开跑之前还有一道坎。」
「什麽坎？」
「上周五我和你说的，预训练数据的预清洗。」
韩路一坐在办公桌前想了想，是有这麽回事。
「咱们现在手里有什麽了？坎在哪？」韩路一问道。
「有CommonCrawl里的数据，还有公共版权的书籍资料，我想在清洗这块优化一下，但是搞了几天还没头绪。」赵文渊解释道。
「嗯……我晚上回去看看。」
挂断视频，韩路一在办公室里思索起来。
韩路一想起来赵文渊的属性面板。
【赵文渊】
【技术S（研究SS）」协作C」稳定A】
【特技：大模型训练」大模型後训练】
後训练是他的强项，预训练这边可能就没有那麽熟悉了。
当然了，大模型现在也出来几年了，论文发了那麽多，大家没吃过猪肉也见过猪跑了。技能是可以迁移过来的，摸索摸索，预训练也没有那麽难。
想要从头做大模型，真正的瓶颈还在数据和算力。
数据也分两块，原始数据和标注数据。
标注数据这块，靠着视界，韩路一已经拿到了世界顶尖的标注。
数量还不太够，但是肝一肝总会有的。
但是原始数据还得想办法。
一般的厂商数据来源主要有几个，除了那些出版物或者特定行业的资料，还要去网际网路上收集资料。网际网路的资料也有不同的来源：可以自己在网际网路上爬一一这就是各显神通了，爬到什麽算你的本事；也可以用CommonCrawl。
CommonCrawl是开源的语料库，大模型时代的「数字公共图书馆」。
它是一个非营利组织，目标是「爬取和存档整个网际网路」，并将这些数据免费提供给所有人。这个愿景很伟大，也确实帮助到了很多人。
现在市面上的大模型，做通用场景的，有一个算一个，训练语料里一定包含CommonCrawl，无非是有的多些有的少些。
但是CommonCrawl的问题是，它基本没有清洗，里面有网际网路上各种各样的原始信息。就拿中文网际网路来说吧，上面最多的内容是什麽？知识乾货？生活小常识？人生感悟？感人的文学作品错了，是垃圾，各种各样的垃圾。
菠菜GG，瑟瑟GG，为了优化搜索结果的重复关键词堆砌。
如果把这些东西当原料直接去制作大模型，你可以期待会看到这样的场景。
你问它：「什麽是大模型预训练？」
它回答：「近来大家都对大模型预训练很感兴趣，那麽大模型预训练到底是什麽呢？小编带大家看一看，看完真的惊呆了！到底该如何评价这件事情？欢迎在评论区留下你的看法！」
所以原料在用之前，先要经过复杂的清洗，这个也不是人工进行的，一般会用传统的基於规则的数据管线筛掉完全无用或有害的信息，然後在剩余的信息中进行去掉语意重复的内容。
对於怎麽做，韩路一暂时还没头绪，但是没关系。
晚上问问视哥怎麽看。
想到这，他拿出手机看了看时间，已经快六点了。
晚上【404寝室】又约了饭，是张浩然组织的。
本来周末就想约，但是韩路一为了和苏念念准备今天的董事会会议，拖到了今天。
张彪去机场还没回来，韩路一没去坐地铁，奢侈了一把，自己叫了个车。
张浩然订的是一家烤鱼店，比他们的老地方烧烤摊档次高了不少，包厢门口挂了个实木牌子，写着「贵宾席」。
韩路一到的时候，张浩然已经坐在里面了。
两人正打着招呼，马小飞也走了进来，手里举着他的大疆0smoPocket4P，一边进门一边说：「这个必须发，从烧烤摊到贵宾席，这是咱们寝室的成长纪录片。」
「你就不能进来先坐下？」张浩然说。
「艺术家需要随时记录，你不懂。」
「什麽时候干自媒体也成艺术了。」张浩然吐槽。
「大概是抽象艺术吧。」韩路一补刀。
「笑吧笑吧，我上个月刚过二十万粉了。」马小飞不服气地说。
「二十万？」张浩然有点意外，「上次不是才十万出头吗？」
「那都几个月前了。最近科技赛道流量好，我做了一个系列叫"小飞拆机'，专门拆各种国产AI硬体，什麽翻译耳机、AI音箱、智能眼镜，拆完给大家看里面到底有没有料。上周那条拆某个AI音箱的，六十多万播放。」
「现在养活自己没问题了？」韩路一问。
「什麽话，最近哥们发了，GG报价现在五千一条，标准的，一个月能接四五条，还有平分成。」马小飞顿了顿，难得认真了一秒，「当然了，也不稳定，这个月好不代表下个月好，但至少现在是我最舒服的状态。」
张浩然看了马小飞一眼：「你说你一个交大毕业的，全职做自媒体，你爸妈没意见？」
「有意见啊，但是看到我赚钱了就没意见了。」马小飞理直气壮，「天下爸妈都一样。」
三个人落座，点了两条鱼，一条酱香味的清江鱼，一条麻辣加辣的黑鱼。主要是因为韩路一不爱吃辣，马小飞却说来吃烤鱼不吃辣就白来了。又另外加了粉条青笋豆制品等等配菜。最後点了一大桶可乐。张浩然倒是无所谓，他已经打定主意一会儿请客了。
菜上来之前，马小飞先把Pocket 4固定在桌面上，找了个机位能同时看到三个人，还给自己的脸设上了人脸追踪。
然後，马小飞才转过头来，问道：「张浩然你什麽情况啊？这麽着急把我们叫过来？有什麽你马哥能帮忙的？是不是老韩的存款不太够啊？」
韩路一也好奇的看向张浩然。
这确实是张浩然今天想说的正题了，他没理会马小飞的玩笑，表情严肃，声音低沉：「老韩上次不是给了我们一个内测帐户吗？你回去用了吗？」
马小飞被他的神情搞得有点不自在：「我打开看了一眼，不是跟什麽ChatGPT、豆包之类的一样吗？」「不一样。」张浩然说：「老韩这个模型，真的会读心术。」
这下别说马小飞，连韩路一也一头雾水了，读心术什麽的，是因为汤圆在意图理解这方面确实不错，他说着玩的，看张浩然的样子，怎麽好像真信了？
「我给你详细讲讲，我们银行之前不是新换了行长吗，最近总行又在推国产系统迁移，行长助理和直管我的副行长对上了，僵持了两三周。我为这个事儿愁死了不知道多少脑细胞，生怕站错队。结果你猜怎麽着，我把这个事儿跟汤圆一说，她全给理清了。」
张浩然说到这，声音压得更低了一点，脑袋往前凑了凑，然後
（本章未完，请点击下一页继续阅读）
最新网址：wap.qiqixs.info