深圳奇迹 ― 一个程序员的创业日记

第2话第二章 七十二小时

第二章 七十二小时

 创业的第一周,陆明几乎没有离开过那间二十平米的房间。

 他的日程表简单到了极致:早上七点起床,刷牙洗脸,下楼买两个包子一杯豆浆,回来写代码。中午叫外卖,写代码。晚上泡面或者下楼吃碗牛肉面,回来继续写代码。凌晨两三点睡觉。

 LocalMind的核心架构是他在腾讯上班的最后一年里利用业余时间设计的。白天做公司的活儿,晚上和周末画架构图、写论文、做小规模实验。一千多个日夜的思考,浓缩在那本牛皮笔记本的两百多页里。

 现在,是把纸上的设计变成真正代码的时候了。

 第一个需要攻克的技术难题是"专家路由器"。这是整个系统的大脑——一个极小的模型(只有5MB),负责分析用户的输入,然后决定调用哪些专家模块来处理。路由器的设计直接决定了整个系统的效率和准确性。

 传统的混合专家模型(MoE)用的是门控网络,通过softmax函数给每个专家分配权重。但陆明觉得这不够好。softmax是"软"选择,每个专家都会被分配到一些权重,计算量还是太大。他要做的是"硬"选择——精准地激活最少数量的专家,其余完全不加载。

 他设计了一种基于语义哈希的路由机制。用户输入首先被编码成一个低维向量,然后通过一系列哈希函数映射到专家模块的索引空间。这样只需要几次哈希运算,就能确定需要调用的专家,时间复杂度是O(1)。

 理论很美。实现起来全是坑。

  * * *

 三月二十二日,创业第七天。

 陆明的路由器原型终于编译通过了,但效果惨不忍睹。在测试集上,路由准确率只有47%——还不如随机选择。

 他盯着屏幕上的损失函数曲线,曲线在第一百个epoch之后就平了,完全不下降。模型卡在了一个局部最优解里,怎么调超参数都出不来。

 "又是这样……"

 陆明揉了揉发酸的眼睛。过去七天他平均每天睡不到五个小时,眼眶下面挂着两个深重的黑眼圈。桌上堆满了空泡面桶和外卖盒,空气里弥漫着一股说不清的味道。

 他站起来走到窗边。白石洲的下午,阳光从两栋楼之间的缝隙里挤进来,在地板上画出一条细细的光带。楼下有个老太太在晒被子,对面的阳台上挂着一排彩色的儿童衣服。

 二十万。还剩十七万四。按这个消耗速度,还能撑五个月。但如果一个月内做不出能展示的原型,一切都是空谈。

 手机响了。是妈妈打来的。

 "明明啊,吃饭了没有?"

 "吃了吃了。"

 "吃的什么啊?"

 "牛肉面。"其实是泡面。

 "你爸说你辞职了?是真的吗?"

 陆明沉默了两秒。"嗯,我想自己做点事情。"

 电话那头也沉默了。然后是他妈那种特有的叹气声,带着心疼和无奈。

 "你从小就这样。认准了的事九头牛拉不回来。我和你爸不反对你,但是你要注意身体。别光顾着干活不吃饭。"

 "知道了妈。"

 "还有,缺钱跟家里说。你爸的退休金也攒了一些……"

 "不用不用,我够用的。真的。"

 挂了电话,陆明在窗边站了很久。

 他不能失败。不是为了自己,也不是为了那二十万块钱。是为了一个他坚信正确的想法——AI不应该是云端巨头的垄断品,它应该像水和电一样,成为每个人都能平等使用的基础设施。

 他回到桌前,重新审视路由器的设计。

 问题出在哪里?哈希函数的设计?训练数据的分布?还是损失函数本身的定义?

 陆明开始在笔记本上画图。一个小时过去了,两个小时过去了。窗外的光线从金色变成了橘色,又变成了灰蓝色。白石洲的路灯一盏盏亮起来。

 突然,他停下了笔。

 "等一下……如果不是用固定的哈希函数,而是让哈希函数本身也是可学习的呢?"

 这个想法像闪电一样击中了他。传统的语义哈希用的是预定义的哈希函数族,但如果把哈希函数也参数化,让它和路由器一起端到端训练——

 他疯狂地在笔记本上推导公式。数学是对的。梯度可以反向传播。可学习哈希函数的参数空间远大于固定哈希函数,意味着路由器有更强的表达能力。

 陆明冲回电脑前,开始重写代码。

  * * *

 接下来是七十二小时的不眠不休。

 他进入了那种被程序员称为"心流"的状态。大脑高速运转,手指在键盘上飞舞,代码像流水一样从指尖淌出来。渴了喝水,饿了啃面包,困了就趴在桌上眯十五分钟,闹钟一响立刻爬起来继续。

 第一个二十四小时:重新设计可学习哈希层,实现前向传播和反向传播。

 第二个二十四小时:构建训练管道,清洗数据集,调整超参数。两块4090全速运转,风扇声像小型飞机起飞。房间的温度升高了至少三度。

 第三个二十四小时:训练完成。看结果。

 陆明用颤抖的手点开了评估脚本的输出。

 路由准确率:91.7%。

 他以为自己看错了,揉了揉眼睛再看一遍。91.7%。从47%到91.7%。不是微小的改进,是质的飞跃。

 "成了……"

 陆明的声音沙哑得几乎说不出话。他已经超过六十个小时没有合眼了。但此刻他浑身都在发抖——不是因为疲劳,而是因为兴奋。

 他立刻给赵小川发了一条微信:

 "路由器搞定了。准确率91.7%。快来看。"

 小川秒回:"明哥你在不在???现在凌晨四点!!!"

 "对,凌晨四点。你来不来?"

 "来!我打车!"

 四十分钟后,小川出现在白石洲的巷子里,穿着睡衣趿着拖鞋,头发乱成鸡窝。他冲进陆明的房间,看了一眼屏幕上的数字,然后抱住了陆明。

 "明哥,你是天才。"

 "我不是天才。"陆明笑了,笑到最后眼眶有点湿。"我只是比别人倔一点。"

 窗外,深圳的天空开始泛白。新的一天正在来临。而在白石洲这间不起眼的出租屋里,一个可能改变世界的东西,刚刚迈出了它的第一步。

🎁
Sign up & get 100 points!
Redeem points for free products
Join