NeurIPS

12月初去了阴雨连绵的温哥华，参加闻名已久的AI届顶级学术会议NeurIPS。

在Flux的时候Chen就嚷嚷着要去这个会议，但当时作为一个纯工业界的startup，实在没什么要去的理由。这次虽然还是个基本工程化的startup，但AI的味道重了不少，也有在招applied researcher。我后来又看到投资人（Radical）在会议前还搞了meetup看起来很鼓励大家去的样子，于是就动了去一趟的心思。

这会议已经火到买票都要抽奖了。我11月初加入了奖池，到11月下旬最后两三周才抽到。赶紧去订机票和住处发现直飞机票和会展中心附近的酒店都已经贵到离谱了，还好折腾一下还是搞定了。后来得知这会议居然有13000多人参加，都能塞到一个会展中心里也是挺厉害的。

作为一个从来没去过任何学术会议的人，这个会议的组织方式对我来说还是挺新鲜的。一开始看日程觉得并行度很高，很多时候都有几十个talk和workshop在并行进行，想想可能是因为学术细分领域比较多吧。很多主题都是看一下就觉得完全不会听得懂的那种。还好仔细找找还是能找到不少偏工程应用的session的。正式日程每天有两场invited talk是独占一段时间的，这些就相当于keynote了，普遍都是一些大腕在讲。这次可能最著名的是李飞飞和Ilya Sutskever了。有趣的是这些talk似乎有不能打广告的潜在规矩，GCP的人来讲evaluation也不能介绍自己的产品，和商业公司举办的会议很不一样。

会议的另一大重点是poster session，让我觉得很开眼界。这个会录了4000多篇论文，即使几十个教室并行讲，五六天也是讲不完的。大批量的展示就是这种poster session。有两个很大的展厅，每个展厅放了几百个白板。被接受的论文在这里就会分到一个板子，作者在上面贴一张自己的海报，守在板子旁边给过往的人讲解和回答问题。这里的气氛相当热烈。毕竟是AI的顶级会议，学生来这里贴一篇论文估计都有种“made it”的感觉，作为观众也会有点被他们的情绪感染到。我在里面转来转去还是可以找到一些自己能看懂大概的论文，偶尔会发现几篇跟我们做的东西比较相关或者有启发的，会仔细看一阵。转poster session是个很累人的事情，我每次都觉得转个一小时就不行了，很佩服作者们一蹲三小时的体力和激情。

Workshop通常是围绕一个主题的一组talk，大多也都是基于论文的。周六和周日（对，这个会一直开到周日下午。。）我去了两个competition workshop，还满有意思的。通常是一些公司发布一些在线竞赛，做一个模型然后测试效果之类的，前三名会有奖金并被邀请来在workshop上present成果。这次去看了一个预测广告定价和一个压缩小模型的，都很有趣。获奖的有业界的研究员，也有学校的学生。有时候发现一些数据里的规律就可以利用起来获得好成绩，并不是算力多资源多就有优势。

我这次在某天会场里找工作人员问路，问完转身发现身后居然就是李飞飞。当时还是有那么一点fan moment的，差点就冲上去要求合影了。李飞飞这次的talk很不错，深入浅出讲了她对AI这些年发展脉络的理解，解释了她为什么认为3D世界的模拟是未来的方向。

Illya的talk是网上看到转发比较多的。主要是因为他旗帜鲜明的提出了pre-training is over这个很多人揣测的想法。世界上只有一个Internet，能用来train的数据就这么多，他认为训练数据的有机增加速度已经无法让模型有下一步跃迁型的突破了。

另外比较有话题的另一个invited talk就是MIT的一位在某一页slide里提到了一个中国学生考试作弊云云，然后当场被问为什么要提国籍。。这事传得挺大，LinkedIn上很多转发。这人自己道歉。会议组织委员会也给全体参会的人发邮件道歉。只能说偏见人人心里有意无意都有，在这种大场合写在slide上就有些敏感度不够了。

除了听讲之外也有不少networking的成分，会议的app里面可以组织meetup，也可以发job post和申请工作。我这次去主要目的之一是招人，于是也发了job post，确实收到几十个申请，但大多都是刚要毕业的学生，并不是很适合来我们这个阶段的startup，没人带。。Networking的event各种都有，有去公园徒步看鸟的，但这个天气实在让人提不起兴趣，还有周末不参加workshop去附近滑雪的。我只参加了几个在会场的meetup，大多是vc组织的，startup founder/vc。有些在晚上有正式场地的panel还是有些内容的，也加了一堆LinkedIn。感觉Radical一开始组织的那个meetup还不错，founder/researcher都有。后来有一个特别傻的某vc组织的meetup，订的餐馆室内只能容纳三十来人，但admit了一两百人，结果都站不下只能冒雨站在室外，超冷。。这种地方组织meetup也是个体力活。

这会议整体日程非常intense，每天早上八点多开始，下午五点多结束。温哥华这季节阴雨连绵，倒也没什么地方好去，于是每天就是起来就直奔会场听讲，晚上吃个饭就回去睡觉，比上班还累。。会场中午的午饭十分难吃，sandwich本身做得还行，问题是太冰了，估计是因为外面太冷运输途中保温不够，鸡胸肉快能吃出冰碴子了。于是中午饭点儿会场周围的饭店个个爆满。估计组织的人没想到AI这么火，这么招蜂引蝶。

总的来说去了这趟NeurIPS还是觉得满有收获的。看着青春洋溢的学生们兴奋的present自己的论文，有时候会想会不会在一个alternative universe里我做research也会做得挺开心。