模型，MlSys，engineering work or research?
我和两个做CV/world model的人分别聊天，做了flashdream的说：“感觉这个不够elegant，这种compression太engineer了。” 另外一个同学也说觉得inference加速什么的，没有意思，不够“research”。 emmm那这就是为啥这帮人和搞mlsys的人有点不对付吗？ 就是觉得mlsys只是engineering work而不够research elegant？ 确实，感觉ml compiler这种比较偏rule-based。毕竟compiler啊，dsl啊这种，是比较“人造的”感觉。相比起来，gradient descend 这种 optimization，那种符合“数学直觉”的，可能就会有人觉得更美丽一些。 可是毕竟我们生活在物理世界而不是“真空球形鸡”的理论世界。所以不得不被现有的芯片，显卡，局限住。 那么问题就来了。software-hardware optimization这种东西，可行吗？ 我能想到的一个问题就是：做模型的人会手搓kernel吗？ 或者说，他们会在乎吗？还是只是觉得“啊反正丢给nvidia的人去优化就行了，我模型的数学已经弄好了”。 在乎的话，会手搓到那一层呢？ 我能想到的一个on top of my head example 就是satnet。似乎是很solid的有一些自己学的cuda kernel。为什么我会知道这个呢。。。这就要说到一些八卦了。但我们先按下不表。 那么，这种行为是一个general practice吗？ 哦！chris之前说，有的时候大家propose不同的architecutre只是在不同的dimension挪来挪去。比如MoE可能快但是更占memory，diffusion model可能有另外的tradeoff（忘了具体是啥）。但本质只是在这些axis上挪来挪去而已，并没有什么fundamental解决方案？
认可自己
Be grateful for what you have right now. 当你和其他人进行比较的时候，你很容易会觉得“天呐，如果我之前更努力一些，我也可以xxx。” 我们从小总是被教育“不要太过于自信”，“不要自满”，“不要觉得你已经很厉害了，你还差得远着呢”。当你完成一件事情的时候，会有人来和你说“你还有很多进步空间”，让你觉得前方是个永远也走不完的山洞。 但其实，对自己自信并不意味着从此就固不前进了。相反的，应该是使你认可自己，清醒地认识到自己的努力，运气，以及两者的结合。谁说运气不是实力的一部分呢？ 你应当想“My hard work, talent and good luck have brought me this far, of course I can keep going!”, 而不是还没开始，就想着“反正也做不好，反正也会被批评，反正永远不够好，那么不如晚一点开始也没有关系。” 如果不做，自然不会失败。但同样的，如果不做，也同样不会成功。 No matter what, try it. 也许现在你在的位置并不是最理想的，但是，或许你会到几年前甚至一年前，和那时候的你描述你现在的位置，ta也会说“哇哦，那正是我梦想中的生活！” 对自己说，“你做的很好！你可以做到的！” 而不是“这算什么，你还有好多没做的。” 认可自己的过去，才能更好的往前走。不然就像空中楼阁，没有地基和起源，怎么搭建宏伟的建筑。 Know where you came from, know where you are now.
Follow My Blog
Get new content delivered directly to your inbox.
Izzy Fermecat 