Author Archives: Wang Isabelle

模型，MlSys，engineering work or research?

我和两个做CV/world model的人分别聊天，做了flashdream的说：“感觉这个不够elegant，这种compression太engineer了。” 另外一个同学也说觉得inference加速什么的，没有意思，不够“research”。 emmm那这就是为啥这帮人和搞mlsys的人有点不对付吗？ 就是觉得mlsys只是engineering work而不够research elegant？ 确实，感觉ml compiler这种比较偏rule-based。毕竟compiler啊，dsl啊这种，是比较“人造的”感觉。相比起来，gradient descend 这种 optimization，那种符合“数学直觉”的，可能就会有人觉得更美丽一些。 可是毕竟我们生活在物理世界而不是“真空球形鸡”的理论世界。所以不得不被现有的芯片，显卡，局限住。 那么问题就来了。software-hardware optimization这种东西，可行吗？ 我能想到的一个问题就是：做模型的人会手搓kernel吗？ 或者说，他们会在乎吗？还是只是觉得“啊反正丢给nvidia的人去优化就行了，我模型的数学已经弄好了”。 在乎的话，会手搓到那一层呢？ 我能想到的一个on top of my head example 就是satnet。似乎是很solid的有一些自己学的cuda kernel。为什么我会知道这个呢。。。这就要说到一些八卦了。但我们先按下不表。 那么，这种行为是一个general practice吗？ 哦！chris之前说，有的时候大家propose不同的architecutre只是在不同的dimension挪来挪去。比如MoE可能快但是更占memory，diffusion model可能有另外的tradeoff（忘了具体是啥）。但本质只是在这些axis上挪来挪去而已，并没有什么fundamental解决方案？

认可自己

Be grateful for what you have right now. 当你和其他人进行比较的时候，你很容易会觉得“天呐，如果我之前更努力一些，我也可以xxx。” 我们从小总是被教育“不要太过于自信”，“不要自满”，“不要觉得你已经很厉害了，你还差得远着呢”。当你完成一件事情的时候，会有人来和你说“你还有很多进步空间”，让你觉得前方是个永远也走不完的山洞。 但其实，对自己自信并不意味着从此就固不前进了。相反的，应该是使你认可自己，清醒地认识到自己的努力，运气，以及两者的结合。谁说运气不是实力的一部分呢？ 你应当想“My hard work, talent and good luck have brought me this far, of course I can keep going!”, 而不是还没开始，就想着“反正也做不好，反正也会被批评，反正永远不够好，那么不如晚一点开始也没有关系。”  如果不做，自然不会失败。但同样的，如果不做，也同样不会成功。 No matter what, try it.  也许现在你在的位置并不是最理想的，但是，或许你会到几年前甚至一年前，和那时候的你描述你现在的位置，ta也会说“哇哦，那正是我梦想中的生活！” 对自己说，“你做的很好！你可以做到的！” 而不是“这算什么，你还有好多没做的。” 认可自己的过去，才能更好的往前走。不然就像空中楼阁，没有地基和起源，怎么搭建宏伟的建筑。 Know where you came from, know where you are now. 

What is intelligence?

在这里放一些（可能）关于我的research的东西： What computers can’t do(1972) ➕ What computers still can’t do(1992), Books by Hubert Dreyfus What is computation: Computing Machinery and Intelligence(1950), Alan Turing What is truth: (Godel incompleteness theorem) 推荐阅读：Godel, Escher, Bach: An Eternal Golden Braid, Godel, Escher, Bach: An Eternal Golden Braid, Douglas Hofstadter What is emotion: Sketch for a Theory of theContinue reading “What is intelligence?”

理性，艺术和superiority complex

我曾经一直以为，理智和感性的艺术是相对的，矛盾的。因为我想，如果追求绝对的理智的话，就应当摒弃以来感性传达意义的艺术。例如，绘画，音乐，雕塑，诗歌。就好像，你读到一篇感人的文章，作为一个绝对理智的人，你应当去思考，这里面的人的动机是否完全理性。 但我今天才发现，其实不是的。理性和感性其实并不矛盾。 某种程度来讲，这些都是我们人类认为的，在生物上可以被分类为“Homo Sapien”的生物和其他生物的差别1。我们具有rational thinking capability。Our reason can rise above our desire for pleasure and aversion to pain. (Whether we should try to use it to the fullest extend because we have this capacity [‘can’ implies ‘ought’?] is another question.) We have the ability to think about the future and things that directly in frontContinue reading “理性，艺术和superiority complex”

What’s it like to keep going downhill

I woke up today wishing I would go back to the summer I graduated high school. Last time, in my dream I went back to high school. It’s not the first time I had such dream. In high school I wished everything would end and I would start my fresh life in University. I thoughtContinue reading “What’s it like to keep going downhill”

当代女大学生的恋爱危机

这是你：不上不下令人尴尬。既不会胖成球也练不出六块腹肌。不至于挂科但也不是班级top几。 天天幻想着能有成熟温柔的大叔来照顾你，但实际上喜欢你的都是弟弟。一天的学习已经够累了只想躺在床上玩会儿游戏刷刷微博，根本没心情去安抚弟弟那无处安放的躁动的内心。你需要的时候在你无助的时候能帮你切实解决问题的人，而不是一个只会和你一起嘤嘤嘤，哈哈哈，没事信息spam你，有事儿玩儿失踪的弟弟。 但可惜啊妹妹，那样的男人也看不上你。 论撩人，虽然不是什么金刚萝莉钢铁之女，但撒娇的段数绝对够不上风情妖艳。甚至还会见到男生就绕着走。空有搭讪的心却没搭讪的胆儿。也更没有别人无论怎样都要上去搭讪你的女神资质。任凭别人怎么觉得你看着不像是母胎solo，也只能无奈的摇着头说确实没谈。 之前宋茜演的那个电视剧很火的时候，姐弟恋也大热。只可惜，其实从十几岁到四十几岁，大家喜欢的都是二十到三十岁直接的男人。按我闺蜜的话说就是：可盐可甜，有少年的活力和任性，也有成年人的懂事和成熟。不管是叫小奶狗还是小狼狗，那都是能拿捏分寸，能够在你需要的时候给予你帮助的，无论是情感还是肉体还是物质。除去这些，不过是朵烂桃花。 就算有个看对眼的，也没准是海王。勾搭你的时候一套套，若近若离的手法玩出了花。让你怀疑你的感情，怀疑你自己，怀疑整个男女感情，然后全身而退。被玩弄了感情的女生或是酒吧买醉，或是再也不相信爱情。而男生掸掸灰尘早已转向了下一个目标。  行，算你走运，你正好和一位优秀的男生相互欣赏，恰巧他也不是渣男。那么接下来的挑战是同居。不好意思，同居下一切美好的假象皆被撕破。一个词：“洁癖”，足以解释一切。很快曾经眼里装着星星的人变得乏善可陈，曾经谈论的诗歌和哲学变成了日复一日的油盐酱醋茶。独居的你并不习惯另一个人生活的痕迹和声音。于是开始了长久的忍耐和坚持，最终爆发成一场骇人的吵架，抑或是绝对零度的关系冰点。由此结束。 母胎solo的日子，就这样在渴望结束却又无法结束的情况下一天一天的继续着。 — 感谢我的好朋友们对我的支持：并不母胎solo但却因为撒娇被前前男朋友说太“娘”，屡次感情撞墙的奇葩收割者小g，我的母胎solo学霸朋友小s，洁癖和强迫症双重加持的小j，艺品奇好性格绝佳的话痨小h。