Hi! Check out my work, and get in touch below;
About Me
Combination of extreme subjective and objective thoughts. Math/Philosophy/Art/Computer Science.
Figure skater/coser/photographer/tennis player/piano/violin
Connect with me or check out more here⬇️
Recent Posts
模型，MlSys，engineering work or research?
我和两个做CV/world model的人分别聊天，做了flashdream的说：“感觉这个不够elegant，这种compression太engineer了。” 另外一个同学也说觉得inference加速什么的，没有意思，不够“research”。 emmm那这就是为啥这帮人和搞mlsys的人有点不对付吗？ 就是觉得mlsys只是engineering work而不够research elegant？ 确实，感觉ml compiler这种比较偏rule-based。毕竟compiler啊，dsl啊这种，是比较“人造的”感觉。相比起来，gradient descend 这种 optimization，那种符合“数学直觉”的，可能就会有人觉得更美丽一些。 可是毕竟我们生活在物理世界而不是“真空球形鸡”的理论世界。所以不得不被现有的芯片，显卡，局限住。 那么问题就来了。software-hardware optimization这种东西，可行吗？ 我能想到的一个问题就是：做模型的人会手搓kernel吗？ 或者说，他们会在乎吗？还是只是觉得“啊反正丢给nvidia的人去优化就行了，我模型的数学已经弄好了”。 在乎的话，会手搓到那一层呢？ 我能想到的一个on top of my head example 就是satnet。似乎是很solid的有一些自己学的cuda kernel。为什么我会知道这个呢。。。这就要说到一些八卦了。但我们先按下不表。 那么，这种行为是一个general practice吗？ 哦！chris之前说，有的时候大家propose不同的architecutre只是在不同的dimension挪来挪去。比如MoE可能快但是更占memory，diffusion model可能有另外的tradeoff（忘了具体是啥）。但本质只是在这些axis上挪来挪去而已，并没有什么fundamental解决方案？
认可自己
Be grateful for what you have right now. 当你和其他人进行比较的时候，你很容易会觉得“天呐，如果我之前更努力一些，我也可以xxx。” 我们从小总是被教育“不要太过于自信”，“不要自满”，“不要觉得你已经很厉害了，你还差得远着呢”。当你完成一件事情的时候，会有人来和你说“你还有很多进步空间”，让你觉得前方是个永远也走不完的山洞。 但其实，对自己自信并不意味着从此就固不前进了。相反的，应该是使你认可自己，清醒地认识到自己的努力，运气，以及两者的结合。谁说运气不是实力的一部分呢？ 你应当想“My hard work, talent and good luck have brought me this far, of course I can keep going!”, 而不是还没开始，就想着“反正也做不好，反正也会被批评，反正永远不够好，那么不如晚一点开始也没有关系。” 如果不做，自然不会失败。但同样的，如果不做，也同样不会成功。 No matter what, try it. 也许现在你在的位置并不是最理想的，但是，或许你会到几年前甚至一年前，和那时候的你描述你现在的位置，ta也会说“哇哦，那正是我梦想中的生活！” 对自己说，“你做的很好！你可以做到的！” 而不是“这算什么，你还有好多没做的。” 认可自己的过去，才能更好的往前走。不然就像空中楼阁，没有地基和起源，怎么搭建宏伟的建筑。 Know where you came from, know where you are now.
About Me
Hire Me
In years of experience, I contributed to numerous projects that helped clients achieve their goals. I am available for taking on new work. See my contact information below and get in touch.
Work With Me
My skills and specialities include AutoCAD, Fashion Modeling, Pet Styling, 120mm Film, Blogging, and Getting Things Done.
Follow Me
My portfolio showcases various projects created throughout my career. Subscribe to my site to get updated when I add new stuff.
Izzy Fermecat 