想要从事算法工程师,要掌握什么?

想要从事算法工程师,要掌握什么?

8年开发,6年产品,现就职于AI公司,NLP领域,被大模型灭很惨的那个NLP。首先盲猜一下,题主要么是5年内的程序员,在就业寒冬大环境下每日战战兢兢;要么是正在考虑就业的大学生。总之就是迷茫,想要一次翻身的机会。为什么会想要从事算法呢?我想应该是赚钱多,而且看起来很厉害的样子。答主先结合实际情况,将算法工程师的情况进行一个展开,让题主对这行有个感性的认识,后面我们在来讲如果真的下定决心要成为算法工程师,路该怎么走,方向该怎么选的问题。

1、薪资方面

在前几年,算法岗的薪资确实是比开发岗要高很多,可以称之为红利期。但最近几年,算法和开发岗有趋于拉平的意思,但是相对来说,同级情况下,算法岗还是要高1~2k的样子。

2、领域分类

算法岗位的方向还是很多的,一方面是按技术领域,可以划分为计算视觉(CV),自然语言处理(NLP),AIGC,语音算法等等。另一方面是按行业领域,分成气象、交通、工业。。。等等等等。方向不一样,技术栈相差非常大了。

3、优缺点

在薪资方面,算法打赢开发。

在难度方面,算法打赢开发。

在工作强度方面,开发打赢算法。

在岗位数量方面,开发打赢算法。

在职业周期长度方面,算法打赢开发。(这也是一些焦虑状态下的程序员对算法岗动心的原因)

在职业发展上限方面,算法打赢开发。

算法还有一个优点,就是知识体系相对来说比较独立,这就对没有学过计算机基础课程的非科班人来说比较友好了。尤其是数学系、物理系大神来说,可以非常丝滑的跨界。

入门级的算法,掌握了Linux基础内容、掌握一两门开发语言(Python、java、C++)、会用TensorFlow、Pytorch等主流的深度学习框架,再刷刷题,就可以去面试了。(注意成为值钱的算法,要求的能力远不止这些,可以先入行,再慢慢补。)

像我们的算法同事,日常主要清洗数据、文本分类、关键信息抽取、还有一些知识图谱的工作;有时候还要给做一些标注工具。没什么上进心的话,在不起眼的小公司,还是可以岁月静好的。

然而谁能想到呢,搅局的来了。

gpt的面世让业界惊叹,AI的“Iphone时刻”来了。从此,AI又进入了新一轮万众瞩目的轮回。生成式大模型令人惊艳的表现,似乎昭示着AGI时代的到来。在短短数月、乃至数周之内,大模型的进化速度让人震惊。

国内的大厂,华为、百度、阿里、京东。。。都在这个领域展开了激战,文心一言、通义千问、盘古。。。一时间如井喷之势袭来,令人目不暇接。

开源这边,也杀疯了。

最先怀疑人生的,就是算法工程师。谁能想到呢?一夜之间就被碾压了。可能你为了一个模型,辛苦调参好多天到头来发现还不如开源模型做的好。

NLP领域就更惨了,受到了大模型的精准降维打击。今年我们公司就裁掉了好几个NLP岗,一时之间,哀鸿遍野,人心惶惶。

“群模乱舞”时代,算法工程师已死?

其实同样怀疑人生的,还有程序员。单纯的撕需求、撸代码、改bug的模式可能会被颠覆——大模型生成的代码,又快又没有bug,要我这程序员有何用?

Midjourney创始人 David Holz说过一句话,“水是危险的,是的,但你也可以在里面游泳,你可以制造船只,可以用水坝发电。水是危险的,但它也是文明的驱动力,作为知道如何与水一起生活和共事的人,我们相处得更好。这是一个机会。”答案已经很明显了。

既然现阶段的LLM,懂开车的人才能开车,那么,要做的当然是去学开车——打不过就加入!

危机即是转机。大模型时代,要做的事情其实很多。大模型是个超级大工具,上游的数据和问题定义、下游的交付验收、以及模型本的微调和更新,都需要很多的工作。

随便数算一下:

1、研究生成内容的可信、可靠性。

2、自研大模型训练、微调

3、大模型增量训练

4、LLM 性能的量化评估

5、基于开源项目的垂直场景延伸

6、大模型外挂私有知识库

。。。

算法工程师如果能深耕大模型,在Langchain应用框架开发上有一定理解和掌握,无疑是近水楼台先得月。

更性感的还在后面。最近「AI 工程师」的概念被不断提出,在业界收到了很大的追捧。

想像一下,在过去需要花费数年时间,一个团队才能完成的AI应用,现在只需要一两个人和AI共同完成。在大模型的推动之下,研发流程会发生变化,生产力的组织方式会发生变化。甚至说由于这位AI队友的存在,算法、开发、甚至产品和运营,不同工种之间的界限将变得模糊,一切以业务为驱动,以效率为前提。这意味着,你无论从哪一层去切入,都有可能吃到整块蛋糕。前提是——你的视线需要不断上移,以“全栈”的视角来审视整个项目。因此,懂得用好各种大模型,将变成当务之急的事情。离风口近一点儿,对风往哪吹才会有更多感知。

关于大模型方面的知识,可以去了解下知乎知学堂推出的AI大模型公开课,两天时间,听圈内大佬畅聊大模型的方方面面,从不同维度进行全面的解读。

这次AI技术,和以往的技术变革有何根本不同?Al编程为何能全面颠覆编程模式?如何利用LangChain让你的LLM更强大?如何让自己成为变化的受益者?程序员如何借助大模型技术提高收入?相信了解课程过后,你会有更深入的思考。

不要害怕来势汹汹的变化。积极拥抱变化吧,风浪越大,鱼越贵!

判断职业的前景方向时,一定要有长远的眼光,要关注工作的核心价值。那么,那个不变的核心价值是什么?

不变的,是发现需求的能力,是深入理解业务的能力,是把业务转化成问题的能力。这些能力一旦AGI结合,将迸发出璀璨的光芒。

随着生产力的提高,不论是从探索求知、还是生活品质方面,人们的需求也必然随之增加和提高。

AGI 是数据、算法和算力的完美实践,是科研、工程和组织的优雅艺术。有了这个超酷队友的加持,更多天马行空的问题将被解答,更多神秘莫测的未知将被揭开。

人类的征途,注定是星辰大海。