2024年轉職資料科學家不再吃香

GoatWang
Apr 23, 2024

--

2017年我花了一年半時間踏入這個領域,比起會計財稅領域的穩定氛圍,AI技能的技術迭速度與創新環境代讓個人的光環得以顯現,也讓我在2018年開始成為全職資料科學家,並在未來的三年如魚得水,也寫下「非本科系轉職軟體工程師指南」,當時這篇文章在相關關鍵字排行上面可以排到廣告以外前一或二。

不過,也在我安穩的這幾年度過後,我發現自己在工作期間累積的經驗,其實對未來換工作沒有任何幫助,一方面因為這個領域的迭代速度太快,另一方面也因為大型模型逐步取代小型建模需求,這篇文章會詳細說明,我作為資料科學家這幾年遇到的瓶頸,以及如果從新來過我會怎麼選擇。

背景

我從2018年開始做AI工程師,陸續做過地理、水利、衛星、公路、工業等需求的建模,當時對自己還是滿有自信的,覺得自己有能力理解不同領域的需求,並把它們轉化成為專案需求,最終透過深度學習模型實踐出來,除了工程能力、溝通能力也讓我在台灣的工作環境無往不利。

不過也是到了第一份工作的第三年,我開始覺得似乎要讓薪資再往上爬可以突破天花板,要把一些比較基礎的資訊科學的知識學起來,否則很多底層概念都是黑盒子,當時最順擾我的問題大約是:「為什麼C/C++可以比Python有效率那麼多?」,當時也沒有chatGPT可以讓我問,這個問題我周圍始終沒有人可以說明清楚。同時,在台灣硬體發展為主的環境中,無論是要搞晶片或是嵌入式系統,C/C++的職缺薪資看起來都是滿吸引人的。到了2022年,我跟老婆最終決定開始申請看看英國的大學,當時我的想法也很簡單,就是把C/C++學起來,找找看相關的機會,看有沒有可能可以突破天花板。

畢業後,我也確實找到了問題的答案,學到了我想學的技能,但找工作仍不如想像中順利。一方面實際上,國外對於C/C++能力要求並不如台灣這樣吃重,真的要往高新發展有他們的路徑,像是做金融交易或是勤練演算法進大廠。另一方面,不景氣的環境從2022年第一直延伸到2024年中,在2023年9月畢業時仍是非常困難的裁員時刻。

我在英國、新加坡、台灣投了幾百封履歷,有真正收到回信的可說是屈指可數,進去面試階段的更是不到五間,一直到2024年3月後我的linkedin才開始陸續收到比較多主動邀約的獵頭訊息。也因為在這種時刻找工作,特別容易開始檢討自己的能力與履歷,去查看市場動態與需求,也有了寫這篇文章的想法,希望可以從新檢討自己的技能樹累積。

資料科學家的價值

過去資料科學家很大的價值其實來自於建模,針對不同的資料型態建構不同的模型,像是《李飛飛的世界之旅》寫到的,到了2015年他們實驗室嘗試招募研究生,客製化模型去判斷醫院中護士的洗手動作是否確實。當時AI世界的開源交換平台還沒出現,運算硬體取得難度也相對較大,所以作為資料開學家,有很大一部分工作是要設計整個工作流程,從資料的取得、模型建構一直到部署,每一階段都有可觀的工作量。

這樣的趨勢到了2020年以後有了明顯的改變,網路上開始有人分享資料集,Github也開始有程式碼跟權重檔分享,90%以上的任務可能都有開源的解決方案,資料科學家的價值更像是顧問,根據經驗選擇哪些工具更好用,並把所有工具的輸入與輸出串起來,到這個階段,建模的價值已經剩下不多,以物件辨識來說,一個工作三年經驗的工程師,跟一個剛畢業的學生,做出來的專案品質可能其實差不多。不過不用建模,仍有訓練模型的價值,像是怎麼設定參數,怎麼建構訓練環境,以及如何部署,這些工作仍是需要一些經驗。

一直到了2022年,大型語言模型與多模態模型出來,很多都已經具備通用能力,也很多模型也已經可以跟自然語言互動,不管是自然語言本身的溝通,或是自然語言跟電腦視覺的互動,也都有一定水準,目前也正在持續發展這樣的能力,發戰到這個程度,大多資料科學家的價值已經盪然無存,再加上Hugging Face以及各種雲端AI環境一出來,所有過去資料科學家學習到的經驗已經沒有太多價值,資料集、權重與程式碼一行指令可以全部下載,環境有建構好的Docker或雲端資源。

當然,也不能說所有的資料科學家都沒有價值,準確的說有價值的資料科學家已經非常稀少,也就是資料科學家間的貧富差距已經變得非常巨大。若要持續做一個有價值的資料科學家,你必須保證自己走在AI產業的最前沿,無論是世界級的研究室研究人員或是在巨頭企業的研究人員,方能確定你所創造出來的模型會有人使用,並創造商業價值。同時,個人或小型企業,已經不再具備足夠的算力或資料去創造一個有價值的模型。

終身學習的重量

其實自己會踏入這個領域,有很大一部分原因也是因為這個領域的創新氛圍,因為進步跟迭代的速度很快,讓自己可以逃離依靠經驗與知識壟斷的產業,即便沒有經驗跟年資只要可以持續學習跟上最新的潮流與工具,也可以找到一個自己的位置。一直到2023年我從英國讀書完開始找工作,才慢慢意識到這樣的迭代速度其實也是一個很大的壓力,得意地以為自己搭上了火車,實際上這個領域的前沿正以在高鐵的速度推進。

這個感受非常明顯大約就是從chatGPT出來之後,因為過往的經驗大多是做電腦視覺,主要的技術積累大多在卷積神經網路上面,自從Google發出《attention is what you need》之後,這個領域有了顛覆性的改變,模型幾乎已經不會因為模型的權重的增加而遇到瓶頸,唯一的限制只剩下資料,同時也統一了電腦視覺與自然語言的模型架構,讓模型得以透過人類語言來理解圖像,簡單來說就是不用再做分類模型或是分割模型,可以用自然語言的方式讓模型我們完成這些任務(搭配一些簡單的小技巧,如SAM),不過這樣的發展使得過去的所有技術累積在一夕之間灰飛煙滅,什麼CNN, LeNet, ResNet, DenseNet大都成為歷史詞彙。

人人都說要終身學習,才不會被淘汰。但在這個高速迭代的產業中,我清楚地意識到,有意識的終身學習是不夠的,必須要讓自己的工作本身就是學習,否則投入再多的下班時間去研讀論文參加會議,將會讓自己的人生只剩下工作,同時也因為屬於業餘的追趕,沒有太多資源可以實驗跟累積經驗,一輩子有可能就在畏懼落後並命追趕的職業生涯中度過。

我也曾經要嘗試加入這場Transformer派對,讓自己的工作就是在學習,我的碩士論文便是透過自然語言去做影片的分類,也是多模態模型的一種,當時研究也一度成為SOTA,只可惜在發表前一個月,我的分數就已經被新發表的論文超越。沒有發表經驗基本上也就沒有派對的入場券,成為研究員的算盤也就破了。

這些經驗,讓我看到大家都在談Prompt Engineering跟RAG,甚至說不用會寫code就能變成領高薪,我都會覺得要很小心,因為實際上你如果只想當打工仔,可能過幾個月你的技能就已經不再有價值,當然如果你是創業仔,可以乘風兒起、大賺一筆、出場獲利,那也是一可能可行條路。

新的方向

我覺得在這個時代,技能樹已經不是純粹看興趣、科系或是市場需求就好,更多時候要如果經營公司或買賣,去注意(就業)市場的各個動向,以下幾個方面我覺得是可以多多考慮的:

  1. 護城河:這個面向的思考會是,我做了幾年後,不是在這個產業的其他工程師,是不是也有機會學會這個技術。像是電商大數據、MLOps的經驗,一般在公司規模不夠大的地方是沒有辦法學息到這些技能的。
  2. 產業本身賺錢的基礎:如果公司或產業本身就賺的很多,那自然付薪資的壓力就會小很多,也會比較闊。像是座自動化交易的公司,因為本身行業可以資金流的基礎很大,你可以宣稱省了多少成本或是增加多少獲利的機會跟規模也會大大增加。

總體來說,如果持續朝打工仔的方向前進,我會逐步將自己的技能往大數據跟MLOps的方向發展,一方面建模的需求已經持續萎縮,可能再過幾年就真的完全找不到工作了,而這些需求也逐步往更工程的方向發展,白話來說就是市場目前更欠缺讓模型穩定運作的人,而不是搭建模型的人。另一方面,這個領域的護城河也會比較高一點,比起建模這種資策會可以宣稱一年培養5000人的工程師,真正有機會碰到大流量的企業基數一定小得多。

--

--

Responses (1)