1968年12月，在國家“上山下鄉”的號召下，祁俊作為“老三屆”來到陜西渭南地區的一個小縣城，在這里揮灑了三年青春歲月。1971年陜西黃河工程機械廠招工，作為知識青年，祁俊隨同其他將近400名知青一同被招進工廠。陜西黃河工程機械廠建立于1964年，是國家建設的三線企業，當時工程機械行業的三線企業除了黃河工程機械廠外，還有浦沅工程機械廠、長江起重機廠、長江挖掘機廠、長江液壓件廠、天水風動工具廠。一機部給黃河工程機械廠的定位是中馬力推土機廠。祁俊進入工廠時，廠里正在搞基礎建設，還沒有廠房。所以進廠之后祁俊的工作是操作工程機械設備，也就是工程機械操作員。1974年黃河工程機械廠開辦了721工大，祁俊又作為第一批721工大的學員辦理了脫產手續進入工人大學學習，當初選擇的專業是機制工藝（機械制造）。1976年畢業之后分配到黃河廠的柴油機車間做技術員，首先是編制工藝。后又被調任到車間做計劃和調度工作。后來升為廠里生產科的技術調度員，管理全廠冷加工的計劃和調度。再后來又回到車間做車間副主任、主任、支部書記，經過一段時間的鍛煉又回到廠里做總調度室主任，廠長助理，副廠長，直到1991年。祁俊的愛人是北京知青，1991年為了解決孩子上學的問題已經回到北京，隨后祁俊被調到機械部人事司的企業勞資處。
黃河工程機械廠的工作經驗，讓祁俊對基層的每一個環節有了詳細的了解。特別是在管理的時候，不管冷加工和熱加工，包括每一個班組和加工工具的使用和具體要求，祁俊都親身經歷過，對企業也有了更深的認識。而在部委的工作則讓祁俊從宏觀上、從國家政策和大局層面用宏觀的角度去看待問題，這些對祁俊的工作有很大的影響和提高。
