港西的第二大姓杜氏的開基祖杜雙（？~1880）攜帶家眷入墾後港西，迄今已有一百多年。

杜雙為清時貢生，曾進京考進士，備取。1880年去世，葬於杜寶藏田，墓園宏偉。日治時日人強迫挖起，墓碑保存於杜五音家，而墓庭的石板浮雕及雙獅保存於杜寶藏家，雙獅後來被安置於許美墓園，杜氏宗祠落成後，墓碑則安置於宗祠右側。杜氏宗祠規模宏偉，佔地600坪，由十四位杜氏宗親捐贈，造價292萬2千元，亦全數由分散各地杜氏宗親樂捐，民國80年動工，81年完工。杜氏宗祠的保護神天聖元帥，俗姓杜天成，身材魁武，孔武有力，遊走鄉里，杜氏族人引以為恥，最後為杜氏族人設計謀殺後陰魂不散，作祟於族人，最後由庄廟唐安宮主祀騰風元帥牽成其為神明，而冤魂搖身一變成為守護神明。