1984年，上海海运学院档案室成立，隶属于院长办公室，负责集中统一管理全院的文书、科技、财会等各类档案。2007年，为进一步深化学校内部机构改革，加强档案工作，学校成立档案馆，挂靠校长办公室，负责集中统一管理全校的党政、教学、科研、基建、外事、出版、设备、财会、校办产业、学生以及声像类档案，履行学校档案行政管理和档案业务管理与服务双重职能。2021年9月，经学校研究决定，档案馆与图书馆合署办公。
档案馆现位于临港校区中远图书馆大楼，馆舍总面积约600余平方米，其中包括4间库房，面积约530平方米。截至2022年12月31日，档案馆馆藏党政、教学、科研等各类档案共72000余卷。2021年起，档案馆启动存量档案数字化工作，旨在不断推进档案信息化建设，并以此为基础，更好地为学校文化传播服务，为师生需求服务，为社会各界服务。