水泥的歷史最早可追溯到古羅馬人在建筑中使用的石灰與火山灰的混合物，這種混合物與現代的石灰火山灰水泥很相似。用它膠結碎石制成的混凝土，硬化后不但強度較高，而且還能抵抗淡水或含鹽水的侵蝕。長期以來，它作為一種重要的膠凝材料，廣泛應用于建筑工程。
1756年，英國工程師J.斯米頓在研究某些石灰在水中硬化的特性時發現：要獲得水硬性石灰，必須采用含有粘土的石灰石來燒制；用于水下建筑的砌筑砂漿，最理想的成分是由水硬性石灰和火山灰配成。這個重要的發現為近代水泥的研制和發展奠定了理論基礎。
1796年，英國人J.帕克用泥灰巖燒制出了一種水泥，外觀呈棕色，很像古羅馬時代的石灰和火山灰混合物，命名為羅馬水泥。因為它是采用天然泥灰巖作原料，不經配料直接燒制而成的，故又名天然水泥。具有良好的水硬性和快凝特性，特別適用于與水接觸的工程。
1813年，法國的土木技師畢加發現了石灰和粘土按三比一混合制成的水泥性能最好。
1824年，英國建筑工人J.阿斯普丁取得了波特蘭水泥的專利權。他用石灰石和粘土為原料，按一定比例配合后，在類似于燒石灰的立窯內煅燒成熟料，再經磨細制成水泥。因水泥硬化后的顏色與英格蘭島上波特蘭地方用于建筑的石頭相似，被命名為波特蘭水泥。它具有優良的建筑性能，在水泥史上具有劃時代意義。
1907年，法國比埃利用鋁礦石的鐵礬土代替粘土，混合石灰巖燒制成了水泥。由于這種水泥含有大量的氧化鋁，所以叫做“礬土水泥”。
1871年，日本開始建造水泥廠。
1877年，英國的克蘭普頓發明了回轉爐，并于1885年經蘭薩姆改革成更好的回轉爐。
1889年，中國河北唐山開平煤礦附近，設立了用立窯生產的唐山“細綿土”廠。
1906年在該廠的基礎上建立了啟新洋灰公司，年產水泥4萬噸。
1893年，日本遠藤秀行和內海三貞二人發明了不怕海水的硅酸鹽水泥。
20世紀，人們在不斷改進波特蘭水泥性能的同時，研制成功了一批適用于特殊建筑工程的水泥，如高鋁水泥，特種水泥等。全世界的水泥品種已發展到100多種，2007年水泥年產量約20億噸。
中國在1952年制訂了第一個全國統一標準，確定水泥生產以多品種多標號為原則，并將波特蘭水泥按其所含的主要礦物組成改稱為矽酸鹽水泥，后又改稱為硅酸鹽水泥至今。2007年中國水泥年產量約11億噸。
