1979年是國際兒童年，防止虐待兒童會以微薄的人力物力成立。最初僅為一試驗計劃，研究及確定虐兒問題在香港的嚴重性。計劃由香港賽馬會（當年稱為英皇御准香港賽馬會）資助。 1980年7月，防止虐待兒童會正式成立，以非政府機構註冊，服務宗旨擴大為預防及阻止虐兒事件。

最初本會的辦事處是借用的，在1982年遷往彩雲銀河樓，並成為香港公益金會員機構。自此，本會的主要財政來源亦為香港公益金。

得到凱瑟克基金的支持， 我們的服務在1986年8月得以擴展至屯門，服務重點則從公眾教育著手，防止虐兒。

自1993年1月，由於防止虐待兒童會的工作得到政府的認許，開始獲得政府撥款，成為政府資助的社會服務機構之一。

本會總部在1993年10月再遷往竹園北�h，並於1994年1月由贊助人彭定康夫人主持開幕。

在本會的全力支持下，香港兒童權利委員會於1995年12月28日正式成立，成為獨立的機構，關注香港的兒童權利。