Ime naselja naj bi izhajalo iz ogljarskih dejavnosti takratnih prebivalcev (s korenom besede »hrast-oglje«) ali pa preko italijanskega poimenovanja romarske poti Via del Cristo, iz katere naj bi se razvila beseda Cristovia, nato Hrastovia in nazadnje Hrastovlje.

Mednarodno prepoznana je vas postala leta 1949, ko je domačin, kipar Jože Pohlen, v lokalni cerkvi Svete Trojice, enem izmed najstarejših objektov v Istri, razkril freske Mrtvaški ples.