Brosnan s pokojnom suprugom ima i sina Šona koji je takođe glumac, a nakon njene smrti usvojio je dvoje dece - Šarlot, koja je preminula 2013. godine i Kristofera. Sa sadašnjom suprugom Kili Šej Smit ima dva sina - Dilana i Paris. Glumac, koji je rođen u Irskoj, imao je i prilično teško detinjstvo.
Otac je napustio porodicu ubrzo nakon njegovog rođenja, a njegova majka otišla je raditi u London. Bivši Džejms Bond tehnički je bio siroče koje je prvo živelo sa rođacima, a kasnije u internatu.
