Pre nego što se oženio sa koleginicom Dženifer Garner (39), s kojom ima ćerke Vajolet (6) i Saru (2), Aflek je bio poznati kockar i alkoholičar, zbog čega se lečio na klinici za odvikavanje od poroka. Međutim, čini se da se zvezda ponovo vratila na staze poroka. Aflek je prvi put ušao u tajne krugove ilegalnih partija pokera 2004. dok je bio u vezi sa Dženifer Lopez (41), a potom je u svojoj kući organizovao kockanje koje je bilo poznato pod imenom Benova igra.