Pod względem opowiedzianej historii Mafia II zachowuje ciąg fabularny z pierwszą odsłoną cyklu (m.in. liczne smaczki i nawiązania), jednak tym razem akcja toczy się kilkanaście lat po opisanych tam wydarzeniach (przełom lat 40. i 50.), a podczas zabawy przejmujemy kontrolę nad zupełnie nowym bohaterem. W grze wcielamy się bowiem w postać niejakiego Vittorio Scalettiego, który w 1945 roku kończy służbę wojskową i powraca do rodzinnego miasta Empire Bay. Wraz z dawnym przyjacielem Joe Barbaro, nasz protagonista próbuje odnaleźć się w nowej rzeczywistości, w której szczytem marzeń jest stabilna praca za głodową pensję w pobliskich dokach. Nasz bohater nie zamierza jednak iść w ślady swoich rówieśników i pragnąc zapewnić sobie godziwe życie powoli wkracza na drogę przestępstwa, aby wraz z postępami gry stać się pełnoprawnym członkiem wpływowej, lokalnej rodziny mafijnej.