Akcja Mafii osadzona została w fikcyjnym, amerykańskim mieście Lost Heaven (wzorowanym na Chicago, Nowym Jorku oraz San Francisco) i rozgrywa się w latach 1930-38, choć filmowy epilog gry ukazuje nam również dalsze wydarzenia, aż do 1951 roku. Podczas zabawy wcielamy się w postać młodego taksówkarza Thomasa Angelo, który, chcąc zarobić na życie, nie unikał nawet najbardziej niebezpiecznych kursów do „szemranych” dzielnic miasta. Podczas jednego z nich został zaatakowany przez gangsterów niejakiego Morello, ale udało mu się uciec i schronić w pobliskim barze. Tam otrzymał zaś nietypową ofertę pracy, złożoną przez Dona Salieri – właściciela baru i mafioza, trzęsącego całą włoską dzielnicą. Tak oto, na skutek nieoczekiwanego splotu wydarzeń, nasz protagonista wstąpił w szeregi słynnej organizacji przestępczej.