Akcja filmu rozgrywa się w Jokohamie w 1963 roku. W Japonii kończy się właśnie okres powojennej odbudowy, trwa gwałtowna industrializacja, zaś kraj żyje przygotowaniami do igrzysk w Tokio, które mają pokazać światu nową Japonię. Główną bohaterką jest 16-letnia Umi Matsuzaki. Jej ojciec był oficerem marynarki handlowej i zginął, gdy jego statek został zatopiony podczas wojny koreańskiej. Umi nigdy nie pogodziła się do końca z tą stratą i codziennie wywiesza na maszcie przed ich wielkim domem, położonym na wzgórzu nad portem, flagi sygnałowe, których znaczenia nauczył ją ojciec. Tymczasem jej matka, z zawodu lekarka, pozostaje w Stanach Zjednoczonych, zaś na Umi spoczywa odpowiedzialność za prowadzenie domu, w którym oprócz niej i dwójki jej młodszego rodzeństwa mieszka jeszcze babcia oraz wynajmujące u nich pokoje młoda lekarka i studentka malarstwa.