Mario wordt uitgenodigd in Peach’s kasteel, maar als hij aankomt is Peach nergens te bekennen. Hij hoort al snel van Toad dat Bowser haar opnieuw heeft ontvoerd. De Koopa King heeft ook een spreuk op haar kasteel uitgesproken, waardoor haar onderdanen gevangen zitten. Het is dus aan Mario om de spreuk te verbreken en Peach te redden.
Super Mario 64 is de eerste Mario-game die volledig met 3D-graphics is gemaakt. De kerngameplay is vergelijkbaar met eerdere platformspellen, met de nadruk op springen, obstakels ontwijken en vijanden verslaan. Levels kunnen zonder tijdslimiet worden verkend. Sterren moeten worden verzameld om nieuwe gebieden te ontgrendelen, en uiteindelijk krijg je toegang tot verschillende delen van Bowsers kasteel. Als je Bowser op elke verdieping verslaat, krijg je sleutels die nodig zijn om grote deuren te ontgrendelen en andere verdiepingen te betreden, die meer gebieden bevatten.
Mario heeft in dit deel meer bewegingen tot zijn beschikking. Naast rennen en springen kan hij nu lopen, hurken, kruipen, klimmen en vijanden slaan. Dubbele en driedubbele sprongen, lange sprongen, muursprongen en backflips kunnen ook worden uitgevoerd. Onder water zwemmen put nu Mario’s zuurstofniveau uit. In sommige gevallen moeten items worden opgepakt en gedragen om puzzels op te lossen.
Power-ups zijn onder andere de Wing Cap, waarmee Mario kan vliegen; de Metal Cap, die hem beschermt tegen schade (inclusief omgevingsgevaren zoals giftig gas); en de Vanish Cap, die Mario etherisch maakt, waardoor hij door bepaalde obstakels kan lopen (zoals gaas). Mario kan ook kanonnen betreden en erdoor worden beschoten; in combinatie met het vliegvermogen geeft dit toegang tot hoge gebieden.