Erster grösserer Schritt in das nationale Rampenlicht war die Vizemeisterschaft des Jahres 1907 hinter dem Genfer Servette FC. 1923 konnte der Erfolg wiederholt werden, diesmal hinter dem FC Bern – wenngleich der FC Bern später disqualifiziert wurde.

Im Mai 1924 nahmen die Young Fellows die Sportplatzanlage Förrlibuck in der Förrlibuckstrasse bei der Einmündung der Herdernstrasse, heute hier Duttweilerstrasse genannt, in Betrieb. Die Anlage konnte bis zu 18'000 Zuseher aufnehmen und wurde mit einer Partie gegen den FC Legnano eröffnet. Danach folgte noch die Meisterschaftspartie zwischen den Grasshoppers und den FC Blue Stars. Der Platz blieb bis 1937 die sportliche Heimat der Young Fellows.

Es folgte das Vordringen in das Final des Schweizer Cup 1926/27 das im April 1926 gegen den von Dori Kürschner trainierten Lokalrivalen Grasshoppers mit 1:3 verloren wurde.

1933 Gründungsmitglied der Nationalliga hielten sie sich fast ein halbes Jahrhundert lang, bis 1952, als einziger Verein ausser Servette immer in der höchsten Spielklasse.

Im März 1936 standen vier YF-Spieler beim 0:1 gegen Irland in Dublin in der Nationalmannschaft: Torhüter Gustav Schlegel, Verteidiger Eduard "Edi" Müller, Rechtsaussen Eugen Diebold und Mittelstürmer Alessandro Frigerio. Der legendäre YF Trainer und früherer ungarische Nationalspieler József "Csibi" Winkler führte FCYF vier Wochen später zum Cup-Sieg durch ein 2:0 über Servette FC Genève im Zürcher Hardturm-Stadion. 1936 wurden die Young Fellows zudem Vizemeister hinter Lausanne-Sports. 1936 und 1937 gab es Teilnahmen am Mitropapokal. 1936 ging das mit Ergebnissen von 0:3 und 2:6 gegen den Phöbus FC aus Budapest in der ersten Runde arg in die Hose, während sich die Young Fellows 1937 recht achtbar schlugen: nach einer 2:1 Auswärtsniederlage und einem 1:0 Daheim kam das Erstrundenaus gegen den First Vienna FC erst nach einem 0:2 im Entscheidungsspiel das in Zürich stattfand.

1936 wurde Gustav Wiederkehr, Teppichhändler und späterer Präsident des Schweizerischer Fussballverbandes, der UEFA und Vizepräser der FIFA-Präsident der Young Fellows, eine Position die er bis 1949 behielt. Er führte den Verein, der 1931 professionalisiert wurde, was zwar relativ erfolgreich aber doch recht kostspielig war, wieder zum Amateurismus zurück. YF hatte im Krieg die grösste Jugendabteilung und stellte die meisten Teams in der Meisterschaft. Er setzte sich für die Weiterbildung und den Aufstieg seiner Spieler im Beruf ein, wie das bspw. die Nationalspieler Walter Eich und Walter „Wädi“ Fink erfuhren.

Nach dem ersten Erstligaabstieg entwickelte sich YF zuerst zur Fahrstuhlmannschaft zwischen Nationalliga A und B. 1971 erfolgte erstmals der Abstieg in die Drittklassigkeit. Nach einem letzten Besuch in der Nationalliga A 1977/78 stieg der Verein anfangs der 1980er Jahre sogar mehrere Saisonen aus der dritten Liga ab.

1933 spielten bei Young Fellows Zürich mit dem Schwarzen Wunder Fausto dos Santos und Fernando Giudicelli zwei brasilianische Weltmeisterschaftsteilnehmer von 1930 sowie 1957/58 als ungarischer Flüchtling der amtierende Torschützenkönig der Weltmeisterschaft 1954 Sándor Kocsis der bei YF in 11 Spielen 7 Tore erzielte ehe er nach Barcelona umzog. Zwischen 1951 und 1953 war der deutsche Weltmeisterschaftsteilnehmer Edmund Conen Spielertrainer beim Verein. In der Hinrunde der Saison 1961/62 besserte der vom FC Bayern gekommene Weltmeister von 1954 Karl Mai seine Pensionskasse bei den damals vom ebenfalls von den Bayern gekommenen Österreicher Adolf Patek trainierten Young Fellows noch etwas auf. Nachfolger Pateks nach dem Abstieg 1963 wurde dann der Jugoslawe der Vujadin Boskov, der Spielertrainer beim YF machte.