Schwarzenberg schrieb einmal in einem Brief an Metternich über den Kaiser:
„Der junge Kaiser wirkt sehr würdevoll, er verhält sich sehr höflich, aber er ist eher kalt. Das Publikum meint – in Wien legen viele Wert auf Freundlichkeit –, dass er nicht sehr herzlich ist. Sein Charakter zeigt nicht die Spur der oberflächlichen Gutherzigkeit der anderen Erzherzöge, es fehlt ihm der Wunsch zu gefallen, nach außen hin gut zu wirken. Andererseits ist er sehr zugänglich, geduldig und bringt die Voraussetzungen mit, allen gegenüber fair zu sein.“ (Zitat aus dem Buch Kaiser Franz Joseph, der Autor John Van der Kiste)
Der Kaiser liebte seine Armee sehr und blieb ihr während seiner gesamten Regierungszeit treu. In der Öffentlichkeit trug er meist Militäruniformen, obwohl sein Volk ihn lieber in einer menschlicheren Form gesehen hätte, aber der Monarch fühlte sich in seinen beliebten Uniformen wohler. Aufgrund seiner roten Hose erhielt er den Spitznamen Leutnant Red Pants. Zivilkleidung trug er nur für inoffizielle Reisen oder Besuche. Seine Fixierung auf Uniformen war dasselbe wie seine Zurückhaltung und sein Misstrauen gegenüber anderen Menschen, er fühlte sich nur in dem wohl, was er erlebt hatte. Als sein langjähriger Lehrer und Ministerpräsident der Schwarzenberg-Regierung starb, weigerte sich Franz Joseph I., einen neuen Ministerpräsidenten zu ernennen, mit der Begründung, dass er niemand anderem so sehr vertrauen könne und dass er tatsächlich sieben Jahre lang regierte und sein Amt allein innehatte.