Approfittò così della sua molteplice natura di finanziere internazionale, viaggiatore abituale e collezionista appassionato per controllare le offerte del mercato antiquario di tutta Europa per quasi cinquanta anni, e realizzare il grande progetto della sua vita: trasformare la villa di Montughi nel "suo Museo".
Per salvaguardarne poi l'integrità decise che alla sua morte, avvenuta nel 1906, venisse costituito un museo pubblico affidato alla città di Firenze.
Oltre a una preziosa collezione di armi ed armature in uso tra il XVI ed il XVIII provenienti dall'Europa, dall'Asia, dal Medio e Vicino Oriente, sono presenti arredi e quadri del Botticelli, di Luca Giordano, del Verrocchio, di Pietro Lorenzetti e del Bronzino, mentre nel salone delle bandiere spiccano quelle antiche delle Contrade del Palio di Siena.
Tali bandiere furono acquistate dallo Stibbert in persona da un commerciante fiorentino, tal Gaetano Basetti, il 20 aprile 1884, come riportato sulla ricevuta conservata all'archivio del Museo, nella quale si legge che gli stendardi erano 17 e gli erano costati 1655 lire.
Considerate le più antiche tra quelle a noi pervenute, le bandiere - dipinte a mano in maniera mirabile su seta di buona consistenza - inizialmente erano state poste a decorazione del soffitto di una delle tante sale del Palazzo.
Probabilmente per tale scopo ne erano sufficienti 12, in particolare l'Onda, la Giraffa e il Leocorno, con l'unicorno raffigurato in corsa e non rampante su una veduta cittadina, quindi il Montone, la Civetta, il Nicchio, l'Oca, l'Istrice, la Tartuca, la Pantera, la Lupa e il Drago, con quattro sfingi in perfetto stile neoclassico a dimostrazione che l'esecuzione è collocabile intorno alla metà dell'Ottocento.
Mancano i vessilli dell'Aquila, del Bruco, della Chiocciola, della Selva e della Torre.


inizialmente le bandiere erano fissate al soffitto

Nonostante non accolga più le originali, la Sala delle Bandiere mantiene lo stesso effetto di indubbia suggestione grazie a copie fedeli realizzate in Olanda.