L'atmosfera che si respira qui pare ancora quella dell'Ottocento.
Si tratta di un edificio di grande qualità architettonica, ormai inglobato in una struttura successiva rimaneggiata nei secoli. L'attuale fronte della casa è opera di rifacimento ottocentesco e conserva, a testimonianza di modifiche anche precedenti, due balconcini con ringhiera in ferro battuto del Settecento.
La costruzione del palazzo fu iniziata alla fine del Quattrocento e terminata nel secolo successivo, in forme post-bramantesche. Il Palazzo vanta infatti uno dei pochissimi cortili rinascimentali rimasti intatti nella nostra città. Porticato su tre lati, presenta colonne in granito che reggono archi con ghiere in cotto, scanditi da pennacchi con medaglioni marmorei a rilievo, mentre il quarto lato, murato, ha dato luogo a locali adibiti a trattoria, che conservano ancora la copertura a volte al loro interno. Sul lato sinistro si trova un vasto locale a volta lunettata che è stato riutilizzato come sala cinematografica (il cinema Centrale di Via Torino). Nelle vele delle volte si vedono grottesche a graffito di stampo naturalistico su fondo blu. I capitelli di pietra calcarea sono caratterizzati da targhe a testa equina riportanti il grifo rampante dei Grifi. Tra gli archi sono inseriti medaglioni in pietra d'Oira, molto rovinati, raffiguranti imperatori, condottieri, Ercole e teste leonine. Estremamente originali sono le soluzioni angolari con inserzioni di teste a tutto tondo, di gusto archeologizzante, forse della bottega del Briosco.
Il palazzo apparteneva all'importante famiglia dei Grifi, notai e appaltatori della riscossione delle gabelle sotto gli Sforza. Il casato, di origini mercantili, ebbe fra i suoi esponenti influenti intellettuali della corte sforzesca. Si ricordano in particolare Leonardo (arcivescovo di Benevento e autore di poemi) e il fratello Ambrogio, archiatra (medico) alla corte di Lodovico il Moro, morto nel 1493 e sepolto in San Pietro in Gessate nella sua cappella affrescata dallo Zenale.
Nell'Ottocento l'edificio fu sede dell'Albergo Gran Parigi, capolinea della diligenza per Pavia. Mentre il cortile ai piani superiori è stato modificato con i caratteristici ballatoi a ringhiera milanesi, perdendo così il piano nobile, su un lato ora si trova una grande terrazzo. Oggi Casa dei Grifi è un palazzo residenziale che fortunatamente preserva un aspetto ancora di fine Ottocento.