Nato a Milano nel 1941, Vittorio Castelli comincia a studiare musica (clarinetto, teoria e composizione) nel 1956 presso la "Scuola Musicale di Milano".
Dopo i primi tentativi di formare una band, nel 1961 suona con la "Old Stone Jazz Band", da cui nascerà poco dopo la "Bovisa New Orleans Jazz Band", di cui sarà uno dei componenti originali e con cui resterà sei mesi.
Nel 1962 comincia a suonare anche il sax tenore.
Col fratello Guido e il cugino Duccio forma il quintetto La Swinghera che, pur cambiando assai (in seguito diventerà quartetto) è tuttora in attività.
Dal 1975 al 1978 torna con la Bovisa NOJB, suonando anche a fianco di ospiti illustri come Wingy Manone, Thomas Jefferson e Freddie Kohlman e partecipando fra l'altro alla "Grande Parade du Jazz" di Nizza.
Dal 1978 lascia la Bovisa NOJB (con cui collaborerà ancora ma saltuariamente) e si dedica assiduamente alla Swinghera che ospiterà anche ospiti illustri come i sassofonisti Benny Waters e Earle Warren e, di nuovo, Freddie Kohlman.
Il sodalizio con Kohlman durerà fino alla sua morte, avvenuta nel 1990, e sarà di grande impatto sullo sviluppo musicale della band.
Nel 1983 nascono i Jambalaya Six, una formazione di stile armstronghiano, fondamentalmente una "Swinghera" allargata a sei-sette strumentisti, che di qui in poi svolgerà intensa attività alternandosi secondo necessità al quartetto.

Lo stesso anno entra anche nella "Ambrosia Brass Band", la prima formazione jazz itinerante sulla scena italiana.
Nel 2001 assieme alla maggior parte dei componenti, lascia l'Ambrosia Brass band per fondare la Pegasus Brass Band, che prosegue la tradizione delle marching band nello stile originario di New Orleans.

Fino dalla prima edizione (1976), con tutte le formazioni di cui sopra, partecipa regolarmente alla "Festa New Orleans Music" di Lugano che poi, nella sua seconda decade, si sposterà a Ascona.
Fra gli ospiti illustri, oltre a Kohlman, si ricordano anche Teddy Riley, Jay McShann, Walter Payton, Freddy Lonzo, Wendell Brunious e le cantanti Lillian Boutée e Tori Robinson.
In Italia e all'estero, questi gruppi hanno partecipato, con ospiti o senza, a altre importanti manifestazioni come Umbria Jazz (Perugia), ai festival di Dresda, Kempten e Burghausen (Germania), Davos, Celerina, St. Gallen, Bulle e Rapperswil (Svizzera), Saint Raphael (Francia), i Riverboat Festival e International Jazz festival on Sea nonché a diversi tour internazionali della serie "New Orleans Meets...".

Come giornalista specializzato in Jazz, Vittorio Castelli ha collaborato a molte testate fra cui Musica Jazz, Amadeus, Ritmo, L'Europeo e Corriere Medico.
Ha pubblicato, anche in collaborazione con altri autori, libri come "The Bix Bands" (ed. Raretone), "Il disco di jazz" (ed. Mondadori), "100 dischi ideali per capire il jazz" (ed. Editori Riuniti), "Il Jazz moderno - da Charlie Parker a Ornette Coleman" (ed. Carisch), "Il secolo di Louis Armstrong" (ed. Luciano Vanni editore).
E' stato inoltre uno dei consulenti del regista Pupi Avati per la stesura della sceneggiatura del film "Bix", dedicato al famoso cornettista bianco morto giovanissimo nel 1931.
Ha condotto diverse centinaia di ore di trasmissione sia nell'ambito di programmi della RAI che di molte altre emittenti radiofoniche private, fra le quali la ormai leggendaria Europa Radio Milano.
Nel 1984, Vittorio Castelli è stato prescelto dalla RAI per rappresentare l'Italia nel concorso radiofonico "Quiz Internazionale Del Jazz", quell'anno dedicato alla musica di Duke Ellington, ed ha vinto il primo premio.

Come cultore di jazz e collezionista di dischi ha accumulato una discreta conoscenza di tutta la produzione discografica "pre-free jazz", cioè fino agli anni setttanta.
Tuttavia è del jazz "classico" che si è sempre e soprattutto interessato.
In particolare si è dedicato molto alle discografie di Louis Armstrong e di Duke Ellington.
Vittorio Castelli sarà lieto di entrare in corrispondenza con altri cultori del ramo per chiarire e discutere problemi inerenti a questi argomenti.