Nel 1972 Sharrock lascia il gruppo di Herbie Mann e qui comincia il suo periodo di declino, che comprende anche gli altri tentativi solistici in compagnia della moglie Linda. Sparisce quasi del tutto dalla circolazione e abbandona, in pratica, anche la chitarra. Lavora come infermiere, poi come autista.

Nel 1978 divorzia da Linda. Nel 1980 trova un ingaggio per l’apertura di un concerto di James Blood Ulmer, il chitarrista che Ornette Coleman aveva introdotto nella sua corte agli inizi degli anni ’70. Qui Sharrock incontra Bill Laswell che diventerà il suo produttore e lo introdurrà nell’ambiente dell’avanguardia newyorchese che conta.

Seguono le collaborazioni con i Material, John Zorn (questa immortalata in Improvised Music New York 1981, con Zorn, Laswell e altri due rivoluzionari chitarristi: Derek Bailey e Fred Firth) e la formazione dei Last Exit con Brotzmann. Riprende anche la produzione di dischi come solista, con la attenta supervisione di Bill Laswell. Il primo (registrato nel 1986 dopo la prima tournée dei Last Exit) è Guitar, realizzato interamente da solo, alla chitarra. Si libera il sogno che a ben vedere Sharrock ha sempre inseguito: quello di duettare con sé stesso al servizio di una poetica elementare: mettere insieme dolcezza e brutalità, andare a fondo dell’una e dell’altra, trovando un modo per far convivere terrore e bellezza. Sono parole di Sharrock («New York Times», 5 maggio 1991), incantato dalle prime visioni della New York che si era presentata ai suoi occhi di provinciale: da un lato le urla del sax di John Coltrane; dall’altro i ritmi, gli impasti vocali, lo sfavillare dei Flamingos che si esibivano all’Apollo Theatre.

Poetica elementare – o perfino rozza – in teoria; devastante quando viene messa in musica con le qualità tecniche e la forza, la genialità, la grande capacità di suscitare pathos che erano proprie di Sharrock, che in Guitar sciorina una sintesi di tutta la sua personale enciclopedia, tra funky psicheledelico e free jazz, il furibondo rock and roll di Kula-Mae e la ricerca rabbiosa di Princess Sonata (una suite in quattro movimenti), il blues provocatoriamente scolastico di Black Bottom (modellato sul classico Things I Used to Do di Guitar Slim) e quello completamente trasformato di Blind Wilie (una ripresa del brano già presente su Black Woman), preservando – in tutta questa onnivora enciclopedicità – la bellezza della cosa mai sentita.

Nel 1987 Sharrock va in tournée europea con Ginger Baker, Peter Brotzmann, l’altro chitarrista Nicky Scopellitis e il bassista tedesco Jan Kazda (le registrazioni verranno pubblicate nel 1988 con il titolo No Material). Sull’onda di questo interesse e dell’attenzione suscitata dai Last Exit viene stampato anche Dance With Me Montana, registrato a Parigi nel 1982 con una formazione piuttosto di fortuna (“maybe I did my worst record”, dirà). Ma il vero e proprio ritorno discografico, con la propria band (Melvin Gibbs al basso, Pheroan Aklaff e Abe Speller alla batteria), sempre nel 1987, avviene con Seize The Rainbow, album che è una specie di ripartenza, su basi serie e consapevoli, dopo le caotiche esperienze del passate. “Sento che sto imparando adesso, – dichiarerà Sharrock, – sento che sto davvero cominciando a suonare”. Abbandona anche la sua Gibson Les Paul per una storica ES-175. E Seize The Rainbow, che conserva tutta la varietà tipica di Sharrock, mischiando fasi di heavy metal ad altissimo volume, brani rock che potrebbero essere di Van Halen o Steve Vai, un omaggio alle cadenze creole di Professor Longhair (The Past Adventure of Zydeco Honeycup) e quella che è forse la sua ballata più bella, My Song (che è come dire: Me Stesso o questo sono io), sembra acquistare una solidità veramente nuova, grazie anche all’altissimo livello dei musicisti che lo sostengono: l’eccellente bassista Melvin Gibbs, all’epoca già molto esperto, e i due batteristi.

Il disco seguente (Live in New York), registrato dal vivo al The Knitting Factory, presenta la stessa formazione con l’aggiunta di un tastierista (Dave Snyder) e di un cantante di rhythm & blues, Ron Carel. Ne viene fuori un godibilissimo tributo alle vecchie atmosfere care alla natura forse più autentica di Sharrock: il blues di Elmore James (Elmo’s Blues), hit commerciali come Money Honey; Herbie’s Dance in ricordo del vecchio band leader ( “probably the best bandleader there is in the business”, dichiarerà Sharrock poco dopo), mentre pezzi come Dick Dogs o My Song si ascoltano meglio in altri dischi.

Ragionamento del tutto simile vale per Highlife, disco del 1991, ma nella stessa annata vede la luce quello che è da considerarsi il capolavoro di Sharrock, Ask The Ages, realizzato con una formazione stellare: Pharoah Sanders al sax, Elvin Jones alla batteria e il giovane Charnett Moffett che certamente non sfigura al contrabbasso (anche Moffett militerà per per lungo tempo nel quartetto di McCoy Tyner). Al cospetto dei due giganti, Sanders e Jones, due padri autentici del jazz moderno, Sharrock (autore di tutte e sei le composizioni) ritrova una disciplina e una pulizia che non sono il rifiuto della passata anarchia e delle prove, le sperimentazioni selvagge e spesso caotiche degli anni precedenti, ma la loro sintesi, il risultato di immense fatiche. Nessuna nota viene sprecata, la musica scorre perfetta come il fluire di un fiume. L’opera che ne viene composta – una vera, maestosa sinfonia – diventa uno dei capolavori assoluti di quest’epoca e forse dell’intera storia del jazz, per la sua perfezione formale, per la sua spirituale poeticità e per quel carattere trascendentale che assumono le opere d’arte.

Pharoah Sanders e Sharrock si ritrovano l’anno successivo al festival di Francoforte, con Moffett; Pheeroan Aklaff prende egregiamente il posto di Elvin Jones. La resa è grandiosa. Del luglio 1993 è un memorabile concerto del quintetto di Sonny Sharrock con Pharoah Sanders al Warner Theatre di Washington. Per Sharrock sembra aprirsi una nuova era, che comprende anche ottime prospettive commerciali. Incide la colonna sonora per un popolare programma di cartoni animati (Space Coast to Coast) e un disco di successo in coppia con il chitarrista Nicky Scopellitis (Faith Moves); la Gibson sta costruendo una chitarra con il suo nome e il colosso RCA prepara per lui un contratto discografico. Un attacco cardiaco lo stronca il 26 maggio 1994.