Tras regresar a su ciudad natal, fue enviado a las Cortes de Cádiz, donde pronunció su famoso discurso "Sobre la supresión de las Mitas", por medio del cual logró que se aboliera esa institución. En dichas Cortes ejerció de secretario hasta que fueron disueltas por Fernando VII. Ante la persecución desatada contra los diputados, Olmedo se vio obligado a esconderse en Madrid.
Toda su vida se debatió entre los cargos públicos y el deseo de dedicarse a las letras. Así, en el momento en que Guayaquil declaró su independencia, José Joaquín Olmedo fue nombrado miembro de la Junta de Gobierno, redactó una constitución para Guayaquil, reorganizó el ejército y colaboró con Antonio José de Sucre en el triunfo de Pichincha. Sin embargo, después de esta batalla, cuando Bolívar llegó a Guayaquil y anexionó esta ciudad a Colombia, Olmedo protestó y partió con otros guayaquileños a Perú, donde fue electo diputado por el Departamento del Puno y ayudó a redactar la primera constitución de aquel país.
En 1823, viendo en peligro la libertad del Perú, pidió ayuda a Simón Bolívar; tras el triunfo de éste en la batalla de Junín, Olmedo escribió en su honor el famoso Canto a Bolívar. Más tarde (1825), se desempeñó por mandato de Bolívar como diplomático en Londres y en París. De nuevo en su país, participó como representante por Guayaquil en la Constituyente de Ambato. En 1830 ocupó la vicepresidencia de la república y la prefectura de Guayaquil.
Aunque apoyó a Juan José Flores en el proceso de separación del Ecuador de la Gran Colombia, cuando aquel gobernante quiso abusar del poder se opuso a él y participó en la revolución antifloreana del 6 de marzo de 1845, tras lo cual fue nombrado presidente del triunvirato al lado de Vicente Ramón Roca y Diego Noboa. Cuando murió, en todas las ciudades del país se celebraron funerales en su honor.