A partir de 1865, Manet peint une série de portraits à la suite d'un voyage en Espagne. Malgré le succès de scandale du Déjeuner sur l'herbe, le peintre n'a toujours vendu aucun tableau.
Il est plus que jamais vilipendé par la critique. Seuls Baudelaire et Zola le défendent vigoureusement. De peur d'un nouveau scandale, le salon refuse le Fifre. Zola, alors journaliste à l'Evénement lance ce cri du cour : "Puisque personne ne dit cela, je vais le dire, moi, je vais le crier".
Il publie un article vibrant d'enthousiasme à propos du tableau , entraînant sa démission du journal : "Je ne crois pas qu'il soit possible d'obtenir un effet plus puissant avec des moyens moins compliqués. Le tempérament de Monsieur Manet est un tempérament sec, emportant le morceau. il ne recule pas devant les brusqueries de la nature; il passe du blanc au noir sans hésiter, il rend dans la vigueur les différents objets se détachant les uns sur les autres."