À la fin de l'été 1946, Léo Ferré s'installe à Paris. Il obtient un engagement de trois mois au cabaret Le Bœuf sur le toit où il s'accompagne au piano. Il se lie d'amitié avec Jean-Roger Caussimon, à qui il demande s'il peut mettre en musique son poème À la Seine. Ensemble, régulièrement ils feront plusieurs chansons particulièrement appréciées du public comme Monsieur William (1950), Le Temps du tango, (1958) ou encore Comme à Ostende (1960) et Ne chantez pas la mort (1972). En avril 1947, Léo Ferré accepte de faire une tournée en Martinique, qui se révèle désastreuse et le conforte dans son aversion du voyage. Faute d'argent, il met six mois avant de revenir. Il écrit une lettre pour obtenir un secours à Charles Trenet, sans succès. Il doit se résoudre à demander de l'aide à son beau-père. Ce dernier, administrateur du théâtre de l'Étoile, ne l'aura guère plus aidé. À son retour, il commence à fréquenter le milieu des anarchistes espagnols, exilés ayant fui le franquisme. Cela nourrira sa rêverie romantique de l'Espagne, dont Le Bateau espagnol et Le Flamenco de Paris seront les premières manifestations.
Cette période lui est psychologiquement et financièrement difficile. Pendant sept longues années il doit se contenter d'engagements aléatoires et épisodiques dans les caves à chansons de la capitale : Les Assassins, Aux Trois Mailletz, L'Écluse, La Rose rouge, Le Trou, le Quod Libet, ou encore le Milord l'Arsouille, ces trois derniers étant successivement dirigés par son ami Francis Claude, avec lequel il coécrit plusieurs chansons, dont La Vie d'artiste (1950), en écho à sa récente séparation d'avec Odette.
Il finit par se faire une petite réputation dans le métier, parvenant non sans peine à placer quelques titres chez les interprètes de l'époque : Yvette Giraud, Renée Lebas, Édith Piaf, Henri Salvador, Marc & André, puis un peu plus tard Yves Montand et Les Frères Jacques. Mais c'est avec la chanteuse Catherine Sauvage qu'il va trouver sa plus fidèle, passionnée et convaincante ambassadrice.