Tandis que Le Figaro faisait paraître un compte rendu très positif, le magazine féminin Elle publiait une série d'articles où la mère adoptive de Minou était accusée d'avoir rédigé elle-même les lettres et les poèmes et de les avoir présentés comme des réalisations de sa fille. Un grand nombre d'autres publications et de protagonistes de la vie culturelle se virent obligés de prendre parti dans cette « Affaire Minou Drouet » qui fut qualifiée par Julliard pour son effet sur le public de « petite Affaire Dreyfus ». Jean Cocteau lança ce jugement que depuis on a toujours cité à ce sujet : « Tous les enfants ont du génie, sauf Minou Drouet. »

Minou Drouet se soumit à plusieurs tests au cours desquels elle dut écrire des poèmes sur des sujets fixés à l'avance et sous surveillance, sans possibilité d'une aide extérieure. En février 1956, elle réussit ainsi un examen d'admission à la Société des auteurs, compositeurs et éditeurs de musique. Pourtant le doute sur son talent littéraire ne devait jamais être complètement levé.