Les amours de Berlioz ont été un tel souffle pour son inspiration qu'ils font partie intégrante de son œuvre. Même si l'on doit se méfier de son exaltation et souvent de l'exagération qui enflamme ses Mémoires, il faut bien reconnaître que la vie sentimentale du compositeur est complexe, rarement heureuse. Manque-t-il de discernement dans le choix de ses compagnes ? Cet homme qui mène un combat acharné pour la musique, qui déploie une activité intense pour être reconnu, se révèle d'une faiblesse étonnante dans ses relations avec les femmes. Il semble bien, à l'instar des poètes romantiques de son temps, se complaire dans les passions malheureuses.
   

À douze ans, Hector tombe éperdument amoureux d'Estelle, âgée de dix-sept ans, voisine de ses grands-parents. ll a lu et relu la pastorale de Florian, Estelle et Némorin ; la transposition est vite faite. Ses amours seront toujours empreints de références littéraires. Il partage la douleur de Didon privée d'Énée et pleure lorsque son père lui fait lire les vers de Virgile :
"C'est que je connaissais déjà cette cruelle passion, si bien décrite par l'auteur de L'Énéide, passion rare, quoi qu'on en dise, si mal définie et si puissante sur certaines âmes".
Venant d'être initié à la musique, il compose, sur des vers de Florian, une mélodie reprise des années plus tard dans le début de la Symphonie fantastique.
En 1864, Berlioz rend visite à son premier chagrin d'amour ; il retrouve intactes ses émotions, près de cinquante ans plus tard :
Je reconnus sa démarche et son port de déesse. [...] en la voyant, mon cœur n'a pas eu un instant d'indécision et toute mon âme a volé vers son idole, comme si elle eût encore été éclatante de beauté. [...] Je ne respire plus, je ne puis parler. (Mémoires, " Voyage en Dauphiné ").
Dans une lettre enflammée, il réclame son "affection". Elle le raisonne : "Il est des illusions, des rêves, qu'il faut savoir abandonner quand les cheveux blancs sont arrivés, et avec eux le désenchantement de tous sentiments nouveaux. " (ibid.), et accepte une correspondance amicale. Plusieurs fois à Genève, Berlioz la reverra chez son fils, où elle s'est retirée.
   

En septembre 1827, Berlioz assiste à une représentation d'Hamlet donnée à l'Odéon en langue originale par une troupe d'acteurs anglais. Berlioz est foudroyé à la fois par Shakespeare et Ophélie, interprétée par une ravissante Irlandaise, Harriet Smithson. Il rêve d' "une immense composition instrumentale d'un genre nouveau ", dont le sujet serait inspiré de sa passion shakespearienne : ce sera la Symphonie fantastique. Cette passion est cependant éclipsée par une nouvelle rencontre, la pianiste Camille Moke, qui lui met "au corps toutes les flammes et tous les diables de l'enfer". et colporte par la même occasion quelques ragots sur le compte d'Harriet. Ce n'est qu'en décembre 1832, après la mémorable représentation de la Fantastique suivie du Retour à la vie, que Berlioz est enfin présenté à son Ophélie : "À partir de ce jour, je n'eus plus un instant de repos ; à des craintes affreuses succédaient des espoirs délirants." (Mémoires, ibid.).
Harriet est criblée de dettes lorque Berlioz l'épouse à l'été 1833, rompant ainsi avec sa famille. Il va se démener comme un beau diable pour sortir du naufrage financier d'Harriet, multipliant les concerts, à l'affût des commandes, cherchant à imposer sa femme dont plus aucun théâtre ne veut, s'engageant lui-même dans une carrière de critique musical. 1834 voit l'installation du couple dans une maison à Montmartre et la naissance de leur fils, Louis, qui entraîne la reprise d'une correspondance avec son père.
Mais la "fair Ophelia" se révèle vite une petite bourgeoise aigrie par ses échecs, dépensière, récriminatrice et jalouse sans raison, restant enfermée chez elle, et qui, pour couronner le tout, se met à boire et se délabre physiquement.
1842 marque le début de sa liaison avec la jeune chanteuse Marie Recio. Berlioz fuit le domicile conjugal et entame une série de voyages à travers l'Europe. Mais il continue à subvenir aux besoins d'Harriet et de son fils, s'occupe d'elle lorsque sa femme est victime d'une congestion cérébrale ( 1848) dont elle sort paralysée et aphasique. Harriet meurt en 1854 et Berlioz est envahi par la compassion :
Au milieu des regrets de cet amour éteint, je me sentais prêt à me dissoudre dans l'immense, affreuse, incommensurable, infinie pitié dont le souvenir des malheurs de ma pauvre Henriette m'accablait. " (Mémoires, ch. LIX).
Jules Janin donne au Journal des Débats un article émouvant sur l'ancienne gloire du théâtre anglais. Liszt écrit à Berlioz : "Elle t'inspira, tu l'as aimée, tu l'as chantée, sa tâche était accomplie".
    

Au printemps 1830, Berlioz s'éprend de Camille Moke, qui enseigne le piano dans l'institution de jeunes filles où lui-même donne des leçons de guitare. "Ariel" détourne Hector d'Ophélie et lui inspire une fantaisie dramatique sur la Tempête, qui prendra place à la fin du Retour à la vie. Lorsqu'il part pour l'Italie, le Prix de Rome en poche, il est assuré d'épouser Camille. Mais à la villa Médicis, Berlioz ne reçoit aucune lettre. Après quelques semaines, toujours sans nouvelles, il décide de rentrer en France. À Florence lui arrive une lettre de Mme Moke lui annonçant sans ménagement le prochain mariage de sa fille avec Camille Pleyel, facteur de pianos. L'épisode loufoque qui s'en suit est rapporté dans les Mémoires (ch. XXXIV) avec une certaine distance et beaucoup d'autodérision.
Furieux de la trahison de Camille, il décide immédiatement de "voler à Paris, où j'avais à tuer sans rémission deux femmes coupables et un innocent. Quant à me tuer, moi, après ce beau coup, c'était de rigueur, on le pense bien." Berlioz imagine alors se présenter déguisé et achète un costume de femme de chambre à Florence, le perd, le fait refaire à Gênes, se munit de deux pistolets à deux coups, et de strychnine dans le cas où il se raterait. "Oh ! la jolie scène ! C'est vraiment dommage qu'elle ait été supprimée ! " En effet à Nice, sa rage commence à faiblir et la nécessité de se tuer ne lui paraît plus aussi évidente. Repris par "l'amour de la vie et l'amour de l'art ", il s'en retourne à la Villa Médicis.
Camille quittera son mari en 1835. Elle meurt en 1875, après avoir mené une brillante carrière internationale de pianiste.
Berlioz transposa son histoire avec Camille dans une "nouvelle de l'avenir", Euphonia, ou la ville musicale, vingt-cinquième soirée de son ouvrage Les Soirées de l'orchestre.