У перекладі з грецької мови гармонь означає «співзвучний», «гармонійний», «стрункий». Інструмент відносять до язичкових, клавішних, пневмонічним, тому що звук витягується за допомогою роботи хутра, що знаходяться між розділеними частинами корпусу, з металевого язичка, вставленого в рамку.
Виникло внаслідок переоформлення слова гармоніка, запозиченого з німецької чи англійської, а перегукується з грецькому harmonia — «гармонія».
Згідно з дослідженнями мистецтвознавця Мірека, перша гармонь з'явилася в Санкт-Петербурзі в 1783 стараннями чеського органного майстра Франтішека Кіршника (він придумав новий спосіб вилучення звуку – за допомогою металевого язичка, що коливається під дією потоку повітря).
найпопулярніша – так звана «кульгавість», «лівка», «російська вінка», що зберігає висоту звучання для всіх кнопок інструменту при розтягуванні та стисканні хутра. тульська гармонь, «тальянка», вятська, «черепанка», що відрізняються тим, що висота її звучання визначається напрямом руху хутра.