Три варианта:
1). Перед перегонкой брагу плохо отфильтровали, и твердые частицы (зерно) пригорели во время закипания браги.
2). Исходное сырье, а как следствие и брага, были горькими.
3). Плохие дрожжи.
Частично устранить горечь помогает очистка углем.