Shoya Ishida, un jeune garçon, combat l’ennui par les jeux les plus insensés qui lui viennent à l’esprit. Un jour, Shoko Nishimiya rejoint sa classe d’école primaire mais celle-ci est atteinte de surdité. Shoya va alors s’occuper en profitant des faiblesses de la jeune fille, ce qui lui causera des soucis par la suite.
Une fois lycéen, Shoya décide de revoir Shoko pour s’excuser du mal qu’il lui a fait en étant plus jeune et il va finalement se rapprocher d’elle à travers la langue des signes.