Tyypillisesti afasian taustalla on aivoverenkiertohäiriön aiheuttama vaurio aivoissa. Afasian vaikeusaste ja häiriön tyyppi riippuvat siitä missä aivojen osassa ja kuinka laaja vaurio on. Tyypillisesti oikeakätisen henkilön afasian taustalla on vaurio aivojen vasemmassa puoliskossa. Myös oikean puolen vaurioihin voi liittyä kielellisiä vaikeuksia. Afasia vaikeuttaa vuorovaikutusta ja asioiden hoitoa sekä rajoittaa sosiaalista kanssakäymistä.
Vaikka afasia aiheuttaa vaikeuksia kielellisessä toiminnassa, ei se varsinaisesti vaikuta henkilön muihin tiedonkäsittelyn taitoihin. Afasiaa ei ole myöskään syytä sekoittaa mielenterveyden ongelmiin, vaikka esimerkiksi sujuvan afasian vuolas ja sekavan kuuloinen puhe on joskus saatettu virheellisesti tulkita esimerkiksi psykoosiksi.
Aivojen vaurio voi aiheuttaa myös puheentuoton häiriöitä joiden taustalla ei ole kielellinen häiriö vaan puheeseen vaadittavien kasvojen, suun, nielun ja hengityselimistön liikkeiden häiriö. Tällöin kyseessä on puheen liiketoimintojen häiriö.