1800-luvun puoliväliin saakka nykyisen Kallion aluetta käytettiin pääasiallisesti viljely- ja laidunalueena. Vuosisadan jälkimmäisellä puoliskolla asutus kiinteytyi, alue palstoitettiin ja rannoille syntyi teollisuutta. Väestö koostui porvareista, tehtaiden omistajista huviloissaan ja alueen tehtaiden työntekijöistä vuokralaisina. 1800- ja 1900-lukujen vaihteessa Helsingistä muodostui talouselämän keskus. Syntyi teollisuutta ja työpaikkoja. Maaseudulta työntyi suuri muuttovirta kaupunkiin.
Kalliosta tuli merkittävä työvoiman asutusalue. Väestömäärä kasvoi nopeasti, mikä merkitsi suuren asuntokysynnän syntymistä. Kallion linjojen ja Siltasaaren asemakaava valmistuivat 1890-luvulla. Muualle Kallioon vahvistettiin asemakaava 1901. Rakennukset olivat pääasiassa kaksikerroksisia puutaloja ja -kortteleita. Siltasaaren kivisten kerrostalojen rakentaminen alkoi 1900-luvun alkuvuosina.
1900-luvun ensimmäisellä kymmenluvulla Kallion asukasluku kasvoi lähes kaksinkertaiseksi, noin 18.000 asukkaaseen, lähes nykyiseen määräänsä. Kallioon syntyi talonomistajien paikallinen yläluokka, työväen asuntoyhtiöissä asuva ammattityöväestö sekä työväen vuokra- ja alivuokralaisasukasluokka.
Torkkelinmäen puutarha-aatteen leimaamat asuntokorttelit sekä Kallion kiviset umpikorttelit syntyivät maailmansotien välisenä Kallion kiivaan rakentamisen aikana. Asukasluku kaksinkertaistui vuoteen 1939 mennessä runsaaseen 35.000 asukkaaseen. Kallion väkiluku laski vuonna 1960 n. 32.000 asukkaaseen, mutta nousi vielä 1965 lähes 36.000 asukkaaseen. Tämän jälkeen asukasluku on pudonnut tasaisesti nykyiseen n. 18.000 asukkaaseen.
1950- ja 1960-luvut olivat Kallion ulkoisen kaupunkikuvan kannalta merkittäviä. Silloin purettiin pääosa linjojen puutalokortteleista ja tilalle rakennettiin 6-9 kerroksisia kivitaloja. Samalla luovuttiin Helsingin kantakaupungille luonteenomaisista umpikortteliratkaisuista. Linjojen viimeinen säilynyt yhtenäinen puutalokortteli purettiin 1970-luvun lopulla Kuntatalon tieltä. Samalla hävisi osa Kallion työväen asuntohistoriaa.
1990-luvulle tultaessa Kallio oli lähes valmiiksi rakennettu. Kalliossa siirryttiin uudisrakentamisesta kiinteistöjen ylläpitoon, mikä on näkynyt asuntojen peruskorjauksena ja talojen julkisivujen kohentumisena. Valmiiksi rakennetun kaupunginosan kaupunkikuvaa voi tarkkailla Eduskuntatalon portailta yli Töölölahden.
Se mitä näkyy on selvästi kaupunkia. Erityisesti korostuvat Siltasaaren umpikorttelit, Työväentalon torni, linjojen tornitalot sekä vallan symbolit Kallion kirkko, Kallion virastotalo ja Ympyrätalo. Kaksi viimeksi mainittua vastaavat kokoluokaltaan kumpikin erikseen Eduskuntataloa ja ne ovatkin Kallion kaupunkikuvassa hallitsevia.
Se mitä Eduskuntatalon portailta ei näy ovat Kallion kortteleiden sisäpihat. Ne ovat aivan oma maailmansa näkyviin jääneine peruskallioineen ja vanhoine puineen. Osa pihoista on kiinteistön muun kunnostuksen yhteydessä rakennettu uudelleen, laatoitettu ja istutettu. Lähes kaikialla on havaittavissa asukasläheisyyttä ja tunnontarkkaa lähiympäristöstä huolehtimista.
Kallio tunnettiin pitkään runsasväkisenä ja merkittävänä työväen asuntoalueena. Tilastojen valossa Kallio on muuttunut perheellisen ammattityöväen kaupunginosasta yksinäisten nuorten ja ikääntyneiden yksinäisten naisten kaupunginosaksi. Vanhusten osuus on kasvanut ja lapsiperheiden ja lasten osuus laskenut. Kuvaavaa on, että Kallion ainoan ala-asteen koulun oppilasmäärä on ollut enimmillään 1940-luvulla 1.600 lasta, mutta on nyt alle 300.
Aikojen kuluessa Kallio on ollut nopeiden muutosten aluetta. Muutokset ovat koskeneet sekä kaupunginosan ulkoista ilmettä että kaupunginosan väestöä. Vuosisadan alussa asusti lähes koko Helsingin juutalaisyhteisö Siltasaaressa. Sata vuotta myöhemmin värittivät somalit Kallion kaupunkikuvaa hetken aikaa. Siinä välissä kävivät maakuntien miehet ja naiset omaksumassa kaupunkimaista elämäntapaa. Se, että näin on voinut häiriöttä tapahtua, liittyy Kallion myönteisiin kaupunkimaisiin ominaisuuksiin, erilaisuuden sietämiseen.