Sebbene la nascita della IBM sia ufficializzata alla registrazione nello Stato di NewYork il 16 giugno 1911, le origini dell'azienda sono riconducibili al 1880 quando Herman Hollerith fondò la Tabulating Machine Company brevettando una macchina tabulatrice automatica in grado di leggere schede perforate per elaborare i risultati del censimento statunitense; alla base del suo funzionamento ci sono schede perforate delle dimensioni di 187x83 millimetri, esattamente quelle di un biglietto da un dollaro, in modo da poter utilizzare le cassettine già utilizzate dalle banche e quindi di facile reperibilità.
Nel 1911 l'azienda si fonde con la International Time Recording Company e la Computing Scale Company, dando vita alla Computing-Tabulating-Recording.

Nel 1914 entra nell'azienda Thomas Watson Senior, in qualità di general manager, e l'anno successivo ne diventa presidente. Watson focalizza la sua attenzione nel creare l'immagine di una società vincente ed attenta ai particolari. Già dopo un decennio la società diventa una multinazionale con 4000 dipendenti, un fatturato di 15 milioni di dollari e sedi in tutto il mondo; è del 1927 l'apertura di una sede in Italia. Nel frattempo, nel 1924, l'azienda ha cambiato nome in International Business Machine, abbreviato in IBM, per meglio riflettere la realtà e le aspirazioni della società.
La IBM diventa una delle principali aziende fornitrici del governo statunitense e può aprire altre linee produttive.

Con lo scoppio della Seconda Guerra Mondiale la controllata tedesca continuerà a fare affari col governo nazista, ma di fatto tutte le sussidiarie tedesche vennero chiuse nel 1941 in seguito all'entrata in guerra degli Stati Uniti.
La IBM divenne lo strumento tecnologico del Governo ed i calcolatori a schede perforate della IBM vennero utilizzati nel Progetto Manhattan che portò allo sviluppo delle bombe atomiche lanciate sul Giappone.
Nell'immediato dopoguerra IBM sviluppò il primom computer elettromeccanico, il Mark I, che trovò largo impiego nelle operazioni della marina USA.

Nel 1956 Thomas Watson Jr. subentrò alla guida dell'azienda alla morte del padre, e ristrutturò la dirigenza aziendale dandole una struttura più snella e moderna, puntando fortemente sulla nascente informatica digitale. A metà degli anni '60 IBM lanciò sul mercato i calcolatori elettronici digitali System/360, i primi che utilizzavano software interscambiabili e periferiche. Il successo tecnologico che ne seguì fece diventare il System/360 il mainframe dominante sul mercato.

Il 1981 rappresenta il lancio da parte di IBM del primo computer casalingo, in un'epoca in cui il mondo domestico era rivolto quasi esclusivamente all'autocostruzione. Nacque così il PC IBM 5150, un sistema che racchiudeva in un'unità piuttosto piccola tutto ciò di cui si aveva bisogno in ambito domestico o di ufficio. Per un prezzo di 1600 dollari si aveva un computer con l'Intel 8088 a 16 bit, 128kB di memoria, due lettorifloppy disk, una tastiera esterna ed un monitor a colori.
Il pc 5150 rappresentò una svolta epocale, a livello commerciale, con l'utilizzo di componentistica prodotta da terze parti, come floppy, monitor, stampante.. e un sistema operativo sviluppato da una azienda esterna, la Microsoft.
Proprio questo utilizzo di componenti hardware e software esterni come Intel e Microsoft permise ai concorrenti un vantaggio incredibile, portando IBM a perdere la leadership nel settore dei micro-computer domestici. Ciònonostante negli anni IBM continuò a produrre componentistica elettronica per conto proprio e per conto di Intel, sfornando proprie versioni delle CPU 80286, 80386 e 80486, e sviluppando proprie CPU per le workstation ad uso aziendale come i processiri RISC delle linee PorwePC.

Nel 1992 venne lanciato il Thinkpad, la linea di computer portatili IBM, mentre le altre linee produttive vennero dismesse, ed il marchio IBM tornò ad essere sinonimo di qualità e affidabilità. Tuttavia nel 2005 IBM mette fine alla sua esperienza nei personal computer, cedendo il marchio Thinkpad alla cinese Lenovo e chiudendo la propria divisione PC.
IBM continua ad essere attiva nel settore informatico, soprattutto in campo software, ma ultimamente sta investendo molto nel campo della ricerca e delle energie alternative.
È di attualità il microchip SyNAPSE, ispirato al funzionamento del cervello umano e composto da 1 milione di neuroni al silicio e 256 milioni di sinapsi. Nel 2015 ha presentato un microprocessore con tecnologia a 7 nanometri, la metà rispetto alla tecnologia usata da Intel e AMD, che permette di realizzare chip con ben 20 miliardi di transistor.

I supercomputer e l'intelligenza artificiale sono i settori in cui IBM sta spingendo forte in questi anni 2000, in modo da essere pronta quando Internet esprimerà a pieno le proprie potenzialità.