Родоначальником современного карандаша был древнеримский пишущий инструмент по названию «стилус». Некоторые ранние стилусы были сделаны из свинца. Когда впервые начали применять графит (в Англии в 1564 году), этот минерал заменил тяжелый металл. Графит оставлял темный след на бумаге, но он был настолько мягким, что легко крошился и ломался. Для того, чтобы защитить графитовые стержни, на них начали наматывать тонкие веревки.
Позже появились полые деревянные палочки, став прообразом современных карандашей. Впервые их массовое производство началось в 1662 году в Нюрнберге, Германия. А красить в разные цвета карандаши начали в 1890 году, причем первыми на свет появились ярко-желтые карандаши. Подобный цвет был выбран потому, что желтый традиционно ассоциируется с китайской императорской династией, а лучший графит поставлялся из Китая.