В 1957—1958 годах на харьковских заводах «Электротяжмаш» и Харьковский завод транспортного машиностроения под руководством А. А. Кирнарского был спроектирован новый односекционный тепловоз мощностью на 50 % больше, чем у секции тепловоза ТЭ3, и лишь с незначительно большей массой. Создание такого тепловоза было новым явлением не только для СССР, но и для зарубежных стран - ТЭ10 был на тот момент самым мощным односекционным тепловозом в мире. Это стало возможным в результате проведения множества теоретических и экспериментальных исследований и внедрения новых конструктивных решений. Наибольшие затруднения возникли в процессе разработки нового двенадцатицилиндрового дизеля 9Д100 повышенной экономичности на базе дизеля 2Д100, а также при создании ходовой части тепловоза с малой массой и улучшенными тормозными и динамическими характеристиками. Создание же дизеля 10Д100 на многие годы определило направления отечественного тепловозостроения. Большой вклад в его создание внесли работники отдела 60Д и опытного цеха 500 Б.Н. Струнге, В.В. Аринкин, Н.П. Синенко, А.М. Скаженин и многие другие.
Также целью проектирования была разработка усовершенствованной схемы электропередачи и надёжных в эксплуатации электрических машин для нового тепловоза.
Первый тепловоз новой конструкции, получивший обозначение ТЭ10-001 («Харьков»), был выпущен в ноябре 1958 года.
Одним из новшеств в советском тепловозостроении стал принцип цельного кузова несущей конструкции, применявшийся до этого момента лишь на чехословацких электровозах ЧС1 и рижских электропоездах ЭР1. Кузов тепловоза опирался на две трёхосные тележки, унифицированные с тележками тепловозов серии ТЭ3.
Дизель 9Д100 имел мощность 3000 л. с. и массу вместе с рамой 22 350 кг.
На тепловозе были установлены шесть новых тяговых электродвигателей ЭДТ-340А, спроектированных и изготовленных заводом «Электротяжмаш» для газотурбовоза Г1-01. Номинальная мощность двигателей при работе на тепловозе — 307 кВт, масса — 2800 кг. ТЭД имели опорно-осевое подвешивание; передаточное число редуктора — 68:15.
Впервые в отечественном тепловозостроении была применена принципиально новая система автоматического регулирования возбуждения тягового генератора, обеспечивающая заданную зависимость напряжения генератора от его тока и позволяющая более полно использовать мощность дизеля, что было невозможно ранее.
Управление тепловозом осуществлялось с помощью контроллера машиниста КМ-1501, главная рукоятка которого имела нулевую и пятнадцать рабочих позиций.
Высокие технико-экономические показатели тепловоза ТЭ10 и его роль в развитии отечественного железнодорожного транспорта были отмечены Дипломом ВДНХ 1 степени, Большой золотой медалью ВДНХ, а активные участники его создания медалями ВДНХ: А.Е. Смольянинов, А.А. Кирнарский, Б.Н. Струнге, Н.А. Тертычко и др.
Первый тепловоз серии ТЭ10 имел следующие характеристики:
служебная масса — 138 т;
запас топлива — 5500 л;
запас масла — 1450 л;
запас воды — 1500 л;
запас песка — 520 кг;
скорость длительного режима — 25 км/ч;
конструкционная скорость — 100 км/ч.
Имея значительно меньший вес по сравнению с двухсекционным тепловозом ТЭ3, тепловоз ТЭ10 мог успешно заменять паровозы, работавшие одиночной тягой.
С 1958 по 1961 год Харьковский завод изготовил 26 локомотивов данной серии.
В процессе выпуска в конструкцию вносились отдельные изменения, направленные на улучшение работы и снижение веса тепловоза. В частности помимо ТЭД ЭДТ-340А применялись ЭДТ-340Г и ЭД-104 (последний — с одновременным изменением передаточного числа на 69:14). После этих и ряда других относительно крупных изменений служебная масса тепловоза составила 129 т с увеличением запасов топлива (до 6500 кг) и песка (до 950 кг).
Тепловозы этой серии вначале работали на Куйбышевской железной дороге, а затем на Северо-Кавказской. На 1 января 1976 года все локомотивы этой серии кроме одного находились на Южной дороге, работая преимущественно на маневрах. Исключение тепловозов серии ТЭ10 из инвентаря в основном происходило в 1980-х годах. В 1990 году было списано всего три тепловоза ТЭ10.
Машинисты и работники депо называли локомотивы серии ТЭ10 «червонцы», «десятки» и «фантомасы».