Вот есть профи, у которых опыт и интуиция. Но они не всегда могут мотивированно объяснить, почему в данном случае стоит сделать так, а не иначе.
В моем понимании это - шаманы. Шаман убежден, что если смешать растолченные кости летучей мыши с жабьими глазами и кровью девственницы в полночь, то долгожданный дождь непременно пойдет, но вряд ли сможет объяснить свой метод. Интуиция ему велит, и все тут. Инженер должен уметь обосновать свое решение, выбрав из нескольких вариантов наилучший для данного случая. Он может, конечно, ошибиться в выборе критериев оптимальности или неверно расставить их приоритеты, но во всяком случае тут есть предмет для обсуждения. Хороший инженер, знающий математику, представит еще и анализ предложенного алгоритма.
А в целом мой обзор, конечно, субъективен. Могу кого-то незаслуженно обойти вниманием, а кого-то, наоборот, необоснованно порекомендовать, поскольку это личная точка зрения. Включать широко известные книги по возможности избегаю, это мартышкин труд, все равно что рецензировать Толстого или Достоевского - без меня уже давно управились. Некоторые будут попадать по необходимости, чтобы сослаться на них из статей, как в случае с "Рефакторингом".