В период с 1343 по 1365 год, практически каждые 10 лет, столица России трижды страдала от сильнейших пожаров. Каждый раз деревянные укрепления кремля Калиты почти полностью уничтожались огнём. Устойчивая регулярность однотипных событий стала поводом для формирования твёрдого убеждения князя в том, что пожары этого периода вовсе не были результатом несчастных случаев или неосторожного обращения с огнём. Частота возникновения и нанесённый Москве огромный ущерб чётко указывали на умышленные действия диверсионных вражеских групп.
В связи с этим подозрением и во избежание подобных трагедий в будущем, князья Дмитрий Иванович и Владимир Андреевич решили отказаться от возведения очередного деревянного кремля, а использовать при строительстве в качестве материала камень. Созванный для согласования совет бояр полностью поддержал это решение. Сразу же, с зимы 1366 года в пригород Москвы стали свозиться камни. И уже весной 1367 года началось строительство белокаменной крепости, которое завершилось в рекордно короткие сроки — к весне 1368 года кремль был уже готов.
Закладка каменной крепости и её столь стремительное строительство привели врагов в ярость, забрав у них возможность периодически вредить Москве, и они перешли в открытое наступление. Но осада города не имела успеха. Три дня и три ночи литовские захватчики под предводительством Олгерда вели осаду, выжигая весь пригород, не жалея даже церкви и монастыри, которых вокруг столицы было в то время множество. Но сам город им взять так и не удалось. А кремль со временем значительно расширился в восточном и северо-восточном направлении, перенеся в границы своих стен находящуюся на тот момент у стен крепости Калиты все торговые территории.