читал про то, что в том числе и это они делают, если инструкции им прямо не запрещают.
одно дело, когда запрограммировано условно количество поворотов руля и нажатий на газ, другое дело, когда нейросеть ориентируется в пространстве, распознает объекты и реагирует наподобие водителя. Да тупняки у них иногда случаются (когда например он не может выполнить задачу, не нарушив ПДД), но в целом, схема уже рабочая.
Следует лишь понимать, что ограничения пока, что мы сами выставляем, но не зря эти штуки называют ИИ, ибо для достижения результата они идут кратчайшим из возможных путей.
Например ИИ, задача которого была не проиграть в тетрис по итогу додумался в самый последний момент ставить на паузу, таким образом не давая себе проиграть (ибо в описании условий не было сказано ничего про паузу и время).
Сколько еще вещей мы можем не предусмотреть одному Богу известно. Я думаю таки оно когда-нибудь вырвется на свободу, вопрос лишь в каком виде и с какой целью.