Выражение это встречается часто и в литературной и в разговорной речи.
«Ну что, вы как поживаете, господа? — спросил я, подходя к кучке гарнизонных офицеров, одетых с иголочки и в белых перчатках на руках», — писал Салтыков-Щедрин в «Губернских очерках».
«Быть одетым с иголочки» значит: нарядиться в новое, только что сшитое платье.