도움이 되실지 모르겠네요..
참고하세요..
https://get-help-with-file-explorer-in-windows-10.com/6

이걸로 시작해서 다시 초기화 해서 레지스트리까지 정리 해 봤는데 안됩니다. ㅋㅋㅋ 그냥 쓰고 있습니다. 조만간 새로 깔지 뭐. 이런 생각입니다.

아이콘 캐시를 초기화 해보세요
명령 프롬프트를 관리자 권한으로 실행하셔서 아래의 명령어를 한줄씩 차례대로 입력후 엔터치면 됩니다 (한줄씩 복사하셔서 엔터 치세요)
명령프롬프트는 시작버튼 누르고 cmd 입력후 검색결과가 나오면 오른쪽 마우스클릭 - 관리자 권한으로 실행 누르면 됩니다

taskkill /f /im explorer.exe
attrib %userprofile%\appdata\local\iconcache.db -s -r -h
del /q %userprofile%\appdata\local\iconcache.db
start explorer.exe

감사합니다. 아이콘 캐시 초기화도 안 통해서  아이콘 캐시를 지우기 까지 했습니다. 그런데 안됩니다. ㅋㅋㅋ.  그냥 쓰려고요.

바로 가기 아이콘만 그래서 바로가기를 새로 만들어도 안되고 아이콘 바꿔주기를 해도 안됩니다. 그냥 씁니다. ㅋㅋㅋㅋ.

바로가기 아이콘 표시가 왜 싫은지 이해가 되지 않는 1인 입니다
사용하면서 아이콘을 아주 열심히 보지는 않지 않나요
전 신경 안 쓰이던데 신경 쓰시는 분이 계시군요