https://comeinsidebox.com/윈도우-바탕화면-작업표시줄-windows-desktop-taskbar/
내용 참고하세요.^^ 한번에 하는 방법은 없고 바로가기를 이용한 트릭으로 원하시는 설정 구현 가능 할 것 같네요.

프로그램 아이콘은 작업표시줄에 고정은 있으나
폴더는 작업표지줄에 고정이 없고 시작메뉴에 고정은 있더군요

윈도우 11은 윈도우10 처럼 추가할 수 없습니다.
프로그램 아이콘은 우클릭으로 작업표시줄에 고정이 가능하지만 폴더는 아래와 같은 방법으로 해주셔야 합니다.

1. 추가할 폴더 마우스 우클릭 → 더 많은 옵션 표시 → 바로가기 만들기.
2. 폴더의 바로가기 아이콘  마우스 우클릭 → 속성 → 대상(T) 경로 앞에 explorer 추가(ex. 대상(T)경로를 'C:\123\234....'에서 'explorer C:\123\234....'으로 변경 후 확인
3. 다시 폴더의 바로가기 아이콘 마우스 우클릭 → 더 많은 옵션 표시 → 작업표시줄에 고정.
경로 앞에 'explorer' 입력 후 공백(한 칸 띄우기)입니다.

새로 만들기 → 바로가기 아이콘 만들기에서 고정을 원하는 폴더를 지정 후 동일하게 explorer을 추가하는 방법도 있지만 위 방법이 좀더 편할 것 같아서 생략합니다.

윈도우11 정상 업데이트 배포버전 (22621.1265~)에서는 안되는 걸로 알고 있습니다.
앱을 실행한후 작업표시줄에서 해당 앱에 마우스 오른쪽 버튼 클릭한후 작업표시줄 고정으로 처리하셔야 합니다. (아래 캡쳐이미지 참고)
제가 사용하는 베타버전에서는 작업표시줄로 드래그했더니 작업표시줄에 고정시킬 수가 있었습니다.