git clone 용량 줄이기 & 필요한 파일만 작업하기

구글링을 하다가 우연히 발견한 멋진 제목 하나!

 

"Git 특정 디렉터리만 clone 하기"

 

여러 팀이 하나의 Repository를 사용하는 "Mono-Repo" 방식으로 소스코드를 관리할 때

너무 커져버린 용량으로 인한 어려움이 있을 경우에

이런 제목의 글이 눈에 들어오기 시작한다. ^^

 

 

3개의 팀이 다음 그림과 같이 mono-repo로 개발한다고 해보자.

 

https://github.blog/2020-01-17-bring-your-monorepo-down-to-size-with-sparse-checkout/

 

 

3개팀에서 각자 개발하는 내용이 하나의 저장소에 모이기 때문에 2가지 이슈가 있다.

 

1. clone 받을 때 용량이 쓸데없이(?) 커서 오래걸린다.

2. 개발할 때 쓸데없는(?) 다른 팀 내용들까지 같이 보인다.

 

 

[ background ]

 

일단 보통의 방법으로 clone을 해보자.

 

❯ git clone git@github.com:whatwant-school/git-sparse.git 'git-sparse'에 복제합니다... remote: Enumerating objects: 19, done. remote: Counting objects: 100% (3/3), done. remote: Total 19 (delta 0), reused 3 (delta 0), pack-reused 16 오브젝트를 받는 중: 100% (19/19), 200.06 MiB | 10.03 MiB/s, 완료.

 

200MB 규모의 Repository이다.

tree 방식으로 디렉토리/파일을 보기 위해 tree 유틸리티 설치 후 사용해봤다.

 

❯ sudo apt install tree ❯ tree ./git-sparse ./git-sparse ├── README.md ├── client │   ├── client-1.dummy │   └── client-2.dummy └── server     ├── server-1.dummy     └── server-2.dummy 2 directories, 5 files

 

50MB 크기의 파일 4개로 구성된 Repository다. (테스트를 위해 만든 저장소 ^^)

 

 

 

[ sparse-checkout ]

 

0. environment

- 이하 실습을 진행하는 환경은 다음과 같다.

  . OS : Ubuntu 20.04 LTS

  . Git : v2.25.1

 

1. git

- "sparse-checkout" 명령어는 Git v2.25.0 부터 추가되었다.

- 천만 다행으로 Ubuntu 20.04에서 제공되는 Git 패키지의 버전이 가까스로 0.00.1을 넘겼다 ^^

 

- 과거 Git v1.17.0 부터 "sparse checkout"을 제공했었다! (사이에 "-"가 있고 없고의 차이)

  . 그 때의 명령어 사용법과 차이가 있는데, 많은 웹 포스팅에서 이를 섞어서 설명하고 있다.

 

 

2. 어렵게 clone 받기

- 블로그를 돌아다니다 보면 조금 어렵게(?) 아니 번거롭게(?) clone 받는 방법을 소개하고 있다.

 

❯ git init git-sparse-client /srv/workspace/git-sparse-client/.git/ 안의 빈 깃 저장소를 다시 초기화했습니다 ❯ cd git-sparse-client  ❯ git remote add origin git@github.com:whatwant-school/git-sparse.git  ❯ git sparse-checkout init ❯ git sparse-checkout set /client/ ❯ cat .git/info/sparse-checkout  /client/ ❯ git pull origin main   remote: Enumerating objects: 19, done. remote: Counting objects: 100% (3/3), done. remote: Total 19 (delta 0), reused 3 (delta 0), pack-reused 16 오브젝트 묶음 푸는 중: 100% (19/19), 200.06 MiB | 7.07 MiB/s, 완료. github.com:whatwant-school/git-sparse URL에서  * branch            main       -> FETCH_HEAD  * [새로운 브랜치]   main       -> origin/main

 

으응?!

 

❯ tree ./                   ./ └── client     ├── client-1.dummy     └── client-2.dummy 1 directory, 2 files

 

- Work Directory의 내용만 보면 내가 원하는대로 client/ 디렉토리만 존재한다.

- 하지만, clone 받는 용량이 줄어든 것은 아니다.

 

- sparse-checkout 명령어는 work directory를 다루기 위한 명령어이지 전송받는 데이터 용량을 줄여주는 것은 아니다.

- 그렇다면, 위와 같이 어렵게(?) clone을 받을 필요가 없다.

 

 

3. 편하게 sparse-checkout 적용하기

- 일반적인 방법으로 clone을 받고 sparse-checkout을 이용해서 정리하는 것이 훨씬 편하다.

 

❯ git clone git@github.com:whatwant-school/git-sparse.git  'git-sparse'에 복제합니다... remote: Enumerating objects: 19, done. remote: Counting objects: 100% (3/3), done. remote: Total 19 (delta 0), reused 3 (delta 0), pack-reused 16 오브젝트를 받는 중: 100% (19/19), 200.06 MiB | 9.44 MiB/s, 완료. ❯ cd ./git-sparse        ❯ tree ./ ./ ├── README.md ├── client │   ├── client-1.dummy │   └── client-2.dummy └── server     ├── server-1.dummy     └── server-2.dummy 2 directories, 5 files ❯ git sparse-checkout init ❯ git sparse-checkout set /client/ ❯ tree ./                             ./ └── client     ├── client-1.dummy     └── client-2.dummy 1 directory, 2 files

 

- 훨씬 간단하지 않은가?! ^^

 

 

4. 결론

- "sparse-checkout"은 전송 용량을 줄이기 위한 것이 아니고,

- 내가 개발하는 내용(파일)만 보면서 개발하기 위한 용도로 사용하는 것이다.

 

 

 

[ --filter=blob:none ]

 

0. background

- 웹서핑을 하다보니, clone을 순식간에 할 수 있다는 옵션을 소개하곤 했다.

 

 

1. clone

- "--filter=blob:none" 옵션을 사용하면 필요한 만큼만 blob를 내려받는다.

❯ git clone --filter=blob:none git@github.com:whatwant-school/git-sparse.git  'git-sparse'에 복제합니다... remote: Enumerating objects: 16, done. remote: Counting objects: 100% (4/4), done. remote: Compressing objects: 100% (3/3), done. remote: Total 16 (delta 0), reused 4 (delta 0), pack-reused 12 오브젝트를 받는 중: 100% (16/16), 완료. remote: Enumerating objects: 3, done. remote: Counting objects: 100% (1/1), done. remote: Total 3 (delta 0), reused 1 (delta 0), pack-reused 2 오브젝트를 받는 중: 100% (3/3), 100.03 MiB | 9.65 MiB/s, 완료. 파일을 갱신합니다: 100% (3/3), 완료. ❯ cd git-sparse ❯ du -hs ./ 201M ./ ❯ tree ./ ./ ├── README.md ├── client │   └── client-1.dummy └── server     └── server-1.dummy 2 directories, 3 files

 

- 보통의 방식으로 clone 받는 것과 비교해보자.

 

❯ git clone git@github.com:whatwant-school/git-sparse.git  'git-sparse'에 복제합니다... remote: Enumerating objects: 21, done. remote: Counting objects: 100% (5/5), done. remote: Compressing objects: 100% (3/3), done. remote: Total 21 (delta 0), reused 5 (delta 0), pack-reused 16 오브젝트를 받는 중: 100% (21/21), 200.06 MiB | 10.29 MiB/s, 완료. ❯ cd git-sparse ❯ du -hs ./                                               301M ./ ❯ tree ./ ./ ├── README.md ├── client │   └── client-1.dummy └── server     └── server-1.dummy 2 directories, 3 files

 

- 어!? 용량이 차이가 난다! 이건 써볼만한 방법이다!!!

 

 

2. with sparse-checkout and 'no-checkout'

- clone 받을 때 "--no-checkout" 옵션을 넣으면 working directory에 checkout을 하지 않는다

- 이렇게 clone을 받은 후 해당 디렉토리를 들어가면 필요한 일부 blob를 내려받느라 시간이 조금 소요된다.

 

❯ git clone --filter=blob:none --no-checkout git@github.com:whatwant-school/git-sparse.git 'git-sparse-no-checkout'에 복제합니다... remote: Enumerating objects: 16, done. remote: Counting objects: 100% (4/4), done. remote: Compressing objects: 100% (3/3), done. remote: Total 16 (delta 0), reused 4 (delta 0), pack-reused 12 오브젝트를 받는 중: 100% (16/16), 완료. ❯ cd git-sparse ❯ git sparse-checkout init ❯ git sparse-checkout set /client/ ❯ du -hs ./ 151M ./ ❯ tree ./ ./ └── client     └── client-1.dummy 1 directory, 1 file

 

- 용량이 또 줄었다! ^^

 

 

3. 결론

- clone 받을 때 "--filter=blob:none --no-checkout" 옵션을 추가해서 최소한으로 다운받고,

- 'sparse-checkout' 명령어를 섞어주면 내려받는 전체 용량을 확실히 줄여줄 수 있다.

 

 

 

 

git sparse-checkout 명령어에 대한 자세한 내용은 다음 링크를 참조하기 바란다.

- https://git-scm.com/docs/git-sparse-checkout/2.41.0