[Docker] build시 존재하는 파일이 not found로 에러 발생 시, 우회방법

Summary

- aaa/Dockerfile에서 COPY를 사용해서 복사 할 파일은 같은 디렉터리 내에 있어야 함

- bbb/TarZipFiles 라는 디렉터리에 원본을 보관하고 있었는데,
  이 디렉터리를 Dockerfile이 위치한 aaa/ 디렉터리에 옮겨둠 (aaa/TarZipFiles)

- 실제로 COPY 할 파일들은 aaa/downloads에 심볼릭 링크를 사용하여 링크해둠

    - Dockerfile이 aaa/ 디렉터리에 있고, 같은 디렉터리에 TarZipFiles 디렉터리를 두었기 때문에,
      aaa/TarZipFiles에 있는 파일을 그대로 COPY에 사용해도 무관 !
      내 경우에는 사용 할 파일들이 계속 바뀌고 있어서 별도로 관리하고자 downloads에 심볼릭 링크 생성하여 사용

- Dockerfile에서 COPY명령으로 심볼릭 링크 파일을 사용하면, 원본 파일이 COPY 된다.

    - 심볼링 링크 파일을 COPY -> 원본 파일이 COPY

    - 심볼릭 링크 파일들을 모아둔 디렉터리를 COPY -> 디렉터리가 그대로 COPY
      (디렉터리 안의 파일들은 심볼릭 링크 파일, 즉 원본X 원본 같이 COPY하지 않으면 실행X)

---

ERROR: failed to solve: failed to compute cache key: failed to calculate checksum of ref 73ebe1a7-7d4f-4c5c-9793-dab09f746fea::4fff1g6aarsfwdy0gvkab0sc5: "/home/mimi/wk/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz": not found

 

라는 에러를 마주했다.

이 에러는 Dockerfile이 있는 위치의 디렉터리가 아닌 타 디렉터리를 참조하여 생기는 에러 !

 

기본적으로 Dockerfile이 있는 위치에 있어야 하지만..

내 경우.. 여러 버전의 도커이미지를 만들면서 같은 파일을 사용하기도, 일부 다른 파일을 추가해서 사용하기도 해서

도커파일이 있는 디렉터리마다 사용하는 파일이 달랐다.

 

도커파일이 존재하는 디렉터리마다 필요한 파일들을 복사해서 두자니, 똑같은 파일들을 여러곳에 두는거라 비효율적이어서 한 곳에 두고 관리하고자 했다.

 

그렇게 수정 후, 빌드를 진행하고자 했더니 위와 같은 에러가 발생했던 것이다.

문제가 되는 부분은 아래 부분이다. 

  73 | >>> COPY /home/mimi/wk/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz                  /home/myuser/WRF/Downloads/zlib-1.3.tar.gz

 

/home/mimi/wk/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz 위치에 있는 파일을 

도커 컨테이너의  /home/myuser/WRF/Downloads/zlib-1.3.tar.gz 에 복사하려고 했었다.

하지만 Dockerfile은 /home/mimi//wk/docker_wrf/Dockerfile 에 존재했다.

 

즉, 다른 경로에 있는 파일을 복사하려고 해서 발생 한 문제였다.

 

고려해볼 만한 것들로

1, 상대경로로 수정하거나 X

2. 심볼릭 링크를 사용하는 것이 있었다. X 

******** 난.. 둘 다 실패..

 

나는 심볼릭 링크를 사용해보고자 했다.

심볼릭 링크를 사용하면, 링크만 컨테이너 내부로 복사되어 실제로 사용하지 못하지 않을까 싶었지만..

"Docker에서 심볼릭링크를 사용하는 경우, 일반적으로 링크 자체가 아닌 링크가 가리키는 실제 파일이 컨테이너로 복사된다."

고 보아서 진행해봤다.

 

- 심볼릭링크 걸어둠

mimi@mimi:~/wk/docker_wrf/downloads$ cat .t.sh 
#!/bin/bash

ln -sf /home/mimi/wk/WRF/Downloads/TarZipFiles/geog_high_res_mandatory.tar.gz   .
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/hdf5-1.10.5.tar.gz              . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/jasper-1.900.1.zip              . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/libpng-1.6.37.tar.gz            . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/mpich-3.3.1.tar.gz              . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/netcdf-c-4.9.0.tar.gz           . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/netcdf-fortran-4.6.0.tar.gz     . 
ln -sf  /home/mimi/wk/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz                 . 
mimi@mimi:~/wk/docker_wrf/downloads$

lrwxrwxrwx 1 mimi mimi   58 12월 27 09:57 hdf5-1.10.5.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/hdf5-1.10.5.tar.gz
lrwxrwxrwx 1 mimi mimi   70 12월 27 09:57 geog_high_res_mandatory.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/geog_high_res_mandatory.tar.gz
lrwxrwxrwx 1 mimi mimi   58 12월 27 09:57 mpich-3.3.1.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/mpich-3.3.1.tar.gz
lrwxrwxrwx 1 mimi mimi   60 12월 27 09:57 libpng-1.6.37.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/libpng-1.6.37.tar.gz
lrwxrwxrwx 1 mimi mimi   58 12월 27 09:57 jasper-1.900.1.zip -> /home/mimi/wk/WRF/Downloads/TarZipFiles/jasper-1.900.1.zip
lrwxrwxrwx 1 mimi mimi   55 12월 27 09:57 zlib-1.3.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz
lrwxrwxrwx 1 mimi mimi   67 12월 27 09:57 netcdf-fortran-4.6.0.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/netcdf-fortran-4.6.0.tar.gz
lrwxrwxrwx 1 mimi mimi   61 12월 27 09:57 netcdf-c-4.9.0.tar.gz -> /home/mimi/wk/WRF/Downloads/TarZipFiles/netcdf-c-4.9.0.tar.gz

 

접어둔 것과 같이 심볼릭 링크를 만들어두고 빌드 진행시, 아래와 같이 정상적으로 넘어가는데, 

 => [14/18] COPY ./downloads /home/myuser/WRF/Downloads                                                                                                                            0.1s

위와 같이 COPY한 tar파일을 풀려고 할 때, 에러가 발생한다. 

어떻게 복사되었는지 확인하고자.. tar로 푸는 코드를 주석처리 하고 우선 빌드를 진행해봤다.

 

컨테이너 내부에 들어가서 확인해보니, 원본파일이 복사된게 아닌, 링크된 파일이 복사되어

원본을 찾지 못했기 때문에 tar를 풀때 원본 파일을 찾지 못해 에러가 발생 한 것이었다.

"Docker에서 심볼릭링크를 사용하는 경우, 일반적으로 링크 자체가 아닌 링크가 가리키는 실제 파일이 컨테이너로 복사된다."

라는 말은 해당 링크파일을 직접 COPY할 때 해당되는 말로 보이는게,

내가 위에서 테스트 해볼 때,
아래와 같은 방식으로 /downloads 하위에 심볼릭 링크된 파일들이 있었고, /downloads 디렉터리 자체를 COPY했었는데
COPY ./downloads /home/myuser/WRF/Downloads
이 경우, 빌드는 정상적으로 진행되고 컨테이너 안에 심볼링 링크된 파일이 복사되어 들어가있었고,

다시 테스트 해볼 때는 아래와 같은 방식으로 /downloads 하위에 있는 심볼릭 링크 된 파일 하나를 COPY하려고 했더니
COPY ./downloads/hdf5-1.10.5.tar.gz /home/myuser/WRF/Downloads
초기에 발생한 것과 같이 파일을 못찾는 에러가 발생하고 있다.

ERROR: failed to solve: failed to compute cache key: failed to calculate checksum of ref 73ebe1a7-7d4f-4c5c-9793-dab09f746fea::iqkb013a9xmz0rvdt5e0pbz42: "/home/mimi/wk/WRF/Downloads/TarZipFiles/hdf5-1.10.5.tar.gz": not found

 

 

이번엔 상대경로로 진행.. 했는데 똑같다..

COPY ../../WRF/Downloads/TarZipFiles/geog_high_res_mandatory.tar.gz   /home/myuser/WRF/Downloads/geog_high_res_mandatory.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/hdf5-1.10.5.tar.gz               /home/myuser/WRF/Downloads/hdf5-1.10.5.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/jasper-1.900.1.zip               /home/myuser/WRF/Downloads/jasper-1.900.1.zip
COPY ../../WRF/Downloads/TarZipFiles/libpng-1.6.37.tar.gz             /home/myuser/WRF/Downloads/libpng-1.6.37.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/mpich-3.3.1.tar.gz               /home/myuser/WRF/Downloads/mpich-3.3.1.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/netcdf-c-4.9.0.tar.gz            /home/myuser/WRF/Downloads/netcdf-c-4.9.0.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/netcdf-fortran-4.6.0.tar.gz      /home/myuser/WRF/Downloads/netcdf-fortran-4.6.0.tar.gz
COPY ../../WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz                  /home/myuser/WRF/Downloads/zlib-1.3.tar.gz

ERROR: failed to solve: failed to compute cache key: failed to calculate checksum of ref 73ebe1a7-7d4f-4c5c-9793-dab09f746fea::z87jv0muf436jfforyksx8uf1: "/WRF/Downloads/TarZipFiles/zlib-1.3.tar.gz": not found

 

음 역시 GPT ^^^😊... 모르는건 모른다고 해줬으면... 내가 못한걸수도 있지만...

 

 

 

 

그래서.. 내가 왜 이걸 하고 있었지.........😩

깃허브 푸쉬하려 했는데 용량제한에 걸렸더라지..

그럼 그냥 도커파일 있는 디렉터리 안에 TarZipFiles 디렉터리를 옮겨두고.. downloads 디렉터리에 심볼릭 링크 넣어두고 관리하자.. 그럼 원본이 복사될테니..

그리고 깃허브에는 TarZipFiles 디렉터리를 반영하지 않도록 ignore설정해두자..

 

 

원본이 있는 TarZipFiles는 Dockerfile이 위치한 디렉터리로 옮김

COPY 할 downloads 디렉터리에 심볼릭 링크 상대경로로 걸어둠

lrwxrwxrwx 1 mimi mimi   45 12월 27 10:31 geog_high_res_mandatory.tar.gz -> ../TarZipFiles/geog_high_res_mandatory.tar.gz
lrwxrwxrwx 1 mimi mimi   33 12월 27 10:31 jasper-1.900.1.zip -> ../TarZipFiles/jasper-1.900.1.zip
lrwxrwxrwx 1 mimi mimi   33 12월 27 10:31 hdf5-1.10.5.tar.gz -> ../TarZipFiles/hdf5-1.10.5.tar.gz
lrwxrwxrwx 1 mimi mimi   36 12월 27 10:31 netcdf-c-4.9.0.tar.gz -> ../TarZipFiles/netcdf-c-4.9.0.tar.gz
lrwxrwxrwx 1 mimi mimi   33 12월 27 10:31 mpich-3.3.1.tar.gz -> ../TarZipFiles/mpich-3.3.1.tar.gz
lrwxrwxrwx 1 mimi mimi   35 12월 27 10:31 libpng-1.6.37.tar.gz -> ../TarZipFiles/libpng-1.6.37.tar.gz
lrwxrwxrwx 1 mimi mimi   30 12월 27 10:31 zlib-1.3.tar.gz -> ../TarZipFiles/zlib-1.3.tar.gz
lrwxrwxrwx 1 mimi mimi   42 12월 27 10:31 netcdf-fortran-4.6.0.tar.gz -> ../TarZipFiles/netcdf-fortran-4.6.0.tar.gz

Dockerfile에서 디렉터리 자체를 COPY했더니 

COPY ./downloads /home/myuser/WRF/Downloads

- 정상빌드 O 컨테이너 내부에 링크로 복사 됨 

 

Dockerfile에서 파일 하나하나를 COPY했더니 

COPY ./downloads/geog_high_res_mandatory.tar.gz   /home/myuser/WRF/Downloads/geog_high_res_mandatory.tar.gz
COPY ./downloads/hdf5-1.10.5.tar.gz               /home/myuser/WRF/Downloads/hdf5-1.10.5.tar.gz
COPY ./downloads/jasper-1.900.1.zip               /home/myuser/WRF/Downloads/jasper-1.900.1.zip
COPY ./downloads/libpng-1.6.37.tar.gz             /home/myuser/WRF/Downloads/libpng-1.6.37.tar.gz
COPY ./downloads/mpich-3.3.1.tar.gz               /home/myuser/WRF/Downloads/mpich-3.3.1.tar.gz
COPY ./downloads/netcdf-c-4.9.0.tar.gz            /home/myuser/WRF/Downloads/netcdf-c-4.9.0.tar.gz
COPY ./downloads/netcdf-fortran-4.6.0.tar.gz      /home/myuser/WRF/Downloads/netcdf-fortran-4.6.0.tar.gz
COPY ./downloads/zlib-1.3.tar.gz                  /home/myuser/WRF/Downloads/zlib-1.3.tar.gz

- 정상빌드 O 컨테이너 내부에 원본 복사 됨

컨테이너 내부에서 확인해 봄

myuser@3bbb5c17aad9:~/WRF/Downloads$ ll
total 2758540
drwxr-xr-x 1 myuser myuser       4096 Dec 27 01:40 ./
drwxr-xr-x 1 myuser myuser       4096 Dec 27 01:41 ../
-rw-rw-r-- 1 root   root   2772782816 Dec 24 08:54 geog_high_res_mandatory.tar.gz
-rw-r--r-- 1 root   root     12030972 Dec 24 08:54 hdf5-1.10.5.tar.gz
-rw-r--r-- 1 root   root      1415752 Jan 19  2007 jasper-1.900.1.zip
-rw-r--r-- 1 root   root      1495748 Apr 14  2019 libpng-1.6.37.tar.gz
-rw-r--r-- 1 root   root     27275466 Jan  7  2022 mpich-3.3.1.tar.gz
-rw-r--r-- 1 root   root      7103958 Jun 10  2022 netcdf-c-4.9.0.tar.gz
-rw-r--r-- 1 root   root      1110214 Jul 29  2022 netcdf-fortran-4.6.0.tar.gz
-rw-rw-r-- 1 root   root      1495873 Aug 18 10:08 zlib-1.3.tar.gz
myuser@3bbb5c17aad9:~/WRF/Downloads$

 

결론은...

Dockerfile이 위치한 디렉터리 안에 원본파일 넣어놔야 함

git에 update안되었으면 하면 ingnore 파일 사용

버전별로 사용하는 파일 별도로 관리하기 위해서 원본 파일들은 TarZipFiles 디렉터리에 모아두고, 실제 사용하는 파일들은 downloads 디렉터리에 심볼릭 링크를 걸어서 사용