파이썬 다운로드시 파일명 가져오는 방법, 문자 인코딩

 

🌐

 

다운로드 시 서버로부터 파일명을 가져오는데에는 여러 가지 방식이 있다. 인터넷 주소의 끝부분을 가지고 추론하거나, 응답 헤더의 Content-Disposition이라는 부분을 보거나 아니면 HTML5에 있는 Download 태그를 쓰거나 등이 있다.

 

예로 이미지 주소가 아래와 같다면 URL의 마지막 부분인 Windows_logo_and_wordmark_-_2021.svg를 보고 이 부분이 파일명임을 유추할 수 있다. 또한, 아래와 같이 응답 헤더의 Content-Disposition 부분의 filename부분을 보아도 알 수 있다.

 

https://blog.kakaocdn.net/dn/bI5PaW/btrozw3Udj4/o2nI0pKMfL4l5ZiuFIUTpK/Windows_logo_and_wordmark_-_2021.svg?attach=1&knm=tfile.svg

다운로드 파일 주소 예시

 

content-disposition 예시

이 중 content-disposition으로 파일 명을 알 수 있다면 파이썬의 urllib의 request.urlopen(url).headers.get_filename()을 이용하여 파일 제목을 받아올 수 있다.

 

from urllib import request
downloadURL = "https://github.com/notepad-plus-plus/notepad-plus-plus/releases/download/v8.4.2/npp.8.4.2.Installer.arm64.exe"
urlOpen = request.urlopen(downloadURL)
fileName = urlOpen.headers.get_filename()
print(fileName)

> npp.8.4.2.Installer.arm64.exe

 

그런데 headers.get_filename()을 통해 파일 제목을 불러오면 파일명이 깨지는 경우가 발생한다. 이번에 공공데이터 포털인 data.go.kr에서 CSV 파일을 받아올 때 그랬다. 내가 보려던 정보는 대구도시철도공사_2호선 열차시각표의 CSV 데이터였는데, 웹 브라우저에서와는 다르게 파이썬의 urllib 모듈은 온전한 파일명을 보여주지 못했다.

 

파이어폭스에서 파일 다운로드를 하는 모습

from urllib import request
downloadURL = "https://www.data.go.kr/cmm/cmm/fileDownload.do?atchFileId=FILE_000000002535606&fileDetailSn=1&insertDataPrcus=N"
urlOpen = request.urlopen(downloadURL)
fileName = urlOpen.headers.get_filename()
print(fileName)

대구도시철도공사_2호선 열차시각표_20220430.csv

파이썬으로 본 모습 파일명이 깨져있다

 

인코딩이 문제였겠거니 해서 한국에서 널리 사용됐던 인코딩 방식인 euc-kr로 인코딩 설정을 해보았는데, 오류가 나왔다. 그래서 좀 더 찾아보아보기로 했다. 헤더 부분에는 Content-Disposition: =?utf-8?b 구문이 있어서 UTF-8인 줄 알았는데, 아닌 듯했다. 대체 뭘까...

>>>fileName.encode('euc-kr')


Traceback (most recent call last):
  File "<pyshell#2>", line 1, in <module>
    fileName.encode('euc-kr')
UnicodeEncodeError: 'euc_kr' codec can't encode character '\xeb' in position 0: illegal multibyte sequence

 

그러다가 인터넷에서 Universal Cyrillic decoder라는 웹 페이지를 찾았다. 이 사이트는 다수의 입력한 문자를 다양한 인코딩으로 볼 수 있는 메뉴가 있었다.^[각주:1]

 

그런데 해당 문자가 어떤 인코딩으로 되어 있는지는 보여주지 않았다. 혹시나 개발자 도구에 인코딩 종류가 무엇인지 적혀있지 않을까 해서 봤는데, 다행히도 있었다. ISO-8859-1가 정답이었다. 파이썬에서 .encode('ISO-8859-1').decode('UTF-8')을 실행했더니 내가 바라던 파일명이 정상적으로 출력됨을 확인할 수 있었다. 

 

Universal Cyrillic Decoder 웹 페이지 화면과 개발자 도구 화면

 

>>> fileName.encode('ISO-8859-1').decode('UTF-8')
'대구도시철도공사_2호선 열차시각표_20220430.csv'

 

왜 ISO-8859-1로 인코딩을 했다가 다시 디코딩하면 잘 보이는 것일까? urllib 인코딩 기본 값이 ISO-8859-1이라서 그런 것일까? 아니면 서버 측에서 파일명을 ISO-8859-1 형식으로 만든 뒤에 보내는 것일까? 나중에 생각나면 찾아봐야겠다.

 

1. 한 번 변환 버튼을 눌려야 해당 메뉴가 생긴다. [본문으로]