인생은 쿼카처럼

Django는 ORM(Object-Relational Mapping)을 통해 데이터를 생성하고 읽고 갱신하고 삭제하는 기능(CRUD, Create Read Update Delete)을 수행한다. 이 중에서 읽어오는 기능을 수행할 때 '어떻게 하면 좀 더 빠르게 처리할 수 있을까?'라는 생각에서 시작하게 되었다. 일단 증권사 API와 SQL에 저장된 데이터를 합쳐서 원하는 기능을 구현하고자 했다. API로 데이터를 서버에서 가져오는 기능과 Django의 ORM으로 쿼리셋(QuerySet)을 가져오는 기능을 수행해야 하는데, API는 지정된 속도 제한이 있어 한계가 있어 장고의 처리 속도를 빠르게 할 방법을 찾아야 했다. 기본 API로 데이터 요청만 처리했을 때 걸린 시간이다. 꽤 걸리지만 이 방법이 최선이..

IT/Python 2023. 6. 7. 22:46

VScode(Visual Studio Code)에서 코딩을 한 뒤 git에 업로드할 때 발생하는 오류 메시지이다. 로컬 설정은 폴더나 프로젝트마다 다른 이름으로 입력하고 싶다면 설정하면 좋고, 글로벌(전역) 설정은 한번 설정하면 다른 폴더나 프로젝트에도 동일하게 설정되어 1번만 설정하면 된다. 로컬 설정 ('--local'을 입력하지 않아도 기본값이다.) git config user.name "이름" git config user.email "이메일" git config --local user.name "이름" git config --local user.email "이메일" 글로벌(전역) 설정 git config --global user.name "이름" git config --global user.ema..

IT/Python 2023. 6. 5. 18:17

API를 제공하는 증권사는 키움증권, 대신증권, 이베스트투자증권 정도가 있는데, 모두 '윈도우'에서 제공하기 때문에 리눅스에서는 사용할 수 없다. 이 중에서 대신증권의 '크레온 플러스(CREON Plus)'를 사용하여 증권 데이터를 가져오는 과정에서 이 오류가 발생하였다. com_error: (-2147221021, '작업을 사용할 수 없습니다.', None, None) 증권사 API는 32bit만 지원하고 있으나, 64bit를 사용하고 있기 때문에 발생하는 오류이다. 이를 해결하기 위해서는 32비트 가상환경을 만들어주면 된다. 터미널(Terminal)에서 아래 명령어를 하나씩 순서대로 입력하시면 된다. # Anaconda 에서 32비트로 셋팅 set CONDA_FORCE_32BIT=1 # 파이썬 가상환..

IT/Python 2022. 11. 17. 11:27

빅데이터를 분석한다거나, 파이썬으로 활용하는 과정에서 엑셀 파일을 데이터프레임 형식으로 가져와야 하는 일이 생긴다. 이때 엑셀 파일의 용량이 크거나, 파일의 수가 많을 경우 데이터를 가져오는데 시간이 꽤 많이 소요된다. 한 번만 처리를 해야 하면 기다릴 수도 있겠지만... 나의 경우는 일주일 간격으로 크롤링을 해서 데이터를 엑셀 파일로 만들어놓았고, 이용자가 접속할 때마다 파일들을 확인하도록 프로그램을 설계해놨으며 매번 이 데이터들을 통해 원하는 정보만 뽑아내도록 프로그램을 만들었다. 그렇기에 어떻게든 속도를 빠르게 해야만 했다. (혹여나 더 좋은 방법이 있다면 조언 부탁드립니다ㅎㅎ) 이 과정에서 많은 엑셀 파일을 조회해야 했는데, 시도해 본 방법을 포스팅해 보려 한다. 확장자에 따른 처리 속도와 das..

IT/Python 2022. 11. 3. 12:00

데이터 정렬 방법 아래와 같이 데이터 프레임이 있을 때, 가격이 낮은 순(오름차순)으로 보고 싶을 때 사용할 수 있는 방법이다. df.sort_values('가격', ascending=True) '.sort_values'는 컬럼의 값에 따라 정렬을 해주는 기능을 한다. 파라미터에 기준이 될 컬럼을 입력한 뒤, 'ascending'에는 True을 입력했더니 가격 데이터를 오름차순으로 보여준다. df.sort_values('가격', ascending=False) ascending에 False를 입력하니 가격 데이터를 높은 순서(내림차순)로 보여준다. 이번에는 시장의 한 원자재 가격 데이터이다. 'id' 컬럼의 타입은 'datetime64'로 날짜 타입이다. 그럼에도 날짜가 최신순(내림차순)으로 잘 정렬된 것..

IT/Python 2022. 10. 24. 23:08

문제 investing.com(인베스팅닷컴)에는 매우 다양한 시장 데이터들이 존재하며 검색만으로 쉽게 접근할 수 있다. 해외주식부터 국내주식, 원자재, 선물, 경제 이벤트, 심지어는 코인(crypto) 가격도 제공한다. 나 또한 사이트의 정보를 이용하기 위해 프로그램을 짜서 데이터를 수집해왔다. 얼마 전까지만 하더라도 Ajax(Asynchronous Javascript And XML)를 이용해 매우 편리하게 데이터를 가져올 수 있었다. """ 현재는 막힌 방법 중 하나이다. """ import requests as rq from bs4 import BeautifulSoup url = ('https://kr.investing.com/instruments/HistoricalDataAjax') data = {..

IT/Python 2022. 10. 23. 22:55

시작 명확하게 얘기하자면, Django 환경의 jupyter notebook을 사용하는 방법이다. 일반 파이썬 환경에서 jupyter notebook을 이용해 Django에서 쓸 프로그램을 코딩할 경우, ORM(Object-Relational Mapping), 쿼리셋(QuerySets) 기능을 꺼내 쓸 수 없으니 쉽게 테스트해보며 만들 수 없다. 각자의 스타일에 다르겠으나, 주피터 노트북에 익숙해져있던 나는 디버깅을 하는 것보다 코딩을 더 쉽게 진행할 수 있었다. Django 개발에 필요한 VSCode 디버그 설정하기 디버그(debug) : 원래 '해충을 잡다'라는 뜻으로, 프로그램의 오류를 벌레에 비유하여 오류를 찾아 수정하는 일이라는 의미로 쓰인다. 실제로 어원을 보면 과거 초창기 컴퓨터에 나방이 들..

IT/Python 2022. 10. 20. 12:00

시작하기 전 이전에 포스팅했던 내용과 비슷한 부분이 있다. 이전에는 '특정 글자'를 변경하거나 삭제하는 것이었다면, 이번에는 '특정 글자가 포함된 행'을 추출하거나 삭제해볼 것이다. 판다스(Pandas DataFrame) 특정 글자 변환, 없애기(replace) 판다스(Pandas DataFrame) 특정 글자 변환, 없애기(replace) 문제 Pandas DataFrame을 활용하던 중 컬럼 자료형을 소수점 사용을 위해 'float'으로 변환하려고 하니 아래와 같이 오류가 발생했다. ValueError: could not convert string to float: '1,010.00' 숫자 표.. chostock.com 특정 글자 포함 행 '선택(추출)' 방법 아래와 같이 데이터프레임이 있을 때, '..

IT/Python 2022. 10. 14. 13:25