조스톡 Chostock

빅데이터를 분석한다거나, 파이썬으로 활용하는 과정에서 엑셀 파일을 데이터프레임 형식으로 가져와야 하는 일이 생긴다. 이때 엑셀 파일의 용량이 크거나, 파일의 수가 많을 경우 데이터를 가져오는데 시간이 꽤 많이 소요된다. 한 번만 처리를 해야 하면 기다릴 수도 있겠지만... 나의 경우는 일주일 간격으로 크롤링을 해서 데이터를 엑셀 파일로 만들어놓았고, 이용자가 접속할 때마다 파일들을 확인하도록 프로그램을 설계해놨으며 매번 이 데이터들을 통해 원하는 정보만 뽑아내도록 프로그램을 만들었다. 그렇기에 어떻게든 속도를 빠르게 해야만 했다. (혹여나 더 좋은 방법이 있다면 조언 부탁드립니다ㅎㅎ) 이 과정에서 많은 엑셀 파일을 조회해야 했는데, 시도해 본 방법을 포스팅해 보려 한다. 확장자에 따른 처리 속도와 das..

IT/Python 2022. 11. 3. 12:00

데이터 정렬 방법 아래와 같이 데이터 프레임이 있을 때, 가격이 낮은 순(오름차순)으로 보고 싶을 때 사용할 수 있는 방법이다. df.sort_values('가격', ascending=True) '.sort_values'는 컬럼의 값에 따라 정렬을 해주는 기능을 한다. 파라미터에 기준이 될 컬럼을 입력한 뒤, 'ascending'에는 True을 입력했더니 가격 데이터를 오름차순으로 보여준다. df.sort_values('가격', ascending=False) ascending에 False를 입력하니 가격 데이터를 높은 순서(내림차순)로 보여준다. 이번에는 시장의 한 원자재 가격 데이터이다. 'id' 컬럼의 타입은 'datetime64'로 날짜 타입이다. 그럼에도 날짜가 최신순(내림차순)으로 잘 정렬된 것..

IT/Python 2022. 10. 24. 23:08

문제 investing.com(인베스팅닷컴)에는 매우 다양한 시장 데이터들이 존재하며 검색만으로 쉽게 접근할 수 있다. 해외주식부터 국내주식, 원자재, 선물, 경제 이벤트, 심지어는 코인(crypto) 가격도 제공한다. 나 또한 사이트의 정보를 이용하기 위해 프로그램을 짜서 데이터를 수집해왔다. 얼마 전까지만 하더라도 Ajax(Asynchronous Javascript And XML)를 이용해 매우 편리하게 데이터를 가져올 수 있었다. """ 현재는 막힌 방법 중 하나이다. """ import requests as rq from bs4 import BeautifulSoup url = ('https://kr.investing.com/instruments/HistoricalDataAjax') data = {..

IT/Python 2022. 10. 23. 22:55

시작 명확하게 얘기하자면, Django 환경의 jupyter notebook을 사용하는 방법이다. 일반 파이썬 환경에서 jupyter notebook을 이용해 Django에서 쓸 프로그램을 코딩할 경우, ORM(Object-Relational Mapping), 쿼리셋(QuerySets) 기능을 꺼내 쓸 수 없으니 쉽게 테스트해보며 만들 수 없다. 각자의 스타일에 다르겠으나, 주피터 노트북에 익숙해져있던 나는 디버깅을 하는 것보다 코딩을 더 쉽게 진행할 수 있었다. Django 개발에 필요한 VSCode 디버그 설정하기 디버그(debug) : 원래 '해충을 잡다'라는 뜻으로, 프로그램의 오류를 벌레에 비유하여 오류를 찾아 수정하는 일이라는 의미로 쓰인다. 실제로 어원을 보면 과거 초창기 컴퓨터에 나방이 들..

IT/Python 2022. 10. 20. 12:00

시작하기 전 이전에 포스팅했던 내용과 비슷한 부분이 있다. 이전에는 '특정 글자'를 변경하거나 삭제하는 것이었다면, 이번에는 '특정 글자가 포함된 행'을 추출하거나 삭제해볼 것이다. 판다스(Pandas DataFrame) 특정 글자 변환, 없애기(replace) 판다스(Pandas DataFrame) 특정 글자 변환, 없애기(replace) 문제 Pandas DataFrame을 활용하던 중 컬럼 자료형을 소수점 사용을 위해 'float'으로 변환하려고 하니 아래와 같이 오류가 발생했다. ValueError: could not convert string to float: '1,010.00' 숫자 표.. chostock.com 특정 글자 포함 행 '선택(추출)' 방법 아래와 같이 데이터프레임이 있을 때, '..

IT/Python 2022. 10. 14. 13:25

시작하기 전 이전 포스팅을 하면서 만든 데이터프레임을 다시 가져왔다. 컬럼(columns)을 언급하기 전에 데이터프레임의 구조를 간단히 얘기하자면, 빨간색 표시가 컬럼(columns)이고 파란색 표시가 인덱스(index)라고 말한다. 쉽게 이해하자면 엑셀과 같은 표 구조라고 보면 된다. 2단 구조와 같이 복잡하게 이루어지는 경우도 있으나 나중에 별도로 포스팅을 하겠다. 컬럼(columns) 변경 방법 칼럼 중 '색상'을 '색깔'로 변경하고 싶다면 Pandas의 '.rename'을 사용하면 된다. 'inplace' 옵션은 원본을 변경하겠다는 의미이다. df.rename(columns={'색상':'색깔'}, inplace=True) # inplace 옵션을 사용하지 않을 때 df = df.rename(col..

IT/Python 2022. 10. 14. 12:41

문제 Pandas DataFrame을 활용하던 중 컬럼 자료형을 소수점 사용을 위해 'float'으로 변환하려고 하니 아래와 같이 오류가 발생했다. ValueError: could not convert string to float: '1,010.00' 숫자 표기에 맞게 잘 적혀있고 겉 보기엔 맞는데... 무엇이 문제일까? 바로 '1,010.00', 쉼표(Comma)가 있어서 오류가 발생한 것이다. 해결 및 방법 'replace'를 사용하여 쉼표를 한번에 없애줄 수 있다. 첫번째 인자에 ','를 넣고 두번째 인자는 '' 빈칸으로 두는 것이다. df = df.replace(',','', regex=True) 나의 사례는 쉼표를 없애는데 이 기능을 사용했지만 다른 글자로 바꾸는데도(치환) 사용할 수 있다. 사..

IT/Python 2022. 10. 7. 11:08

문제 Django에서 Model을 수정한 뒤 적용하기 위해 migrate을 진행하니 오류가 발생했다. django.db.utils.OperationalError: (1050, "Table already exists") SQL에 이미 테이블이 존재하여 오류가 발생하는 것인데, 이미 있는 테이블을 삭제하고 다시 데이터를 넣기는 번거롭다. 내용 C:\mysite>python manage.py migrate Operations to perform: Apply all migrations: admin, auth, contenttypes, data, django_apscheduler, letsencrypt, notice, pybo, sessions, stock Running migrations: Applying da..

IT/Python 2022. 9. 27. 12:00