판다스 데이터 저장 방법 및 파일 종류와 그 차이

판다스 데이터를 가지고 분석하고 있었는데 다루는 파일의 크기가 커지고와 수 많아지다보니 좀 더 효율적으로 작업을 하고자 읽고 쓰는 방식에 대해 조사했다. 아래는 내가 필요한 부분만 요약. 출처는 하단 표기 판다스 데이터 pandas data 저장 방법의 종류 및 장단점 csv 컴마(,)로 구분하며 범용성이 뛰어나다 pickle 파이썬 인터프리터 python interpreter로 열어야 하는 단점이 있지만 파이썬에서 작업할 때는 빠른 속도를 보인다. 아래의 feather, parquet 보다는 느리지만 쓰기에 간편하다는 장점이 있다 hdf5 대량 데이터를 보관하는 데 용이하다 feather 제일 빠르다 parquet 패더 feather와 속도는 비슷한데 용량이 현격히 작다 이 외에도 message pac..

• format_list_bulleted 아카이브
• · 2023. 11. 11.
• textsms

데이터를 날려먹었다

홀라당 날려먹었다 아직도 이해할 수 없다. github desktop으로 pull 하고 push했는데 difference가 있어서 stach changes 하고 restore change를 했었다. 다른 건 멀쩡히 돌아왔는데 코드가 담겨있던 ipynb 파일만 홀라당 날아갔다. 어떻게 대비할 수 있을까 배움은 물을 거슬러 올라가는 거라고 했다 學如 逆水行舟 不進則退 앞으로 가지 않으면 물러나는 거다. 백업을 하다가 오히려 날려먹었다는 점은 빡치는 포인트이긴 한데 이번 기회를 통해 어떻게 이런 사고를 막을 수 있을지 배우는 게 낫다. 어떻게 대비할 수 있을까 commit을 자주 해놔야겠다. 처음으로 git reset hard 라는 걸 해봤다. 이전 저장본으로 돌아가긴 하는데 내가 원했던 최신 버전이 아니다...

• format_list_bulleted 아카이브
• · 2023. 11. 10.
• textsms

블로그를 다시 쓰기로 했다

있는 그대로 뭔가 모양을 내려하면 할수록 챙겨야 할 게 많아진다. 챙길 게 많을 수록 시간이 오래 걸린다. 시간이 오래 걸릴수록 한번 손 대기가 어렵다. 블로그처럼 우선순위가 낮은 할일이 손 대기가 어려워진다는 건 영영 손대지 않게 된다는 것과 마찬가지다. 그렇다고 기록으로 남길 게 없는 건 아니다. 많은 변화가 있었고 근래 개발을 하고 있으니 하루에도 기록으로 남길 게 몇 개 씩 나온다. 그러나 블로그를 거창하게 혹은 예쁘게 해보려는 생각이 끼어들면서 "해야지, 해야지" 하고는 미루게 된다. 그래서 그냥 있는 그대로 하기로 했다. 더이상 미룰 수 없다. 예쁘면 좋은 거고 아니어도 어쩔 수 없다. 더이상 낭비 할 시간이 없다.

• format_list_bulleted 아카이브
• · 2023. 11. 9.
• textsms

연방준비제도 빅스텝 인상 이슈

빅스텝, 선택의 여지가 없는 50bp 인상 미국 상하원, 3월 FOMC 기자회견 등에서 줄기차게 기준금리 인상을 예고해온 제롬 파월 연준의장이 전미실물경제협회(National Association for Business Economics)에서 신속하게(expeditiously), 제약적인(restrictive) 같은 단어를 써가며 기준금리를 인상해야 한다고 언급했다. 공급망 훼손으로 인한 인플레이션은 일시적(transitory)이라고 해왔던 연준이었지만, 실질이든 기대이든 인플레이션 압력이 걷잡을 수 없이 커지는 상황에 직면하자, 물론 이미 체면 차리느라 늦은 것이지만, 인정하고 인플레이션을 잡겠다는 의지를 확고히 보여주는 모습이다. 연방공개시장위원회(Federal Open Market Committee..

• format_list_bulleted 아카이브
• · 2022. 3. 24.
• textsms

1,200원을 훌쩍 뛰어넘은 환율 ... 언제까지 올라갈까?

환율이 1,230원을 훌쩍 뛰어넘으면서 고공행진하고 있다. 1. 작년 연말 ~ 올해 연초까지만 해도 대다수 금융기관들은 환율의 상고하저(상반기 高 하반기 低) 움직임을 예상했었다. 2022년 한국의 경상수지 흑자가 예상됐고 (한국은행) 국내 외환보유고가 사상 최대치를 경신했었으며 미국의 금리인상 및 통화정책 정상화가 예상됐었기 때문이다. 환율 하단을 제한할 (원화 약세를 불러올만한) 요인은 1) 예상보다 높았던 인플레이션과 2) 개인투자자들의 해외투자 열풍이 꼽히는 정도였다. 물론, 미국 인플레이션이 계속해서 사상 최고치를 갈아치우면서 금년 기준금리 인상 전망이 높아지며 환율도 오르곤 했지만 상반기에 1,220원 정도까지 전망했던 IB도 있는 만큼 '상식'을 벗어나는 수준은 아니었다. 그러나 정말 '상식..

• format_list_bulleted 아카이브
• · 2022. 3. 9.
• textsms

3월 FOMC와 우크라이나 전쟁 ... 주가 반등 시기는?

요근래 코로나, 인플레이션 압력에 이어 전쟁까지 발발하면서 주식시장이 폭락하고 있다. 1. 3월 FOMC에서 미국 기준금리 인상 후 주가 반등의 기회가 있다. 현재 시장은 인플레이션으로 인한 소비 침체 및 경기 하강 우려가 극심한 상황. 시장은 연준이 고삐를 확실히 쥐고 인플레이션을 제어해주길 바란다. 작년 내내 연준은 인플레이션은 일시적 transitory 이라고 했다가 최근에 번복한 바 있다. 현재 연준으로서는 시장 신뢰를 회복하기 위해서라도 인플레이션 파이터로서의 면모를 보여줄 필요가 있는 상황. 결국 시장은 예측가능한 통화정책 정상화와 이를 통한 불확실성 제거를 기다리고 있다. Fed Chairman Powell: 'We should have moved earlier' 그러면 3월 FOMC가 열리..

• format_list_bulleted 아카이브
• · 2022. 3. 8.
• textsms