요체크다 (기록하고 기록하면서 기억하자~!)

[Linux] CentOS 부팅 실패 사례

요체크다 — Tue, 26 Nov 2024 09:24:05 +0900

내부에서 CentOS 리눅스 운영 중 갑자기 정전으로 인해 서버가 의도치 않게 비정상적으로 종료가 되었고, 이후 부팅 시 정상적으로 OS 가 올라오지 않는 문제가 발생하였습니다.

1. 부팅 시 아래와 같은 에러 메시지 발생.

- ERST: Cant not request iomem region

- Can`t read CTR while initializing i8042

2. 조치

1) 인터넷을 찾아보니 maintenance mode에서 File system 체크 및 복구를 시도하라고 해서 복구 진행.

ㆍ 증상 동일.

2) 해당 서버가 스토리지와 연결될 File system 을 사용 중이어서 /etc/fstab 에서 주석처리 후 재부팅 시도.

ㆍ 서버 정상 부팅.

[PostgreSQL] Database I/O 통계 정보 모니터링

요체크다 — Fri, 22 Nov 2024 00:57:20 +0900

PostgreSQL에서는 pg_stat_database 이라고 하는 View 테이블을 통해 각 Database의 통계 정보를 제공합니다.

이를 통해 Database 수준의 I/O 활동과 성능 메트릭을 모니터링할 수 있습니다. Database 전체의 전반적인 상태를 파악하는 데 유용하며, 성능 튜닝 및 모니터링에 자주 사용됩니다.

1. 주요 컬럼 정보

컬럼명	설 명	참 조
datid	Database 의 OID(고유 식별자).
datname	Database 이름.
numbackends	현재 Database 에 연결된 백엔드(Client 연결) 수.	이 값이 높으면 해당 Database 에 지나치게 많은 연결이 이루어지고 있다는 것을 의미합니다. 높은 연결 수는 성능 저하를 일으킬 수 있습니다.
xact_commit	Database에서 커밋된 트랜잭션의 총 수.	트랜잭션의 성공적인 커밋 수를 모니터링하며, 갑작스럽게 커밋 수가 감소하면 트랜잭션 실패가 발생했을 가능성이 있습니다.
xact_rollback	Database에서 롤백된 트랜잭션의 총 수.	롤백이 많은 경우 Application 에서 오류가 발생하거나 데이터베이스 상태가 비정상일 수 있으므로 모니터링이 필요합니다.
blks_read	디스크에서 읽은 블록 수.	디스크에서 데이터를 읽는 데 시간이 많이 걸리면 성능 문제가 있을 수 있습니다. 캐시 효율성을 확인하려면 blks_hit와 비교해야 합니다.
blks_hit	공유 버퍼에서 캐시된 블록의 총 수.	Shared Buffer Memory 에서 히트된 블록의 수(이 값이 높을 수록 성능이 좋음을 의미), 캐시에서 데이터를 읽으면 디스크 I/O가 줄어듭니다. blks_read와 함께 확인하여 캐시 성능을 평가합니다.
tup_returned	Select 로 반환된 총 튜플 수.
tup_fetched	Select 로 읽힌 튜플 수. (index 를 통해 가져온 튜플 포함).
tup_inserted	INSERT된 총 튜플 수.
tup_updated	UPDATE된 총 튜플 수.
tup_deleted	DELETE된 총 튜플 수.
conflicts	Hot Standby에서 발생한 충돌 수.
temp_files	데이터베이스에서 생성된 임시 파일의 총 개수.
temp_bytes	임시 파일에 기록된 총 데이터 크기(Byte 단위).
deadlocks	데이터베이스에서 발생한 데드락 수.
blk_read_time	디스크에서 블록을 읽는 데 소요된 총 시간. (밀리초 단위).	Default 는 비활성화. - track_io_timing 설정 필요.
blk_write_time	디스크에 블록을 쓰는 데 소요된 총 시간. (밀리초 단위).	Default 는 비활성화. - track_io_timing 설정 필요.
stats_reset	통계 정보가 마지막으로 리셋된 시각.

2. 활용 예시

1) 캐시 히트율 계산. (Shared_Buffer Ratio%)

ㆍ일반적으로 99% 이상이 좋은 상태이며, 낮은 경우에는 Shared-Buffers 크기를 늘리거나 쿼리를 최적화해야 할 수 있습니다.

SELECT
datname,
blks_hit,
blks_read,
ROUND((blks_hit * 100.0 / GREATEST(blks_hit + blks_read, 1)), 2) AS cache_hit_ratio
FROM pg_stat_database;

2) 트랜젝션 활동 체크 (Commit Ratio%)

ㆍ트랜잭션 커밋 및 롤백 비율을 계산하여 데이터베이스의 안정성을 체크합니다. 일반적으로 99% 이상이 좋은 상태입니다.

ㆍ낮은 커밋 비율은 롤백이 빈번하게 발생하는 것을 의미하기 때문에 추가적인 분석(ex, 리소스 부족, 데이터 무결성 문제 등)이 필요합니다.

SELECT
datname,
xact_commit,
xact_rollback,
ROUND((xact_commit * 100.0 / GREATEST(xact_commit + xact_rollback, 1)), 2) AS commit_ratio
FROM pg_stat_database;

리눅스 FC Adapter LVM 생성 및 관리 (기존 VG 확장)

요체크다 — Thu, 21 Nov 2024 22:45:08 +0900

리눅스 서버 운영 시 서비스가 기동되는 영역의 경우 성능 및 효율적인 운영을 위해 FC Adapter 를 통해 Storage와 연결하여 Filesystem을 생성하여 운영합니다.

아래는 FC Adapter를 통한 LVM 생성(기존 VG 확장) 및 관리 순서를 정리한 내역입니다.

< 리눅스 LVM 구성 순서 >

- disk 인식
- Physical Volume(PV) 생성 (multipath device는 multipath device에 PV 생성)
- 기존 Volume Group 에 추가(확장)
- Logical Volume(LV) 생성
- Filesystem 생성

1. Linux에서 FC Adapter(HBA)의 Link 상태 및 wwpn 확인

# ls /sys/class/fc_host/
host12 host14
- Link 상태
# cat /sys/class/fc_host/host12/port_state
Online
# cat /sys/class/fc_host/host14/port_state
Online

- wwpn 확인
# cat /sys/class/fc_host/host12/port_name
0x21000024ff1e483f
# cat /sys/class/fc_host/host14/port_name
0x21000024ff41c3c3

- Linux에서 추가된 FC disk 인식(online)
# echo 1 > /sys/class/fc_host/host12/issue_lip
# echo 1 > /sys/class/fc_host/host14/issue_lip
cat /proc/partitions 및 multipath -ll 로 추가된 disk 확인

2. 추가된 Disk에 Physical Volume 생성

# pvcreate /dev/mapper/mpathc
Physical volume "/dev/mapper/mpathc" successfully created.
# pvcreate /dev/mapper/mpathd
Physical volume "/dev/mapper/mpathd" successfully created.

3. 기존 Volume Group 에 PV(Physical Volume) 추가

# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpathc tvg lvm2 a-- <100.00g 0
/dev/mapper/mpathd lvm2 --- 100.00g 100.00g
# vgextend tvg /dev/mapper/mpathd
# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mpathc tvg lvm2 a-- <100.00g 0
/dev/mapper/mpathd tvg lvm2 a-- <100.00g <100.00g

4. Volume Group 의 전체 Free size를 lv에 추가 할당

# lvextend -l +100%FREE /dev/mapper/tvg-testlv
Size of logical volume tvg/testlv changed from <100.00 GiB (25599 extents) to 199.99 GiB (51198 extents).
Logical volume tvg/testlv successfully resized.

5. Filesystem size(XFS) increase

# df -h /test
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/tvg-testlv 100G 746M 100G 1% /test

# xfs_growfs /test
ext4인 경우 resize2fs 명령어 사용.
# df -h /test
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/tvg-testlv 200G 1.5G 199G 1% /test

리눅스 FC Adapter LVM 생성 및 관리 (VG 신규 생성)

요체크다 — Thu, 21 Nov 2024 22:28:29 +0900

아래는 FC Adapter를 통한 LVM 생성(VG 신규) 및 관리 순서를 정리한 내역입니다.

< 리눅스 LVM 구성 순서 >

- Disk 인식
- Physical Volume(PV) 생성 (multipath device는 multipath device에 PV 생성)
- Volume Group(VG) 생성
- Logical Volume(LV) 생성
- Filesystem 생성

1. Linux에서 FC Adapter(HBA)의 Link 상태 및 wwpn 확인

2. 추가된 Disk에 Physical Volume 생성

# pvcreate /dev/mapper/mpathc
Physical volume "/dev/mapper/mpathc" successfully created.
# pvcreate /dev/mapper/mpathd
Physical volume "/dev/mapper/mpathd" successfully created.

3. Volume Group 생성

# vgcreate tvg /dev/mapper/mapthc

4. Logical Volume 생성

# lvcreate -L 100G -n testlv tvg
또는 VG의 전체 free space를 이용해 LV를 생성하려면 아래와 같이 진행.
# lvcreate -l 100%FREE -n testlv tvg

5. Filesystem 생성 및 Mount

# mkfs.xfs /dev/mapper/tvg-testlv (vgname-lvname)

# mkdir /test
# mount /dev/mapper/tvg-testlv /test
(시스템 재부팅후 자동으로 mount되게 하기위해 /etc/fstab에 등록)

6. Filesystem Mount 확인

# df -h /test
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/tvg-testlv 200G 1.5G 199G 1% /test

7. 삭제 과정

1) Filesystem Umount

# umount /test

2) Volume Group deactive 및 Export

# vgchange -a n tvg

# vgexport tvg

3) Multipath Device 삭제

# multipath -f mpathX

4) sdx Device 삭제

# echo 1 > /sys/block/sdh/device/delete

삭제한 multipath device에 대한 정보는 아래 2개 파일에 남이 있으며, 완벽하게 삭제를 하려면 아래 2개 파일을 수정하고 multipathd를 재시작 해주시면 됩니다.
/etc/multipath/bindings
/etc/multipath/wwids

# systemctl restart multipathd
multipath service 재시작

[Python] 리눅스 환경에서 파이썬 배포파일 만들기

요체크다 — Sat, 4 Nov 2023 00:37:25 +0900

최근 리눅스 환경의 경우 기본적으로 파이썬이 설치가 되어 있어 파이썬 소스파일을 바로 실행시킬 수 있습니다.

다만, 이 경우 배포가 필요한 경우 소스파일을 공유해야 하는 문제가 발생하게 됩니다.

이 전에 공유해 드린 Windows 환경에서와 같이 리눅스 환경에서도 pyinstaller 를 통해 배포파일을 생성하는 방법을 알아 보도록 하겠습니다.

우선 저의 리눅스 테스트 환경은 아래아 같습니다.

[root@instance1 dist]# uname -a
Linux instance1 4.18.0-408.el8.x86_64 #1 SMP Mon Jul 18 17:42:52 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux

[root@instance1 tmp]# cat /etc/*release
CentOS Stream release 8
NAME="CentOS Stream"
VERSION="8"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="8"
PLATFORM_ID="platform:el8"
PRETTY_NAME="CentOS Stream 8"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:8"
HOME_URL="https://centos.org/"
BUG_REPORT_URL="https://bugzilla.redhat.com/"
REDHAT_SUPPORT_PRODUCT="Red Hat Enterprise Linux 8"
REDHAT_SUPPORT_PRODUCT_VERSION="CentOS Stream"
CentOS Stream release 8
CentOS Stream release 8

가장 먼저 pip3 를 통해 pyinstaller 를 설치해 줍니다.

[root@instance1 tmp]# pip3 install pyinstaller==3.6
WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Collecting pyinstaller==3.6
Downloading https://files.pythonhosted.org/packages/3c/c9/c3f9bc64eb11eee6a824686deba6129884c8cbdf70e750661773b9865ee0/PyInstaller-3.6.tar.gz (3.5MB)
100% |████████████████████████████████| 3.5MB 91kB/s
Requirement already satisfied: setuptools in /usr/lib/python3.6/site-packages (from pyinstaller==3.6)
Requirement already satisfied: altgraph in /usr/local/lib/python3.6/site-packages (from pyinstaller==3.6)
Building wheels for collected packages: pyinstaller
Running setup.py bdist_wheel for pyinstaller ... done
Stored in directory: /root/.cache/pip/wheels/62/fe/62/4c0f196d1e0dd689e097449bc81d7d585a7de7dd86b081b80b
Successfully built pyinstaller
Installing collected packages: pyinstaller
Successfully installed pyinstaller-3.6

그리고 pyinstaller 를 통해 배포 파일을 만들어 주면 됩니다.

# pyinstaller -F .py파일 (-F : 하나의 파일로 생성해 주는 옵션, --onefile 옵션 동일.)

[root@instance1 tmp]# pyinstaller -F test.py
171 INFO: PyInstaller: 3.6
172 INFO: Python: 3.6.8
172 INFO: Platform: Linux-4.18.0-408.el8.x86_64-x86_64-with-centos-8
173 INFO: wrote /tmp/test.spec
175 INFO: UPX is not available.
176 INFO: Extending PYTHONPATH with paths
['/tmp', '/tmp']
176 INFO: checking Analysis
177 INFO: Building Analysis because Analysis-00.toc is non existent
177 INFO: Initializing module dependency graph...
179 INFO: Caching module graph hooks...
184 INFO: Analyzing base_library.zip ...
9885 INFO: Caching module dependency graph...
10288 INFO: running Analysis Analysis-00.toc
10478 INFO: Analyzing /tmp/test.py
10483 INFO: Processing module hooks...
10483 INFO: Loading module hook "hook-encodings.py"...
10780 INFO: Loading module hook "hook-pydoc.py"...
10782 INFO: Loading module hook "hook-xml.py"...
12070 INFO: Looking for ctypes DLLs
12070 INFO: Analyzing run-time hooks ...
12078 INFO: Looking for dynamic libraries
13693 INFO: Looking for eggs
13693 INFO: Using Python library /lib64/libpython3.6m.so.1.0
13697 INFO: Warnings written to /tmp/build/test/warn-test.txt
13782 INFO: Graph cross-reference written to /tmp/build/test/xref-test.html
13888 INFO: checking PYZ
13888 INFO: Building PYZ because PYZ-00.toc is non existent
13888 INFO: Building PYZ (ZlibArchive) /tmp/build/test/PYZ-00.pyz
15681 INFO: Building PYZ (ZlibArchive) /tmp/build/test/PYZ-00.pyz completed successfully.
15684 INFO: checking PKG
15684 INFO: Building PKG because PKG-00.toc is non existent
15684 INFO: Building PKG (CArchive) PKG-00.pkg
26294 INFO: Building PKG (CArchive) PKG-00.pkg completed successfully.
26297 INFO: Bootloader /usr/local/lib64/python3.6/site-packages/PyInstaller/bootloader/Linux-64bit/run
26297 INFO: checking EXE
26297 INFO: Building EXE because EXE-00.toc is non existent
26297 INFO: Building EXE from EXE-00.toc
26297 INFO: Appending archive to ELF section in EXE /tmp/dist/test
26445 INFO: Building EXE from EXE-00.toc completed successfully.

마지막으로 배포파일의 경우 Windows와 동일하게 dist 디렉토리에 생성되며, 배포파일을 실행시켜보면 정상적으로 실행 되는 것을 확인할 수 있습니다.

[root@instance1 tmp]# cd ./dist/
[root@instance1 dist]# ls -l
total 6152
-rwxr-xr-x. 1 root root 6298912 Nov 4 00:19 test
[root@instance1 dist]# ./test
CentOS Stream release 8

[Windows] 메모리 관리 맛보기

요체크다 — Fri, 3 Nov 2023 17:58:38 +0900

Windows에서 관리되는 메모리 기법에 대해 간략히 알아 보도록 하겠습니다.

1. 메모리 관리 기법
- Windows의 경우 가상메모리 관리 기법 사용합니다.

2. Virtual Memory
- 물리 메모리 크기의 한계를 극복하기 위해 나온 메모리 관리 기법으로, 물리메모리+Disk Swap 영역을 합쳐 가상 메모리 영역으로 관리.
- OS에서는 개별 프로세스에 메모리 할당 시 물리메모리 주소공간을 할당하지 않고 가상메모리 주소 공간을 할당.
- 가상메모리는 4KB 단위 블록으로 나눈 Page 단위로 관리하고, 물리메모리 역시 가상메모리와 맞추기 위해 4KB 단위 블록으로 나눈 Page Fram 단위로 관리.
- Page는 가상메모리를 같은 크기의 블록(보통 4KB)으로 나눈 것을 의미하며, Frame(Page Frame)은 물리 메모리를 Page와 같은 크기로 나눈 것을 의미.
- 가상 메모리 주소 공간과 물리 메모리 주소 공간의 맵핑(mapping) 정보는 Page Table 을 통해 관리되며, Page Table에 없는 주소 공간 참조시 page fault 가 발생.
- 가상 메모리와 물리 메모리 사이 이동은 page 단위이며, 이때 page in/out 이 발생.
- 당장 실행해야 하는 프로세스 전체를 물리메모리에 두고, 당장 실행할 필요가 없는 프로세스는 Swap 영역에 할당하여 Virtual Memory 공간을 관리.

3. Commit
- 가상메모리로부터 각각의 프로세스들이 "난 이 정도의 메모리를 쓸 겁니다. 쓸지 안쓸지 모르겠지만 이 정도의 지분을 주세요" 라고 OS 에 요청한 메모리의 총량입니다.
- 실제로 이 커밋된 메모리가 실제 메모리 용량보다 커지면 그때부터 OS는 가상메모리 및 가용 가능한 모든 메모리를 쥐어짜내기 시작하며, 총량이 설치된 메모리보다 큰 이유는 OS가 가용가능한 모든 메모리를(ex, 가상메모리) 포함하기 때문입니다.

4. Cache
- 현재 메모리에 올라가 있지만 Active 되어 있지 않은 데이터의 총량입니다.
- 즉, 프로세스의 호출이 있으면 언제든지 빠른 속도로 가져올 수 있는 데이터라는 의미이며, 절전모드시엔 state에 따라 다르지만 지워질 수도 있습니다.

5. Paged
- 가상메모리(물리메모리+페이징파일)영역에서 실제 메모리에서 제거되어 페이징 파일에 기록될(Page-Out) 수도 있고, 반대로 페이징 파일에서 실제 메모리 영역으로 올라올(Page-In) 수 있는 영역입니다.
- 즉, 가상메모리 공간중 Paging In-Out이 발생할 수 있는 공간을 의미.
- 페이징 풀 메모리는 윈도우 운영체제와 장치 드라이버가 사용할 수 있도록 따로 비축한 메모리입니다.

6. Non-Paged
- 가상메모리(물리메모리+페이징파일)영역에서 실제 메모리 영역에만 할당되어 사용되는 영역으로 Paging in-Out 발생하지 않는 영역을 의미합니다.
- Windows에서 내부적으로 시스템이 사용하려는 메모리 공간을 제한되게 확보하는 것들이 있는데, 그 중에서 하나가 Non-Paged Pool이다. Non-Paged Pool 메모리는 물리 메모리에만 할당 되는 것으로, 페이지 폴트가 없이 접근하기 위한 메모리 영역입니다.
- 하지만 이런 장점에도 불구하고 몇몇 잘못된 드라이버나 프로그램들이 Non-Paged Pool에 할당되는 데이터를 남용해서 문제가 생기곤 합니다.
- Non-Paged가 주로 수치가 높게 형성되는 이유에는 장치드라이버 및 악성코드 등으로 인한 경우가 많습니다.

[Linux] Unix/Linux 메모리 관리 맛보기

요체크다 — Fri, 3 Nov 2023 17:20:47 +0900

Unix/Linux OS별로 메모리를 관리하는 방식에 대해 간략히 알아 보도록 하겠습니다.

1. Linux
1) 메모리 할당 방식
- 리눅스는 여유 메모리를 캐쉬 영역으로 사용하려고 하는 습성이 있습니다.
- 이유는 여유 메모리를 최대한 캐쉬영역으로 활용하면 성능향상에 도움이 되기 때문입니다.
- 커널 2.6부터는 이 부분에 대해 제한을 두게 되며,(#cat /proc/sys/vm/swappiness) 기본적으로 60%로 설정되어 있어서 물리 메모리 사용률이 해당 값 이상으로 사용되면 Swapping을 하기 시작합니다.

2) 참조사항

- Linux 의 경우 Filecache영역이 큰경우 Used+Filecache 사용률이 100% 가까이 발생할 수 있는데, 이는 리눅스가 자체적으로 유휴 공간을 Cache 영역으로 잡아두어 최대한 Cache를 활용하여 성능향상을 하기위함 입니다.

2. AIX
1) 메모리 할당 방식

- AIX 의 경우 Comp(연산)와 Noncomp(Filecache) 영역으로나누며, 메모리 사용률이 100%가까이 나타날 수 있는데 이유는 물리적인 메모리를 100% 사용할 수 있도록 구성되어 있기 때문입니다.

- 즉, Comp영역을 제외하고 나마지 영역은 Noncomp 영역으로 할당 되어 사용되고, Comp영역에서 메모리가 필요하게 되면 Noncomp 영역을에서 가져와 사용하도록 되어 있습니다.

- 해서 AIX에서 메모리 병복의 기준은 Pagingspace Activity로 판단하게 됩니다.

- SUN과 다르게 미리 Reserved영역을 할당하지 않고, Deferred형태로 동작합니다.

2) 메모리 관리
가) Comp
- CPU에 의해 동작하는 프로세스들이 사용하는 메모리 사용률.
나) NonComp
- 파일쪽 I/O작업시 사용하기 위해 캐시로 돌려놓은 메모리 사용률.
- 즉, Disk I/O 성능 향상을 위해 File Cache로 사용되는 영역을 의미.

3) 참조사항
- CPU에 의해 계산되는 작업이 많으면 Comp사용률이 높아지고, 파일쪽에서 메모리에 올려놓은 작업이 많으면 NonComp사용률이 높아집니다.
- Comp와 NonComp 합친값이 100을 사용하되, PagingSpace값이 올라가지 않을때 가장 적당한 Memory를 사용하고 있는 것이고, 지속적으로 Paging이 일어나면 메모리 부족으로 간주합니다.

3. HP-UX
1) 메모리 할당 방식
- HP의 메모리 할당 정책은 arena라고 부르는 부분과 관련이 깊습니다.

- 시스템은 메모리를 할당하기 위해 메모리풀(arena)을 관리하는데 쓰레드 프로그램의 경우 이 arena를 통해 메모리를 할당 받게 됩니다. 만일, 쓰레드의 개수가 많이 증가할 경우 arena의 개수를 조정함으로써 동시성 측면에서 성능 향상을 도모할 수 있습니다.

4. Solaris
1) 메모리 할당 방식
- 솔라리스는 reserved라는 형태로 메모리를 할당합니다.

- reserved 영역은 swap영역에 존재하며, 어떤 프로세스가 10M를 요청하면 swap영역에 10M를 먼저 할당해 놓고, 실제 해당 프로세스가 메모리에 접근할 때 물리적 메모리에 10M를 할당하는 형태로 동작합니다.

[Python] 파이썬 디렉토리 크기 확인

요체크다 — Tue, 22 Nov 2022 12:39:58 +0900

업무용 PC 및 노트북을 사용하다 보면 간혹 Windows OS Drive 사이즈가 부족한 경우가 발생하는데, 이때 어느 디렉토리에서 많이 사용 중인지 확인 후 필요없는 파일들을 찾아서 삭제를 해주어야 합니다.

많은 디렉토리를 하나씩 클릭하여 사이즈를 확인할 수 도 있겠지만, 이건 너~무 비효율적인 방법입니다. 이런 경우 파이썬을 통해 손쉽게 확인이 가능합니다.

아래 코드를 참조하여 나만의 디렉토리 체크 프로그램을 만들어 업무에 활용해 보시기 바랍니다.

import glob, os
import time


# 현재시간 정보
def cur_time_func():
    # Current Time
    now = time.localtime()
    check_time = "%04d-%02d-%02d %02d:%02d:%02d" % (now.tm_year, now.tm_mon, now.tm_mday, now.tm_hour, now.tm_min, now.tm_sec)

    return check_time


# 디렉토리 사이즈 계산
def get_dir_size(path='.'):
    total = 0
    with os.scandir(path) as it:
        for entry in it:
            if entry.is_file():
                total += entry.stat().st_size
            elif entry.is_dir():
                total += get_dir_size(entry.path)
    return total


def main():
    dir_dict = dict()
    for d in glob.glob("D:\\ProgramFiles\\*" + os.path.sep):
        try:
            dir_size_calc = format(int(get_dir_size(d))/int(1024)/int(1024), ".1f")
            dir_dict[d] = float(dir_size_calc)
        except Exception as os_err:
            print(cur_time_func(), '[Error]', d, os_err)
    print(cur_time_func(), '[info] Directory list check completed.')
    print(cur_time_func(), '[info] Directory size check completed.')
    dir_sort_dict = sorted(dir_dict.items(), key=lambda item: item[1], reverse=True)
    print('')
    print('================================================================')
    print('[ Directory Size Result ]')
    print('----------------------------------------------------------------')
    for i in dir_sort_dict:
        dir_name = i[0]
        dir_size = i[1]
        print(dir_name, dir_size,'MB')
    print('----------------------------------------------------------------')
    print('================================================================')


if __name__ == '__main__':
    main()

실행 결과는 아래와 같습니다.

2022-11-22 12:37:01 [info] Directory list check completed.
2022-11-22 12:37:01 [info] Directory size check completed.

================================================================
[ Directory Size Result ]
----------------------------------------------------------------
D:\ProgramFiles\AndroidStudio\ 1700.9 MB
D:\ProgramFiles\IBM_DS\ 395.8 MB
D:\ProgramFiles\IBM_DS_Storage_tool\ 387.6 MB
D:\ProgramFiles\Go\ 369.6 MB
D:\ProgramFiles\Microsoft VS Code\ 325.5 MB
D:\ProgramFiles\VirtualBox_old\ 264.0 MB
D:\ProgramFiles\Telegram\ 250.8 MB
D:\ProgramFiles\DBeaver\ 159.4 MB
D:\ProgramFiles\Mib_Browser\ 134.8 MB
D:\ProgramFiles\Grafana_Server_6.7.4\ 132.4 MB
D:\ProgramFiles\Grafana-6.7.4\ 132.1 MB
D:\ProgramFiles\WinMerge\ 20.5 MB
D:\ProgramFiles\resource_hacker 518 Kr\ 10.4 MB
----------------------------------------------------------------
================================================================

[Python] 파이썬 파파고(Papago) API 연동

요체크다 — Tue, 15 Nov 2022 17:32:28 +0900

네이버에서 제공해주는 Open API를 통해 나만의 번역 프로그램을 만들 수 있습니다.

개인적인 불편함을 해소하고자 파이썬을 통해 간단한 번역 프로그램을 만들어 보면서 테스트한 내역을 공유하고자 합니다.

역시 사람은 직접 경험해보고 불편함을 느껴야 무언가 아이디어를 생각해내고 새로운 것을 만들려고 시도하는 것 같습니다..

우선 네이버에서 제공하는 Open API를 사용하기 위해서는 사용 신청을 하여야 합니다.

신청하는 사이트는 아래와 같습니다.

네이버 개발자 센터 - NAVER Developers

NAVER Developers

네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음

developers.naver.com

위 경로에서 Papago 메뉴 클릭, 그리고 "오픈 API 이용 신청" 페이지 통해 API 신청을 진행 하시면 됩니다.

< API 이용신청 페이지>

참고로 저는 API 이용 신청 시 서비스 환경의 경우 "WEB 설정" 으로 하였고, http 주소의 경우 별도 URL 주소가 없어서 http://127.0.0.1 로 설정 하였습니다.

( ※ 저와 같이 별도 URL 주소가 없는 경우에는 http://127.0.0.1 로 등록하여 테스트 가능하니 참조 바랍니다.)

등록을 완료한 경우 "내 애플리케이션" 메뉴에서 Client ID와 Client Secret 정보가 발급된 것을 확인할 수 있습니다.

이제 본격적으로 파이썬 코드를 통해 파파고 번역 프로그램을 만들어 보겠습니다.

참조할 파이썬 소스 코드는 아래와 같습니다.

import urllib.request
import json

text = '안녕. 뭐해?'
source = 'ko'
target = 'en'

encText = urllib.parse.quote(text)
data = f'source={source}&target={target}&text=' + encText

url = "https://openapi.naver.com/v1/papago/n2mt"
client_id = "" # 개발자센터에서 발급받은 Client ID 값
client_secret = "" # 개발자센터에서 발급받은 Client Secret 값

request = urllib.request.Request(url)
request.add_header("X-Naver-Client-Id", client_id)
request.add_header("X-Naver-Client-Secret", client_secret)

response = urllib.request.urlopen(request, data=data.encode("utf-8"))
rescode = response.getcode()

if rescode == 200:
    response_body = response.read()
    decode = json.loads(response_body.decode('utf-8'))
    result = decode['message']['result']['translatedText']
    print(result)
else:
    print('Error Code:' + str(rescode))

결과는 아래와 같이 출력 됩니다.

Hi. What are you doing?

마지막으로 네이버에서 제공하는 파파고 Open API의 경우 무제한 사용 가능한게 아니며,

API호출량/일일허용량 제한이 있으니 이점 참조하여 사용하시기 바랍니다.

< Papago API 지원 언어>

[Linux] 리눅스 Disk 상태 체크 방법

요체크다 — Thu, 10 Nov 2022 17:11:51 +0900

리눅스에서 하드 디스크의 상태를 확인하기 위해서는 smartctl 을 사용합니다.
만약 서버에 smartctl을 사용할 수 없다면 아래와 같이 yum을 통해 설치하면 됩니다.

yum install -y smartmontools

smartctl 명령어를 통한 Disk 체크 방법은 아래와 같습니다.
1) 명령어
#smartctl {옵션} {디스크}
2) 옵션
-a : 기본적으로 모든 정보를 확인할 때 사용합니다.
-H : 간단하게 디스크의 상태를 확인할 때 사용합니다.
-i : 간단하게 디스크 정보를 확인할 때 사용합니다.

smartctl -a /dev/sda

위의 명령어를 실행했을 때 디스크마다 다른 항목들의 로그들이 나오는 경우도 있으며, 출력되는 내용이 다른 경우도 있습니다만 그중에서 유심히 봐야 할 항목들은 아래와 같습니다.

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   076   076   016    Pre-fail  Always       -       45155219
  2 Throughput_Performance  0x0005   125   125   054    Pre-fail  Offline      -       135
  3 Spin_Up_Time            0x0007   119   119   024    Pre-fail  Always       -       314 (Average 323)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       30
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       126
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   122   122   020    Pre-fail  Offline      -       39
  9 Power_On_Hours          0x0012   096   096   000    Old_age   Always       -       34808
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       30
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       45
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       45
194 Temperature_Celsius     0x0002   200   200   000    Old_age   Always       -       30 (Lifetime Min/Max 8/35)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       144
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       43
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

1) Result
- 디스크의 상태가 정상이거나 사용하는데 문제가 없을 경우 PASSED 로 나옵니다. 만약 FAILED 로 나오는 경우에는 이미 디스크에 심각한 문제가 있는 경우입니다.

2) Raw_Read_Error_Rate
- 디스크 표면으로부터 데이터를 읽는 과정에서 문제가 있을 때 카운팅 됩니다.( 주로 물리적 충격으로 유발 )

3) Rellocated_Sector_Ct
- 섹터에 문제가 생겨서 스페어 영역의 섹터로 대체된 횟수.

4) Seek_Error_Rate
- 탐색 오류율.

5) Current_Pending_Sector
- 불안정적인 섹터, 스페어영역 섹터로 remapping 을 준비중이거나 읽는 과정에서 문제가 생긴 섹터 (Current_Pending_Sector는 논리적 또는 물리적으로 문제가 있을 경우 카운팅 됩니다. 물리적으로 문제가 있을 경우 Rellocated_Sector_Ct 로 전환되고 논리적으로 문제가 있을 경우 카운팅 횟수가 줄어드는 경우도 있습니다.)

6) Offline_Uncorrectable
- 읽기 / 쓰기에 문제가 생긴 섹터, 즉 디스크 표면이 손상. (배드 섹터 )

[Server] Cloud 서비스 이해

요체크다 — Fri, 28 Oct 2022 16:01:42 +0900

Cloud 서비스란 서버/Storage/Network/Software 등 필요한 IT 자원을 사용자가 직접 구축할 필요 없이 Cloud 서비스 공급 업체를 통해 서비스를 제공받는 것을 의미합니다.

Cloud 서비스 유형은 크게 Private Cloud, Public Cloud, Hybrid Cloud 3가지로 정의할 수 있습니다.
그럼 각각의 유형에 대해 간략히 알아보도록 하겠습니다.

1. Cloud 운영 유형

1) Private Cloud
가) 특징
- 기업 자체적으로 Cloud 환경을 구축하여 운영하는 형태입니다.
- 기업 자체적으로 유지관리가 필요하며, 보안에 민감한 서비스 환경에 적합합니다.

2. Public Cloud
가) 특징
- 기업 자체적으로 Cloud 환경을 구축 하지 않고, Cloud 서비스 업체를 통해 서비스를 제공받는 형태입니다.
- 기업 및 일반 사용자가 Cloud 서비스 업체에 요금을 지불하고 사용합니다.
- Private Cloud 환경에 비해 상대적으로 보안에 취약하기 때문에 외부에 제공되는 서비스 환경에 적합 합니다.
나) 서비스 제공업체
- Amazon Web Service (AWS)
- Microsoft Azure
- Google Cloud
- Oracle Cloud
- Naver Cloud

3. Hybrid Cloud
가) 특징
- 필요에 따라 혼용하여 운영하는 방식으로, Public Cloud와 Private Cloud의 이점을 모두 제공받을 수 있는 장점이 있지만 그만큼 운영하는 입장에서는 환경이 복잡해 집니다.

4. On-Premise
가) 특징
- Cloud 서비스가 나오기 이전에 기업 인프라 구축의 일반적인 방식입니다.
- On-Premise 환경의 경우 기업이 직접 서버실 이라고 하는 공간을 별도로 두고 물리적인 서버/Storage/Network 장비 등을 구축하여 운영하는 방식입니다.

2. Cloud 서비스 종류

1. IaaS (Infrastructrue as a Service)
1) 설명
- IaaS는 서버, 스토리지, 네트워크를 가상화 환경으로 만들어, 필요에 따라 인프라 자원을 사용할 수 있게 서비스를 제공하는 형태를 의미한다. 사용자는 기존 VM과 비슷한 형태로 OS(Linux or Windows), CPU, Memory, Network, Storage 등 선택하여 손쉽게 가상 OS 환경을 제공 받을 수 있습니다.

2) 지원 플랫폼
가) OpenStack
- OpenStack 은 IaaS 형태의 Cloud 환경을 구축할 수 있는 오픈소스 플랫폼으로, 기업 자체적으로 Private Cloud 환경의 IaaS 서비스 운영 시 사용 됩니다.
- OpenStack 은 ESXi, Hyper-V, KVM, Xen 등 다양한 Hypervisor를 제공하며, Compute Node에 KVM 말고도 Docker 를 구성하여 사용 가능합니다.
나) VMware
- 실무에서는 간혹 VMware를 통해 IaaS 형태의 Cloud 환경을 구성한 후 Private Cloud 환경의 IaaS 서비스를 운영하기도 합니다.

2. PaaS (Platform as a Service)
1) 설명
- PaaS 는 어플리케이션 개발 및 실행에 필요한 환경(ex, OS, DB, 개발언어, Tomcat 등)
을 사용자에게 제공해 주는 서비스입니다.
- 즉, 사용자는 개발 및 운영환경을 따로 구축할 필요 없이 Cloud 업체의 PaaS 서비스를 통해
손쉽게 개발 및 운영환경을 제공 받을 수 있습니다.

2) 지원 플랫폼
가) OpenShift
- OpenShift 를 통해 PaaS 형태의 Cloud 환경을 구축하고 관리할 수 있는 오픈소스 플랫폼입니다.
- 종종 Enterprise Kubernetes 로 소개되며, OpenShift 에서 Kubernetes는 필수 요소 입니다.

3. SaaS (Software as a Service)
- 서비스 제공업체가 관리하는 애플리케이션을 주로 웹 브라우저를 통해 사용자에게 제공하는 서비스입니다. Gmail Google Drive, MS Office 365 등이 SaaS의 대표적인 예시이고, 최근에는 ERP나 CRM 같은 Software 도 제공되고 있습니다.
- 업체가 사용자를 대신해 소프트웨어 업데이트, 버그 수정 및 기타 일반 소프트웨어 유지관리 작업을 처리하며, SaaS는 개별 사용자의 로컬 컴퓨터에 애플리케이션을 설치할 필요가 없이 바로 사용이 가능하므로 편리한 부분이 있습니다.

[PostgreSQL] Table Size 확인

요체크다 — Fri, 28 Oct 2022 00:01:14 +0900

PostgreSQL에서 Table Size 확인 시 아래 쿼리를 통해 조회가 가능합니다.

1) 특정 Table Size 확인 (index 포함)

# select pg_size_pretty(pg_total_relation_size('Table명'));

postgres=# select pg_size_pretty(pg_total_relation_size('pg_class'));

 pg_size_pretty
----------------
 224 kB
(1개 행)

2) 특정 Table Size 확인 (index 미포함)

# select pg_size_pretty(pg_relation_size('Table명'));

postgres=# select pg_size_pretty(pg_relation_size('pg_class'));
 
 pg_size_pretty
----------------
 88 kB
(1개 행)

3) Size 큰 Table 조회

# select A.relname as Tablename,
    A.oid as OID,
    A.relfilenode as Filename,
    B.tablespace as Tablespace,
    pg_relation_size(A.oid)/1024 as "FILE_SIZE(KB)"
from pg_class A, pg_tables B
   where A.relname = B.tablename
    order by 5 desc

postgres=# select A.relname as Tablename,
postgres-#     A.oid as OID,
postgres-#     A.relfilenode as Filename,
postgres-#     B.tablespace as Tablespace,
postgres-#     pg_relation_size(A.oid)/1024 as "FILE_SIZE(KB)"
postgres-# from pg_class A, pg_tables B
postgres-#    where A.relname = B.tablename
postgres-#     order by 5 desc
postgres-#     limit 10;

   tablename    | oid  | filename | tablespace | FILE_SIZE(KB)
----------------+------+----------+------------+---------------
 pg_shdepend    | 1214 |        0 | pg_global  |          1080
 pg_proc        | 1255 |        0 |            |           576
 pg_depend      | 2608 |     2608 |            |           432
 pg_attribute   | 1249 |        0 |            |           360
 pg_description | 2609 |     2609 |            |           272
 pg_statistic   | 2619 |     2619 |            |           184
 pg_operator    | 2617 |     2617 |            |           120
 pg_rewrite     | 2618 |     2618 |            |            96
 pg_class       | 1259 |        0 |            |            88
 pg_type        | 1247 |        0 |            |            72
(10개 행)

[PostgreSQL] DB 및 Tablespace Size 확인

요체크다 — Thu, 27 Oct 2022 23:42:03 +0900

PostgreSQL에서 DB 및 Tablespace Size 확인 시 아래 쿼리를 통해 조회가 가능합니다.

1) 특정 DB Size 확인

# select * from pg_size_pretty(pg_database_size ('DB명'));

postgres=# select * from pg_size_pretty(pg_database_size ('postgres'));

 pg_size_pretty
----------------
 7255 kB
(1개 행)

2) 전체 DB Size 확인

# select pg_database.datname, pg_size_pretty(pg_database_size(pg_database.datname)) AS size FROM pg_database;

postgres=# SELECT pg_database.datname, pg_size_pretty(pg_database_size(pg_database.datname)) AS size FROM pg_database;

     datname     |  size
-----------------+---------
 postgres        | 7255 kB

3) Tablespace Size 확인

# select spcname, pg_size_pretty(pg_tablespace_size(spcname)) from pg_tablespace;

postgres=# select spcname, pg_size_pretty(pg_tablespace_size(spcname)) from pg_tablespace;

    spcname     | pg_size_pretty
----------------+----------------
 pg_default     | 1648 MB
 pg_global      | 6060 kB

[Python] 파이썬 Dictionary 사용방법

요체크다 — Wed, 19 Oct 2022 16:21:28 +0900

Python에서 제공하는 자료구조 중 많이 사용하는 것중 하나가 Dictionary 입니다.

Dictionary 의 경우 기본적으로 key와 value가 하나 또는 여러개가 { } 로 묶여져 있는 형태이고, Dictionary 내에 있는 데이터의 경우 쉼표(,)로 구분됩니다.

{key:value, key:value, key:value}

1. Dictionary 기초

1) Dictionary 선언
가) 데이터가 없는 빈 Dictionary 선언

port_dict = dict()

나) 데이터가 존재하는 Dictionary 선언

port_dict = {'21':'ftp', '22':'ssh', '23':'telnet'}
print(port_dict)


# Output:
{'21': 'ftp', '22': 'ssh', '23': 'telnet'}

2) 값 추가

port_dict['80'] = 'http'
print(port_dict)


# Output:
{'21': 'ftp', '22': 'ssh', '23': 'telnet', '80': 'http'}

3) 값 삭제

del(port_dict['21'])
print(port_dict)


# Output:
{'22': 'ssh', '23': 'telnet'}

4) 값 갱신

port_dict['23'] = 'telnet-1'
print(port_dict)


# Output:
{'21': 'ftp', '22': 'ssh', '23': 'telnet-1'}

2. Dictionary 사용

1) key 를 통한 value 조회

print(port_dict['22'])


# Output:
ssh

2) for문 실행

for key, val in port_dict.items():
    print(key, val)


# Output:
21 ftp
22 ssh
23 telnet

3) 값 존재 여부 확인

if '22' in port_dict:
    print('ssh 존재')


# Output:
ssh 존재

4) 두개의 List를 Dictionary 변환

id = ['21', '22', '23', '80']
name = ['ftp', 'telnet', 'ssh', 'http']
id_name = [id, name]
port_dict = dict(zip(*id_name))
print(port_dict)


# Output:
{'21': 'ftp', '22': 'telnet', '23': 'ssh', '80': 'http'}

5) key를 기준으로 정렬(오름차순)

key 값을 기준으로 오름차순으로 정렬 하는 경우 sorted를 사용하고 item에[0] 이 dict의 key 를 의미합니다.

port_dict = {'443':'https', '22':'ssh','21':'ftp', '23':'telnet'}
sort_port_dict = sorted(port_dict.items(), key=lambda item: item[0])
print(sort_port_dict)


# Output:
[('21', 'ftp'), ('22', 'ssh'), ('23', 'telnet'), ('443', 'https')]

6) key를 기준으로 정렬(내림차순)

오름차순과 코드는 동일하며, reverse=True 를 사용하면 됩니다.

port_dict = {'443':'https', '22':'ssh','21':'ftp', '23':'telnet'}
sort_port_dict = sorted(port_dict.items(), key=lambda item: item[0], reverse=True)
print(sort_port_dict)


# Output:
[('443', 'https'), ('23', 'telnet'), ('22', 'ssh'), ('21', 'ftp')]

7) value를 기준으로 정렬(오름차순)

key 값을 기준으로 오름차순으로 정렬 하는 경우 sorted를 사용하고 item에[1] 이 dict의 value 를 의미합니다.

port_dict = {'443':'https', '22':'ssh','21':'ftp', '23':'telnet'}
sort_port_dict = sorted(port_dict.items(), key=lambda item: item[1])
print(sort_port_dict)


# Output:
[('21', 'ftp'), ('443', 'https'), ('22', 'ssh'), ('23', 'telnet')]

8) value를 기준으로 정렬(내림차순)

오름차순과 코드는 동일하며, reverse=True 를 사용하면 됩니다.

port_dict = {'443':'https', '22':'ssh','21':'ftp', '23':'telnet'}
sort_port_dict = sorted(port_dict.items(), key=lambda item: item[1], reverse=True)
print(sort_port_dict)


# Output:
[('23', 'telnet'), ('22', 'ssh'), ('443', 'https'), ('21', 'ftp')]

[Python] 파이썬 3.0 이전 버전에서 한글 주석 사용하기

요체크다 — Tue, 18 Oct 2022 17:57:45 +0900

Python 3.0 이하 버전에서 한글 주석을 사용하는 경우 .py 소스파일 실행 시 에러가 발생하게 됩니다.

이런 경우 .py 소스파일 첫줄에 아래와 같이 한줄 추가를 해주면 간단히 해결 됩니다.

#-*- coding: utf-8 -*-

Python 2 버전의 경우 문자열을 Unicode형식으로 처리하기 때문에 위와 같은 인코딩 설정이 필요하며,

Python 3.0 부터는 기본적으로 UTF-8을 사용하여 인코딩 설정을 하지 않아도 됩니다.

[Windows] TCP/UDP 상태확인

요체크다 — Tue, 18 Oct 2022 16:44:55 +0900

Windows 서버 운영 시 TCP Socket 고갈로 인해 서비스에 문제가 발생하는 경우가 발생할 수 있습니다.
이 경우 어떤 프로세스(PID)에서 TCP 세션을 많이 연결되어 있는지 확인하는 것이 중요한데, 이 경우 netstat 명령어를 통해 확인이 가능합니다.

우선 netstat 명령어란?
- 내 컴퓨터 또는 서버의 네트워크 상태를 확인할 수 있는 명령어로서 어떤 Port가 열려 있고 해당 Port는 어떤 PID에 의해 오픈 되었는지 등의 정보 확인이 가능합니다.

[ netstat 에서 자주 사용하는 옵션 ]

-a : 모든 연결 및 수신 대기 포트를 표시합니다.

-n : 주소 및 포트 번호를 숫자 형식으로 표시합니다.

-o : 각 연결의 소유자 프로세스 ID를 표시합니다.

-p : proto로 지정한 프로토콜의 연결을 표시합니다. proto는 TCP, UDP, TCPv6 또는 UDPv6 중 하나입니다.

1) TCP/UDP 리스트 확인
#netstat -an

2) TCP 리스트 확인
#netstat -anp tcp

3) TCP 리스트에 PID정보 함께 조회
#netstat -anpo tcp

< netstat -anpo tcp 결과 화면 >

4) 특정 Port로 접속한 IP 확인
#netstat -ano | find "443"

5) netstat 상태 값

- LISTEN 연결 요구를 기다리는 상태, 포트가 열려 있는 상태.

- ESTABLISHED 서로 연결되어 있는 상태

- SVN_SENT 클라이언트가 서버에 SYN 패킷을 보내고 연결을 요청한 상태.

- SVN_RECV 서버가 클라이언트의 SYN 패킷으로 요청을 받은 후 응답으로 SYN/ACK 패킷을 보내고 클라이언트에게 ACK를 받기 위해 기다리는 상태.

- TIME_WAIT TCP 상태의 가장 마지막 단계로서, 이미 기존 연결이 종료되었거나 다음 연결을 위해 기다리는 상태.

- CLOSE_WAIT 원격의 연결 요청을 받고 연결이 종료되길 기다리는 상태.

- FIN_WAIT1 클라이언트가 서버에게 연결을 끊고자 요청하는 상태.

- FIN_WAIT2 서버가 클라이언트로부터 연결 종료 응답을 기다리는 상태.

- LAST_ACK 연결이 종료되었고 승인을 기다리는 상태.

- CLOSED 완전히 연결이 종료된 상태.

[Linux] 리눅스 메모리 사용현황 파악

요체크다 — Mon, 8 Feb 2021 16:44:56 +0900

리눅스 서버의 경우 여유 메모리를 Cache 영역으로 사용하려고 하는 습성이 있는데, 이는 여유 메모리를 최대한 Cache 영역으로 활용하면 성능 향상에 도움이 되기 때문입니다.

그럼 리눅스 서버의 전반적인 메모리 사용현황을 손쉽게 확인할 수 있는 방법에 대해 알아보도록 하겠습니다.

free 명령어

[ free 명령어 ]

[total] : Total 메모리 Size
[used] : 현재 사용중인 메모리 Size. (used = total-(free+buff/cache))
[free] : 실제 사용 가능한 여유 있는 메모리 Size. (free = total-(used+buff/cache))
[shared] : tmpfs(메모리 파일 시스템), ramfs 등으로 사용되는 메모리. 여러 프로세스에서 사용할 수 있는 공유 메모리 Size.
[buff/cache] : Buffer와 Cache를 더해 사용 중인 메모리 Size.
Buffer ? : 디스크의 입/출력 효율을 높이기 위해 주기억장치(Memory)의 한 영역을 최근에 사용된 디스크 블록의 내용을 기억하는 영역으로 할당한 것을 의미하며, 해당 영역에 있는 디스크 블록은 디스크 액세스 없이 바로 이용할 수 있는 영역.
Cache ? : 자주 사용하는 데이터나 값을 디스크가 아닌 DRAM(Memory영역)에 임시 저장하여 좀 더 빠르게 데이터에 접근할 수 있게 해주는 영역.
[available] : swapping 없이 새로운 응용 프로그램(프로세스)에서 사용할 수 있는 메모리 Size.
Swap : Swap 영역에서 전체 Size, 사용 중인 Size, 여유 공간.
Swap ? : 디스크의 일정 영역을 메모리 부족 시 마치 메모리처럼 사용하기 위해 미리 설정해둔 영역.

마지막으로 아래는 free 명령어의 옵션 정보이니 참조하여 사용해 보시기 바랍니다.

[root@centos7 ~]# free --help

Usage:
free [options]

Options:
-b, --bytes         show output in bytes
-k, --kilo          show output in kilobytes
-m, --mega          show output in megabytes
-g, --giga          show output in gigabytes
     --tera          show output in terabytes
-h, --human         show human-readable output
     --si            use powers of 1000 not 1024
-l, --lohi          show detailed low and high memory statistics
-t, --total         show total for RAM + swap
-s N, --seconds N   repeat printing every N seconds
-c N, --count N     repeat printing N times, then exit
-w, --wide          wide output

     --help     display this help and exit
-V, --version  output version information and exit

For more details see free(1).

[Python] 파이썬 exe 파일 Windows 기본 icon 사용하기

요체크다 — Mon, 8 Feb 2021 01:44:17 +0900

파이썬으로 작성한 코드를 pyinstaller를 통해 exe 파일을 만드는 경우 기본 icon은 아래와 같이 생성됩니다.

[ 기본 icon ]

물론 해당 icon을 그대로 사용해도 되고, 다른 icon을 사용해도 전혀 문제가 되지 않습니다.

다만 저 같은 경우에는 Windows 기본 icon을 사용하고 싶어 해당 방법을 찾아보았고, 혹 저와 같은 생각을 가지시는 분들이 계실 거 같아 이 글을 작성하게 되었습니다.

구글링을 통해 pyinstaller 시 Windows 기본 icon을 사용하는 방법을 찾아보면,

대부분 pyinstaller로 exe 파일 만들 때 "--icon=NONE" 옵션을 사용하라고 가이드하고 있습니다.

하지만 저 같은 경우에는 해당 옵션을 사용해도 pyinstaller에서 제공하는 기본 icon으로 계속 빌드가 되었습니다.

결국 제가 최종적으로 선택한 방법은 pyinstaller를 통해 exe 파일을 만들 후 "Resource Hacker"라고 하는 유틸리티를 통해 기본 icon을 제거하는 방식으로 진행하였습니다.

Resource Hacker는 무료 프로그램이며, 아래의 링크를 통해 다운로드하실 수 있습니다.

- Download Site : resource-hacker.softonic.kr/

"파이썬 exe파일 Windows 기본 icon 사용"

1. pyinstaller를 통해 exe 파일 생성

[ pyinstaller 통해 exe 파일 만들기 ]

2. Resource Hacker 프로그램 실행

3. 열기 버튼으로 pyinstaller를 통해 생성한 exe 파일 열기

[ Open 버튼으로 exe 파일 불러오기 ]

4. Icon Group 메뉴 펼친 후 icon 선택하여 리소스 삭제

5. 저장 버튼을 통해 저장하기

- 저장을 하면 exe 파일 경로에 기존 exe 파일은 "_원본. exe"라고 백업이 되고 편집한 파일이 생성됩니다.

[ 편집 후 저장 ]

[ 편집파일 생성 ]

[Python] 파이썬 Windows 서비스 등록

요체크다 — Sat, 6 Feb 2021 09:00:27 +0900

이번 시간에는 파이썬으로 제작한 exe 실행파일을 Windows 서비스에 등록하여 실행시키는 방법에 대해 알아보도록 하겠습니다.

최종적으로 구현하고자 하는 방식은 아래와 같습니다.

[ 프로그램 구성 ]

- Watchdog.exe (Windows Service 등록)

- Main.exe

[ 프로그램 실행 방식 ]

1. 서비스 시작

1) Windows Service 에서 Watchdog 서비스(ex, Test Service) 시작

2) Watchdog.exe 가 Main.exe 프로그램 실행

2. 서비스 중지

1) Windows Service 에서 Watchdog 서비스(ex, Test Service) 중지

2) Watchdog.exe 가 Main.exe 프로그램 종료(kill)

1. 테스트 환경

Python : 3.7

servicemanager : 1.8.1

pywin32 : 227

2. 참조 소스

import servicemanager
import socket
import sys
import win32event
import win32service
import win32serviceutil
import time
import subprocess
import os


class TestService(win32serviceutil.ServiceFramework):
    _svc_name_ = "TestService"
    _svc_display_name_ = "Test Service"

    def __init__(self, args):
         win32serviceutil.ServiceFramework.__init__(self, args)
         self.hWaitStop = win32event.CreateEvent(None, 0, 0, None)
         socket.setdefaulttimeout(60)
         self.is_running = False

     def SvcStop(self):
         # Main.exe Process Kill
         subprocess.Popen("taskkill /im Main.exe /f", shell=True)   # 서비스 중지 시 Main.exe 프로세스 taskkill 명령어로 중지.
         time.sleep(1)

         self.ReportServiceStatus(win32service.SERVICE_STOP_PENDING)
         self.is_running = False # is_running 를 False로 바꿔 줌으로써 Main.exe 주기적 호출 막기
         win32event.SetEvent(self.hWaitStop)

    def SvcDoRun(self):
         self.is_running = True
         current_location = str(os.path.abspath(os.path.dirname(sys.argv[0])))   # 현재 위치 체크

         while self.is_running: # self.is_running이 True인 경우에만 while 실행

               rc = win32event.WaitForSingleObject(self.hWaitStop, 5000)
               if rc == win32event.WAIT_OBJECT_0:

                  break
               else:
                  subprocess.Popen([current_location + "\\Main.exe"]) # 현재 경로에 위치한 Main.exe 프로그램 실행
               time.sleep(55)


if __name__ == '__main__':
    if len(sys.argv) == 1:
        servicemanager.Initialize()
        servicemanager.PrepareToHostSingle(TestService)
        servicemanager.StartServiceCtrlDispatcher()
    else:
        win32serviceutil.HandleCommandLine(TestService)

3. Windows Service exe 실행파일 만들기

Windows Service에 등록하기 위한 Watchdog 프로그램을 빌드하는 경우 pyinstaller를 활용하여 아래의 명령어로 exe 파일을 만들면 됩니다.

#pyinstaller -F --hidden-import=win32timezone -n Watchdog.exe py파일명

[ Watchdog exe 파일 생성 ]

4. Windows Service 등록

"cmd창을 관리자 권한으로 실행" 한 다음 Watchdog 파일(ex, Watchdog.exe)이 위치한 경로로 이동해 줍니다.

그리고 아래의 명령어를 통해 서비스 등록 및 삭제를 진행하시면 됩니다.

1) Windows 서비스 등록

#exe파일명 --startup=auto install

[ Windows Service 등록 ]

[ Windows Service에 등록된 화면 ]

2) Windows 서비스 삭제

#exe파일명 remove

[ Windows Service 삭제 ]

[Excel] 엑셀 기본 단축키 모음

요체크다 — Fri, 5 Feb 2021 12:47:48 +0900

직장인이라면 누구나 엑셀을 사용하실 겁니다. 엑셀에는 아주 많은 단축키가 존재하는데, 이 많은 단축키를 모두 외우기란 불가능합니다. 이번 시간에는 기본적이면서도 업무의 효율성을 높여줄 수 있는 단축키 위주로 정리하여 보았습니다.

한 번씩 따라 해 보시면 금방 본인의 것으로 만들 수 있으며, 해당 단축키를 잘만 활용한다면 업무시간을 조금이나마 단축시킬 수 있지 않을까 조심스럽게 생각해 봅니다.

※ 해당 단축키는 MS 2013 버전 기준으로 작성하였습니다.

"엑셀 유용한 단축키 모음"

[ 엑셀 바로 실행 ]
- 윈도우키 + r 키로 실행창을 열고 excel 이라고 입력 후 확인을 누르거나 엔터를 치면 엑셀이 바로 실행됩니다.

[ 엑셀 빠르게 실행 ]

[ 시트 이동 ]
Crtl + Page Up 또는 Ctrl + Page Down

[ 셀 좌/우측 끝으로 이동 ]
Ctrl + 왼쪽/오른쪽 방향키

[ 셀 상/하단 끝으로 이동 ]
Ctrl + 위/아래 방향키

[ 가로 셀 한 번에 선택 ]
Ctrl + 왼쪽/오른쪽 방향키

[ 세로 셀 한 번에 선택 ]
Ctrl + 위/아래 방향키

[ 전체 셀 선택 ]
Ctrl + a

[ 선택한 셀 편집 ]
F2

[ 다른 이름으로 저장 ]
F12

[ 글자 굵게 ]
Ctrl + b

[ 글자 밑줄 ]
Ctrl + u

[ 글자 기울임 ]
Ctrl + i

[ 검 색 ]
Ctrl + f

[ 바꾸기 ] (특정 문자를 찾아서 바꾸는 기능)
Ctrl + h

[ 작업 취소 ]
Ctrl + z

[ 마지막 작업 반복 ]
Ctrl + y

[Windows] 윈도우 단축키 모음

요체크다 — Thu, 4 Feb 2021 17:03:05 +0900

컴퓨터를 통해 업무를 보는 분들이라면 기본적으로 알고 있으면 좋을 만한 윈도우 단축키 정보를 정리해 보았습니다. 마우스를 통해 일일이 클릭하는 것보단 아래와 같은 기본적인 단축키 정도만 알고 있어도 업무 효율성을 조금이나마 높여줄 것으로 생각됩니다.

"유용한 단축키 모음"

1. 바탕화면 바로가기

윈도우키 + d

2. 화면보호기 모드 실행

윈도우키 + l

3. 전체화면 캡처

Print Screen

4. 현재화면 캡처

Alt + Print Screen

5. 파일탐색기 실행

윈도우키 + e

6. 현재 창 및 프로그램 종료

Alt + F4

7. 복사

Ctrl + c

8. 붙여넣기

Ctrl + v

9. 파일 및 폴더이름 변경

10. 파일 저장

Alt + s

11. 작업 취소

Ctrl + c

12. 작업 되돌리기

Ctrl + z

13. 프로그램 전환

Alt + tab

[PostgreSQL] PostgreSQL 서비스 수동 중지 및 시작

요체크다 — Tue, 2 Feb 2021 01:57:03 +0900

Windows 서버에서 PostgreSQL 을 운영하는 도중 다양한 이유로 인해 Windows 서비스에서 PostgreSQL 서비스가 컨트롤(중지 및 시작) 되지 않는 경우가 발생할 수 있습니다. 이때 PostgreSQL에서 제공해 주는 pg_ctl.exe를 통해 수동으로 서비스를 중지 및 시작할 수 있습니다.

우선 pg_ctl.exe 은 PostgreSQL 이 설치된 디렉토리 중 bin 디렉토리에 위치하며, 해당 파일이 하는 역할은 크게 아래와 같습니다.

pg_ctl.exe 는 PostgreSQL 데이터베이스 제반 작업을 수행하게 됩니다. 이 작업은 데이터베이스 클러스터 초기화, 서버 시작, 중지, 재시작, 서버 상태 출력 등입니다. 물론 서버는 postgres 명령으로 직접 실행할 수 있으나, pg_ctl.exe 명령을 이용하면, 보다 쉽고, 안전하게 관리할 수 있습니다.

pg_ctl.exe에서 제공해 주는 옵션은 아래와 같이 다양합니다. 하지만 우리가 필요한 옵션은 서비스 중지 및 시작 시 참조할 옵션이며, 수동으로 서비스를 중지 및 시작하는 옵션은 아래와 같습니다.

1) 서비스 수동 중지

※ cmd창 관리자 권한 실행

#cd D:\Postgresql\pgsql\bin (bin디렉토리 이동)

#pg_ctl.exe stop -m fast-D "DB data 경로 지정"

-m, --mode 는 중지 시 참조하는 Mode. (smart, fast, immediate 중 하나)
- smart 모든 클라이언트의 연결이 끊기게 되면 중지 됨
- fast 클라이언트의 연결을 강제로 끊고 정상적으로 중지 됨
- immediate 그냥 무조건 중지함; 다시 시작할 때 복구 작업을 할 수도 있음

2) 서비스 수동 시작

※ cmd창 관리자 권한 실행

#cd D:\Postgresql\pgsql\bin (bin디렉토리 이동)

#pg_ctl.exe start -D "DB data 경로 지정"

[ pg_ctl.exe 전체 옵션 ]

D:\Postgresql\pgsql\bin>pg_ctl.exe --help
pg_ctl 프로그램은 PostgreSQL 서버를 초기화, 시작, 중지, 제어하는 도구입니다.

사용법:
pg_ctl init[db] [-D 데이터디렉터리] [-s] [-o "옵션"]
pg_ctl start [-w] [-t 초] [-D 데이터디렉터리] [-s] [-l 로그파일] [-o "옵션"]
pg_ctl stop [-W] [-t 초] [-D 데이터디렉터리] [-s] [-m 중지모드]
pg_ctl restart [-w] [-t 초] [-D 데이터디렉터리] [-s] [-m 중지모드]
[-o "옵션"]
pg_ctl reload [-D 데이터디렉터리] [-s]
pg_ctl status [-D 데이터디렉터리]
pg_ctl promote [-D 데이터디렉터리] [-s]
pg_ctl kill 시그널이름 PID
pg_ctl register [-N 서비스이름] [-U 사용자이름] [-P 암호] [-D 데이터디렉터리]
[-S 시작형태] [-w] [-t 초] [-o "옵션"]
pg_ctl unregister [-N 서비스이름]

일반 옵션들:
-D, --pgdata=데이터디렉터리 데이터베이스 자료가 저장되어있는 디렉터리
-e SOURCE 서비스가 실행 중일때 쌓을 로그를 위한 이벤트 소스
-s, --silent 일반적인 메시지는 보이지 않고, 오류만 보여줌
-t, --timeout=초 -w 옵션 사용 시 대기 시간(초)
-V, --version 버전 정보를 보여주고 마침
-w 작업이 끝날 때까지 기다림
-W 작업이 끝날 때까지 기다리지 않음
-?, --help 이 도움말을 보여주고 마침
(기본 설정은 중지 할 때는 기다리고, 시작이나 재시작할 때는 안 기다림.)
-D 옵션을 사용하지 않으면, PGDATA 환경변수값을 사용함.

start, restart 때 사용할 수 있는 옵션들:
-c, --core-files 이 플랫폼에서는 사용할 수 없음
-l, --log=로그파일 서버 로그를 이 로그파일에 기록함
-o 옵션들 PostgreSQL 서버프로그램인 postgres나 initdb
명령에서 사용할 명령행 옵션들
-p PATH-TO-POSTGRES 보통은 필요치 않음

stop, restart 때 사용 할 수 있는 옵션들:
-m, --mode=모드 모드는 "smart", "fast", "immediate" 중 하나

중지방법 설명:
smart 모든 클라이언트의 연결이 끊기게 되면 중지 됨
fast 클라이언트의 연결을 강제로 끊고 정상적으로 중지 됨
immediate 그냥 무조건 중지함; 다시 시작할 때 복구 작업을 할 수도 있음

사용할 수 있는 중지용(for kill) 시그널 이름:
ABRT HUP INT QUIT TERM USR1 USR2

서비스 등록/제거용 옵션들:
-N SERVICENAME 서비스 목록에 등록될 PostgreSQL 서비스 이름
-P PASSWORD 이 서비스를 실행할 사용자의 암호
-U USERNAME 이 서비스를 실행할 사용자 이름
-S 시작형태 서비스로 등록된 PostgreSQL 서버 시작 방법

시작형태 설명:
auto 시스템이 시작되면 자동으로 서비스가 시작됨 (초기값)
demand 수동 시작

[Python] 파이썬 SMTP를 통한 메일 전송

요체크다 — Tue, 2 Feb 2021 01:27:51 +0900

파이썬에서 제공해 주는 라이브러리 중 기본 내장된 "smtplib" 라는 모듈을 통해 아주 쉽게 메일을 전송할 수 있습니다. 아래 예제를 참조하여 해당 기능을 잘 활용한다면 본인의 업무 효율성을 높여줄 수 있는 하나의 좋은 무기가 될 수 있으니 업무에 한 번씩 적용해 보셔도 좋을 거 같습니다.

우선 STMP가 무엇인지 살짝 알아보고 넘어가도록 하겠습니다. SMTP는 "Simple Mail Transfer Protocol" 의 약자로서 메일을 보내는데 사용되는 프로토콜입니다.

보통 사내에 SMTP 서버를 구축하여 메일 서버를 통해 메일 발송이 이루어지는데, 요즘은 굳이 사내에 메일 서버를 구축할 필요 없이 Google, MS, 네이버, 다음 등을 통해서 좀 더 편리하게 메일 기능을 사용할 수도 있습니다.

오늘 이시간에는 네이버를 통해 메일을 전송하는 예제를 진행해 보도록 하겠습니다.

우선 네이버를 통해 메일을 발송하기 위해서는 아래와 같이 사전 준비작업이 필요하니 아래 정보 참조하여 사전 준비작업을 해주시기 바랍니다.

"사전 준비작업"

1) 네이버 로그인 후 메일 환경 설정 이동

- 내 메일함에 마우스를 가져오면 환경설정 버튼이 활성화됩니다.

2) POP3/IMAP 설정 메뉴 => IMAP/STMP 설정 탭 => IMAP/SMTP 사용함 선택 후 확인 버튼 누르기

"네이버 메일 보내기"

아래 예제를 참조하여 네이버 SMTP를 통해 메일 전송이 가능합니다.

import smtplib
from email.mime.text import MIMEText

sendmail = "네이버ID@naver.com"   #ex) test@naver.com
receivemail = "받는 대상"   #ex) target@daum.net
password = "네이버 비밀번호"   #ex) 네이버 ID의 패스워드

smtpaddress = "smtp.naver.com"  #네이버 SMTP 서버 주소
smtpport = 587  #네이버 SMTP 포트 번호

text = "매일 내용 입력"
msg = MIMEText(text)

msg['Subject'] ="메일제목 입력"
msg['From'] = sendmail
msg['To'] = receivemail

s = smtplib.SMTP( smtpaddress , smtpport )  # 네이버 메일 서버 연결 부분
s.starttls()  #TLS 보안 처리
s.login( sendmail, password )  #로그인 부분
s.sendmail( sendmail, receivemail, msg.as_string() )  #메일 전송 부분
s.close()  #네이버 smtp 서버와 연결 종료

[Python] 웹 크롤링(Crawling) 주의사항

요체크다 — Thu, 21 Jan 2021 01:32:25 +0900

인터넷에서 웹 크롤링이라고 검색을 하면 파이썬을 통해 쉽고 간편하게 웹 정보를 수집할 수 있는 내용들이 상당히 많이 공유되고 있습니다.

좀더 편하고 쉽게 웹에 있는 정보들을 수집하고 재활용할 수 있어 충분히 좋은 기능이긴 하지만, 해당 기능을 사용하기 전에 기본적인 주의사항에 대해서 숙지를 하고 사용하는 것이 좋을거 같아 이렇게 글을 남깁니다.

"모든 정보를 크롤링 할 수 없다!"

현재 인터넷상에는 정말 다양한 사이트들과 다양한 정보들이 존재하는데, 모든 정보에 대해 크롤링이 허용되는 것이 아닙니다. 개인정보가 있는 사이트의 경우 당연히 수집 못하도록 막을 것이고, 가져가지 말아야할 정보를 가져 가는 경우에는 저작권에 걸려 법적 문제까지 가는 경우가 발생할 수 도 있습니다.

그럼 이런경우 어떻게 구분하여 수집해도 문제없는 정보인지, 수집하면 안되는 정보인지 확인하는 방법은 해당 사이트에 존재하는 "robots.txt" 이라는 파일을 참조하는 것입니다.

robots.txt 파일은 무분별한 크롤링을 막고 제어하기 위해 1994년 6월에 로봇 배제 규약이 만들어졌습니다. 말 그대로 로봇이 수집을 못하게 막을 목적으로 만들어졌는데 로봇의 접근 관련 내용(크롤링 허가/불허의 여부)을 robot.txt 라는 파일에 적어두는 방법입니다. 결국 robots.txt 파일은 해당 사이트의 안내문과 같은 역할을 하며 반드시 해당 사이트에 있는 정보를 수집하기 전에 읽어 보아야 합니다.

robots.txt 파일의 위치는 참조하고자 하는 웹사이트의 주소 뒤에 슬래시 후 바로 robot.txt 를 넣어서 접근하면 확인할 수 있습니다.

- ex) http://namu.wiki/robots.txt

그리고 robots.txt 파일의 형식은 아래와 같습니다.

[ robots.txt 파일 형식 ]

User-agent: <= 검색봇 이름

Disallow: <= 접근 설정

Crawl-delay: 다음방문까지의 디레이(초)

[ 모든 검색봇에 차단 ]

User-agent: *

Disallow: /

[ 모든 검색봇에 허용 ]

User-agent: *

Disallow:

[ 모든 검색봇에 대해 일부만 허용 ]

User-agent: *

Disallow: /page1/

Disallow: /page2/

[Python] 파이썬 속도개선

요체크다 — Tue, 5 Jan 2021 03:00:27 +0900

파이썬은 많은 장점들이 있지만 컴파일 언어에 비해 속도가 느리다는 단점이 존재합니다. 파이썬의 속도를 높이기 위해 인터넷에서 찾아보면 "병렬처리" 또는 "Cython" 이라고 하는 내용이 많이 보이는데, 해당 내용은 좀더 고급 스킬을 요구하는 내용들이라 초보 개발자 분들이 지금 바로 접하고 적용하기에는 다소 어려운 내용들이라고 생각됩니다.

이번 시간에는 위에서 언급한 "병렬처리"와 "Cython"을 접하기 이전에 좀더 쉬운 방식으로 파이썬 속도를 개선할 수 있는 방법에 대해 알아보도록 하겠습니다.

"반복문에서 간단한 구문 변경으로 속도 개선"

개발을 하다보면 반복문은 필수적으로 다루어야 하는 내용입니다. 파이썬에서 반복문 사용할 떄 loop 내에 . 을 사용하게 되면 속도저하가 발생하게 됩니다. 아래 간단한 예시를 통해 확인해 보도록 하겠습니다.

1. loop 안에 . 을 사용하는 경우

- loop내 . 을 사용하는 경우 Elapsed Time은 312 ms 가 나왔습니다.

2. 미사용 하는 경우

- list comprehension 를 통한 예시입니다.

- .을 사용하지 않고 list comprehension 를 통해 구현하는 경우 Elapsed Time은 114 ms 가 나왔습니다.

위 예시 내용과 같이 간단한 구문 변경만으로 파이썬 속도를 개선할 수 있는 것을 확인 하였습니다. 반복문 loop 내에

. 사용을 최대한 피하고, 반복문을 통해 리스트를 만드는 경우에는 list comprehension 사용하여 속도 개선을 해보시기 바랍니다.

[Python] 파이썬 ssh 를 통한 업무 자동화

요체크다 — Thu, 31 Dec 2020 12:38:45 +0900

ssh를 사용하는 환경(ex, Unix/Linux 서버)인 경우 파이썬에서 제공하는 "paramiko" 라이브러리를 설치하여 손쉽게 ssh 접속하여 원하는 작업을 자동화하여 사용할 수 있습니다. 물론 기존에도 쉘 스크립트를 통해 어느 정도 자동화가 가능하지만 파이썬에서 제공되는 자동화에 비하면 한계점(ex, 쉘 스크립트 최초 배포, 쉘 수정 시 배포 필요 등) 들이 있어 파이썬을 통한 업무 자동화를 개인적으로는 추천드립니다.

기존에 ssh 접속하여 직접 Command를 실행하였던 작업들 또는 수작업으로 특정 파일을 업로드/다운로드하였던 부분들을 이젠 좀 더 쉽고 고급스럽게 자동화하여 사용이 가능합니다.

이런 기능을 본인의 업무 환경에 맞게 잘 활용한다면 여러분들의 업무 효율성을 조금이나마 높을 수 있을 것이라고 생각합니다.

우선 해당 기능을 사용하기 위해서는 늘 그래 왔듯이 paramiko 라이브러리가 사전에 설치가 되어 있어야 하며, 당연히 ssh 접속하고자 하는 대상 장비에 ssh가 설치 및 활성화되어 있어야 하는 점 참조 바랍니다.

저 같은 경우 모든 작업을 파이참을 통해 이루어지다 보니 파이참을 통해 paramiko 2.5.0 버전을 설치하였습니다.

( ※ 파이참이 아닌 pip 명령어로 설치하는 경우 "pip install paramiko==2.5.0" 명령어를 통해 설치 진행하셔도 됩니다.)

[ paramiko 설치 화면 ]

1. ssh 접속하기

ssh 접속은 아래와 같이 몇 줄 안 되는 코드로 통해 손쉽게 접속이 가능합니다.

import paramiko

try:
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy)
    ssh.connect("192.168.0.236", username="root", password="abc123")    # 대상IP, User명, 패스워드 입력
    print('ssh connected.')    # ssh 정상 접속 후 메시지 출력

    ssh.close()   # ssh 접속하여 모든 작업 후 ssh 접속 close 하기


except Exception as err:
    print(err)    # ssh 접속 실패 시 ssh 관련 에러 메시지 출력

정상적으로 ssh 접속이 되는 경우 "ssh connected." 메시지가 출력 될 것이고, 만약 ssh 접속이 안 되는 경우는 아래와 같이 ssh 에러 메시지가 출력될 것입니다.

[ ssh 접속 에러 시 ]

2. 명령어 실행

특정 명령어를 실행하는 경우 위 예제 코드에서 print('ssh connected.') 부분과 ssh.close() 사이에 아래 코드를 넣어 사용하시면 됩니다. 저 같은 경우에는 디렉토리 및 파일 리스트를 확인하는 예제이기 때문에 리스트 결과를 화면에 출력까지 하는 것이며, 만약 실행하고자 하는 명령어가 리턴 받을 내용이 없다고 하면 명령어(ssh.exec_command 부분)만 활용하셔도 됩니다.

stdin, stdout, stderr = ssh.exec_command("ls -l")   # ssh 접속한 경로에 디렉토리 및 파일 리스트 확인 명령어 실행
lines = stdout.readlines()
for i in lines:    # for문을 통해 명령어 결과값 출력.
    re = str(i).replace('\n', '')
    print(re)

[ 명령어 실행 결과 확인 ]

3. 파일 업로드/다운로드

paramiko 라이브러리를 통해 작업하고자 하는 대상 장비에 sftp로 접속하여 파일을 업로드/다운로드가 가능합니다.

예제 코드는 아래와 같습니다. 저 같은 경우 프로젝트 디렉토리 내에 위치한 "upload_file.txt" 파일을 /tmp 디렉토리에 업로드하였습니다.

1) 업로드

import paramiko

try:
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy)
    ssh.connect("192.168.0.236", username="root", password="abc123")    # 대상 IP, User명, 패스워드 입력
    print('ssh connected.\n')

    # File Upload
    sftp = ssh.open_sftp()
    sftp.put('.\\upload_file.txt', '/tmp/upload_file.txt')
    print('sftp upload success.\n')

    ssh.close()

except Exception as err:
    print(err)

파일이 정상적으로 업로드되면 아래와 "sftp upload success." 메시지가 출력이 될 것이며, 대상 서버에 접속해 보면 업로드한 파일이 업로드된 것을 확인할 수 있습니다.

[ 파일 업로드 완료 ]

[ 대상 서버에 파일 업로드 완료 ]

2) 다운로드

파일을 다운로드하는 경우 위 예제 코드에서 "sftp.put('.\\upload_file.txt', '/tmp/upload_file.txt')" 이 부분을 아래와 같이 변경하여 사용하시면 됩니다.

저 같은 경우에는 "/tmp/download_file.txt" 파일을 현재 프로젝트 디렉토리로 다운로드하도록 하겠습니다.

sftp.get('/tmp/download_file.txt', '.\\download_file.txt')

[Python] 파이썬 postgresql 접속 및 select 하기

요체크다 — Wed, 30 Dec 2020 02:07:50 +0900

파이썬에서 제공해주는 라이브러리 중에서 "psycopg2" 라고 하는 라이브러리를 통해 PostgreSQL을 접속하여 Database 정보 확인이 가능합니다.

psycopg2 라이브러리는 pip install 명령어를 통해 쉽게 설치가 가능하며, 저 같은 경우에는 모든 작업을 파이참을 통해 진행하기 때문에 파이참을 통해 psycopg2 라이브러리를 설치하였습니다.

참고로 파이참에서 라이브러리를 설치 하는 경우 File - Setting - Project Interpreter 메뉴에서 해당 라이브러리를 찾아서 설치하였으니 참조 바랍니다.

1. 접속하기

# host : PostgreSQL 서버 IP

# dbname : 접속하고자 하는 Database 명

# user : 접속하고자 하는 Database 계정

# password = 접속하고자 하는 Databsae User의 비밀번호

import psycopg2

# Try to connect
try:
    conn = psycopg2.connect(host="127.0.0.1", dbname="testdb", user="testuser", password="abc123")
except:
    print("Not Connected!.")

만약 Database에 접속이 되지않아 PostgreSQL 자체에서 발생하는 로그를 바로 확인하고자 하는 경우에는 except 코드 부분을 아래와 같이 수정하면 좀더 자세한 Database 접속에러 내역을 볼 수 있습니다.

except psycopg2.DatabaseError as db_err:
    print(db_err)

[ DB Connect Error 예시 ]

2. 조회하기

import psycopg2

# Try to connect
try:
    conn = psycopg2.connect(host="127.0.0.1", dbname="testdb", user="testuser", password="abc123")

    cur = conn.cursor()
    cur.execute("select * from urlstate;")
    rows = cur.fetchall()

    print(rows)

except psycopg2.DatabaseError as db_err:
    print(db_err)

[ 쿼리 가로 결과 예시 ]

위 샘플코드를 실행하면 기본적으로 실행 결과가 가로로 표기가 되게 됩니다. 쿼리 결과를 세로로 보고자 하는 경우에는 "print(rows)" 코드 부분을 아래와 같이 수정하면 세로 형태로 확인이 가능합니다.

for i in rows:
    print(i)

[ 쿼리 세로 결과 예시 ]

[Python] pyinstaller로 exe 실행파일 만들때 파일 버전정보 설정

요체크다 — Wed, 30 Dec 2020 00:33:08 +0900

파이썬에서 pyinstaller를 통해 exe 실행파일을 생성하는 경우 별도로 파일 버전을 설정하지 않아도 아무 문제없이 exe 실행파일 생성이 가능합니다.

다만, 소스코드가 길어지고 코드 수정이 잦아지게 되면 결국 exe 실행파일을 여러번 만들게 되는데, 이런 경우 exe 실행파일 관리하는 부분에 있어 어려움이 발생하게 되어 exe 실행파일에 파일버전을 설정하여 좀더 수월한 관리가 가능합니다.

추가적으로 exe 실행파일을 좀더 고급스럽고 전문가적인 느낌을 주기위해서도 exe 실행파일에 파일 버전 정보를 설정하는 것을 개인적으로는 추천해 드리고 싶습니다.

pyinstaller를 통해 exe 실행파일 만들때 파일 버전정보를 설정하는 방법은 아래와 같이 프로젝트 경로에 아래의 샘플내역을 txt 파일형태로 저장한 다음 "--version-file" 옵션을 통해 txt 파일을 불러오시면 됩니다.

1. 준비사항

1) txt 샘플내역 저장 및 편집

- 아래 txt 샘플내역 저장 후 빨간색 글자 부분만 편집하여 프로젝트 경로에 파일을 위치 시켜 줍니다.

- txt 샘플내역은 아래 첨부파일에서 다운 받으시면 됩니다.

file_version_info.txt

0.00MB

2) txt 샘플내역

# UTF-8

#

VSVersionInfo(
  ffi=FixedFileInfo(
# filevers and prodvers should be always a tuple with four items: (1, 2, 3, 4)

# Set not needed items to zero 0.
filevers=(1, 0, 0, 0),
prodvers=(1, 0, 0, 0),

# Contains a bitmask that specifies the valid bits 'flags'r
mask=0x3f,
# Contains a bitmask that specifies the Boolean attributes of the file.
flags=0x0,

# The operating system for which this file was designed.
# 0x4 - NT and there is no need to change it.
OS=0x4,
# The general type of file.

# 0x1 - the file is an application.
fileType=0x1,
# The function of the file.
# 0x0 - the function is not defined for this fileType
subtype=0x0,

# Creation date and time stamp.
date=(0, 0)
),
  kids=[
StringFileInfo(

  [
  StringTable(
    u'040904B0',
    [StringStruct(u'CompanyName', u''),
    StringStruct(u'FileDescription', u'test'),
    StringStruct(u'FileVersion', u'1.0.0.0'),
    StringStruct(u'InternalName', u''),
    StringStruct(u'LegalCopyright', u''),
    StringStruct(u'OriginalFilename', u''),
    StringStruct(u'ProductName', u'test.exe'),
    StringStruct(u'ProductVersion', u'1.0.0.0')])
  ]),
VarFileInfo([VarStruct(u'Translation', [1033, 1200])])
  ]
)

2. 설정 옵션 및 명령어

1) 옵션

--version-file txt파일명

2) 명령어

#pyinstaller 파이썬소스.py --version-file file_version.txt

3) 파일 버전 확인

- pyinstaller로 exe 실행파일을 생성하는 경우 프로젝트 경로의 'dist" 라고 하는 디렉토리에 생성됩니다.

- exe 실행파일에서 마우스 우클릭 후 "속성" 메뉴에 들으간 다음 "자세히" 탭을 보면 위에서 설정한 파일 버전정보가 잘 설정된 것을 확인 할 수 있습니다.

[Python] 파이썬 exe 실행파일 만들기

요체크다 — Tue, 29 Dec 2020 11:12:00 +0900

정성 들여 코딩한 결과물을 배포하는 경우 직접 코딩한 소스를 배포할 수 도 있지만, 보안 및 여러 다양한 문제들로 인해 소스 자체를 배포하기보단 exe 실행파일로 만들어서 배포하는 경우가 대부분입니다.

파이썬에서도 exe 파일을 생성할 수 있는 다양한 라이브러리들이 제공되는데, 저 같은 경우는 가장 쉽고 편하다고 알려진 "pyinstaller"를 사용하고 있으며, 이 시간에는 pyinstaller를 통해 exe 파일을 생성하는 방법에 대해 알아보도록 하겠습니다.

우선 pyinstaller를 사용하기 위해서는 당연히 pyinstaller 가 사전에 설치가 되어 있어야 합니다.

pyinstaller 설치는 아래와 같이 pip 명령어를 통해 손쉽게 설치가 가능합니다.

#pip install pyinstaller

1. 참고사항

pyinstaller를 통해 실행파일을 만들 수 있는 형태는 크게 2가지 입니다.

1) 하나의 exe 실행파일 형태

가) pyinstaller를 통해 하나의 exe 파일을 생성하는 것이며, 가장 보편적이고 많이 사용하는 형태라고 생각됩니다.

나) 장/단점

- 장점 : 하나의 exe 파일로 배포 가능하며, 압축이 되어 exe 파일사이즈가 작다.

- 단점 : 프로그램 실행시 압축된 exe 파일을 압축해제 후 프로그램이 실행되다 보니 디렉토리 형태에 비해 실행 속도가 느리다.

[ 하나의 exe 파일 형태 ]

2) 디렉토리 형태 (여러 부가적인 파일 포함)

가) pyinstaller를 통해 하나의 exe 파일을 생성하는 것이 아닌, exe 파일 실행 시 필요한 부가적인 파일들도 같이 디렉토리 내에 표기 됩니다.

나) 장/단점

- 장점 : 별도의 압축해제 과정이 없어서 프로그램 실행속도가 빠르다.

- 단점 : 파일이 많기 때문에 관리가 번거로우며, 실행파일 사이즈가 압축이 되지 않다보니 하나의 exe 파일 형태보다 파일의 사이즈가 크다.

다시한번 위 2가지 방법의 가장 큰 차이점을 살펴보면 아래와 같습니다.

1) 하나의 exe 실행파일로 생성할지 여부와

2) 프로그램 실행 속도 입니다.

하나의 exe 파일로 생성하는 경우 사용자가 프로그램을 실행 시 exe 로 묶여 있는 파일을 풀어서 실행해 주는 과정이 필요하며, 하나의 실행 파일이 아닌 여러 파일로 생성된 경우는 이 과정이 생략되기 때문에 프로그램 실행 속도 차이가 발생할 수 밖에 없습니다.

파일 사이즈가 작은 경우에는 그 차이가 미비하겠지만, 파일 사이즈가 큰 경우에는 이 차이가 상당하기 때문에 참조하시어 실행파일을 만드시기 바랍니다.

※ 참고적으로 최근 Trend 분석 테스트로 인해 fbprophet 을 통해 코드 작성 후 실행파일을 생성한 경우가 있는데, exe 파일 하나로 묶은 경우 파일 사이즈가 압축이 되어서 300 MB 였었고, 디렉토리 형태로 만든 경우에는 압축이 되지 않아 1 GB가 좀 넘었습니다. 그리고 실행 속도는 exe파일로 만든 경우가 디렉토리 형태로 만든 파일 보다 2배 더 느린 속도를 보였습니다.

2. exe 실행파일 만들기

저 같은 경우 파이참을 통해 모든 작업이 이루어 지다 보니 파이참을 통해 exe 파일을 만드는 과정을 보여드리는 부분 참조해 주시기 바랍니다.

pyinstaller를 통해 exe 파일을 만드는 방법은 생각보다 쉽습니다.

결국 아래의 명령어로 exe 파일 생성이 가능하며, 부가적인 옵션사항에 대해서만 숙지하셔도 기본적인 부분은 충분하다고 생각됩니다.

#pyinstaller 파이썬소스.py

1) exe 실행파일 만들기

가) 명령어

#pyinstaller 파이썬소스.py

나) 참조예시

2) exe 실행파일 확인

- exe 실행파일은 해당 파이썬 코드가 위치한 프로젝트 경로에 가시면 "dist"라고 하는 디렉토리에 실행파일이 만들어 지제 됩니다.

- 기본적으로 아무 옵션 없이 exe파일을 만들게 되는 경우 예시와 같이 디렉토리 형태로 실행파일이 만들어 집니다.

3) 옵션 내역

- 우선 가장 많이 사용되는 옵션들로만 정리 하였습니다.

구 분	옵 션	참조 명령어
하나의 exe 실행파일 생성	--onefile (또는 -F)	pyinstaller --onefile query_test.py
exe 파일명 지정	-n	pyinstaller --n Query_Test.exe query_test.py
icon 지정	--icon=	pyinstaller --icon=test.ico query_test.py
cmd 콘솔화면 미출력 되도록 설정	--noconsole (또는 -w)	pyinstaller --noconsole query_test.py

[Python] 파이썬 데이터 타입 (문자열)

요체크다 — Mon, 28 Dec 2020 01:54:37 +0900

문자열(String)이란 문자, 단어 등으로 구성된 문자들의 집합을 의미 합니다.

예를 들어 아래와 같은 것 들이 모두 문자열에 속하게 됩니다.

"Hello Python"

"abc"

"123"

그러면 이제 문자열을 어떻게 선언하여 사용하는지 그리고 기본적으로 알아야 하고 가장 많이 사용되는 문자열 조작 방법에 대해 알아 보도록 하겠습니다.

1. 문자열 사용 방법

1) 큰 따옴표(")로 양쪽 둘러싸기

- "Hello Python"

2) 작은 따옴표(')로 양쪽 둘러싸기

- 'Hello Python'

크게 위 두가지 방법이 가장 많이 사용되는 방법이며, 만약 두가지를 같이 사용하게 되는 경우가 발생하면,

아래와 같이 작은 따옴표(') 안에 큰 따옴표(")를 포함해서 사용하시면 됩니다.

- 'Python is "very" simple language.'

2. 문자열 조작하기

1) 문자열 바꾸기(치환하기)

- 특정 문자열을 치환하는 경우 replace 라고 하는 함수를 통해 문자열 치환이 가능합니다.

2) 문자열 분리하기

- 특정 문자열을 분리하는 경우 split 이라고 하는 함수를 통해 문자열 분리가 가능합니다. split의 경우 기본적으로 공백을 기준으로 분리하기 때문에 분리하고자 하는 기호(ex, a.split(',')를 괄호안에 넣어 주어야 합니다.

- 문자열을 분리하는 이유는 다양하겠지만 split을 통해 분리한 문자열의 경우 리스트 형태로 변환이 됩니다. 그래서 손쉽게 문자열을 리스트 형태로 변환하여 for문과 같은 반복문으로도 사용이 가능합니다.

3) 모든 공백 제거하기

- 특정 문자열에서 모든 공백을 제거하고자 하는 경우 1)번에서 사용한 함수와 동일한 replace 함수를 통해 공백 제거가 가능합니다. replcace 함수 괄호안 작은 따옴표에 공백(' ')을 공백 없음('')으로 작성하여 문자열에 있는 모든 공백을 제거할 수 있습니다.

4) 왼쪽 공객 제거하기

- 특정 문자열에서 왼쪽에 위치한 공백을 제거하고자 하는 경우 lstrip 함수를 통해 제거가 가능합니다.

5) 오른쪽 공백 제거하기

- 특정 문자열에서 오른쪽에 위치한 공백을 제거하고자 하는 경우 rstrip 함수를 통해 제거가 가능합니다.

6) 양쪽 공백 제거하기

- 특정 문자열에서 양쪽 끝에 위치한 공백을 제거하고자 하는 경우 strip 함수를 통해 제거가 가능합니다.

7) 소문자를 대문자로 바꾸기(upper)

- 특정 문자열을 소문자에서 대문자로 바꾸고자 하는 경우 upper 라고 하는 함수를 통해 손쉽게 변경이 가능합니다.

8) 대문자를 소문자로 바꾸기(lower)

- 특정 문자열을 대문자에서 소문자로 바꾸고자 하는 경우 lower 라고 하는 함수를 통해 손쉽게 변경이 가능합니다.

[PostgreSQL] Vacuum 이란?

요체크다 — Thu, 24 Dec 2020 14:20:41 +0900

1. Vacuum 이란?

Vacuum은 DB의 오래된 영역을 재사용하거나 정리 해주는 프로세스입니다.

PostgreSQL에서 특정 Row를 업데이트 할 경우, 디스크 상의 해당 Row를 물리적으로 업데이트하여 사용하지 않고, 새로운 영역을 할당해 쓰게 됩니다.

즉, Update나 Delete 한다고 해서, 해당영역이 자동으로 재사용되거나 사라지지 않는다. 이러한, 오래된 영역을 재사용하거나 정리해주는 명령어가 Vacuum 입니다.

2. Vacuum 종류

1) Vacuum
- 삭제 된 데이터나 Update된 데이터의 이전 버전을 마킹 하여 그 공간을 다시 사용할 수 있게 해 주는 기본 Vacuum 입니다.

2) Vacuum Freeze
- 삭제 된 데이터만이 아니라 남아있는 데이터에 대해서도 XID를 2로 변경해 주어 앞으로 XID wrap around가 발생하더라도 문제가 없도록 해 줍니다.

3) Vacuum (prevent wrap around)
- XID Wrap around가 다가오는 상황에서 아직 freeze 되지 않은 데이터가 남아 있을 경우 강제로 vacuum freez를 시도 하는데 이 때 실행되는 vacuum 작업이 VACUUM (prevent wrap around) 입니다.

4) Vacuum Full
- 삭제된 데이터를 마킹만 하는게 아니라 아예 정상적인 데이터만으로 테이블을 새로 만들어서 빈공간까지 회수하는 작업, Table 전체에 Lock을 걸기 때문에 운영중에 실행하면 안됩니다.

5) Auto Vacuum
- 내부 알고리즘으로 필요에 따라 자동으로 실행되는 Vacuum 입니다.

- 기본적으로 실시간(주기적)으로 Vacuum 작업(ex, vacuum만 실행, vacuum full아님) 실시하며, autovacuum_freeze_max_age에 도달하면 강제로 Vacuum 작업(ex, vacuum freeze)을 실시하게 됩니다.

3. Vacuum 의 중요성

1) 변경 또는 삭제된 자료들이 차지하는 디스크 공간 재사용하기 위한 디스크 공간을 확보해 줍니다.

2) Postgresql 쿼리 실행 계획기가 사용할 통계 정보 갱신할 필요가 있어 자동적으로 갱신해 줍니다.
- 쿼리 실행 계획기는 쿼리의 좋은 실행 계획을 짜기 위해서 각 테이블에 저장된 자료를 바탕으로 수집된 통계 정보를 이용 됩니다.

3) index 전용 검색 성능을 향상하는데 이용하는 실자료(Visibility Map, vm) 정보를 갱신하는 작업을 해줍니다.

4) 트랜잭션 ID(XID) 겹침이나, 다중 트랜잭션 ID 겹침 상황으로 오래된 자료가 손실 될 가능성을 방지하여 줍니다.
- XID 겹침오류(wraparound)을 방지하기 위해서 주기적으로 Vacuum이 반드시 실행 되어야 하며, XID 겹침방지를 위해 Vacuum은 오래된 XID 값을 FrozenXID(XID 2)로 바꾸는 방식으로 XID 겹침 오류를 방지하게 됩니다. (vacuum_freeze_min_age 파라미터값에 도달하면 Vacuum이 해당 옛 XID를 FrozenXID로 변경한다.)
- 이렇게 오래된 XID 값을 "영구 보관용" 자료로 바꿔 놓으면, 트랜잭션 XID 비교 작업에서 항상 제외 되기 때문에, XID 겹침 오류를 피해갈 수 있게 되며, 결국 이 XID 변경 작업을 바로 Vacuum 명령으로 하게 됩니다.

4. Vacuum 명령어

1) 옵 션
가) 표준 Vacuum (옵션 없이 수행)
  - Vacuum 수행 중에도, SELECT, DML 작업이 가능 합니다.
  - 단순히 사용 가능한 공간을 Free Space Map에 반환되는 것이며, 실제 다스크 공간 확보 안됩니다.
나) Full
  - 디스크상의 여유공간이 확보됩니다. 하지만 시간이 오래 걸리며, 수행되는 테이블에 대한 exclusive Lock이 발생하게 됩니다.
  - 데이터베이스가 잠김(Lock)처리가 되므로 운영중인 데이터베이스에서는 Full 옵션으로 사용 금지.
다) Analyze
  - 통계 메타데이터를 업데이트하므로 쿼리 옵티마이저가 더 정확한 쿼리 계획을 생성할 수 있어 vacuum 명령어시 같이 실행하는 것이 좋습니다.

2) 명령어
가) DB 전체 풀 실행
#vacuum full analyze;

나) DB 전체 간단하게 실행
#vacuum verbose analyze;

다) 특정 테이블만 간단하게 실행
#vacuum analyse [테이블 명];

라) 특정 테이블만 풀 실행
#vacuum full [테이블명];

[Python] 파이썬 데이터 타입 (숫자)

요체크다 — Thu, 24 Dec 2020 13:16:54 +0900

파이썬에서는 제공해 주는 다양한 데이터 Type 중에서 첫번째로 숫자 Type에 대해 알아 보겠습니다.

기본적으로 파이썬에서 숫자값을 입력하게 되면, 자동으로 해당 값이 정수형인지 실수형인지 Type 을 구분해 주기 때문에 사용하기에 좀더 편리한 부분이 있습니다.

가장 많이 사용되는 숫자 Type의 종류는 아래와 같습니다.

1. int

- int는 정수형 입니다. (ex, 0, -1, -2, 1, 2 ...)

- 영어로 integer, 파이썬에서는 줄여서 int 라고 표현합니다.

- 기본적으로 int형인 경우 소수점을 제외(소수점 뒤는 버림)하고 정수형태의 값을 변환하여 출력 됩니다.

만약 실수형 값을 정수형으로 변환 한다고 하면 아래와 같이 소수점은 제외하고 출력이 되게 됩니다.

[ ex, 3.8 실수형을 정수형으로 변경시 3 으로 출력 ]

2. float

- float는 실수형 입니다. (ex, 0.1, -1.1, -2.2, 1.1, 2.2 ...)

- 영어로 floating-point, 파이썬에서는 줄여서 float 라고 표현합니다.

- float는 결국 소수점이 붙는 숫자를 처리하기 위해 사용됩니다.

결국 int(정수형)와 float(실수형)의 가장 큰 차이는 소수점이 있느냐 없느냐 차이입니다.

프로그램 코딩 시 숫자 처리하는 부분에 있어 위 2가지만 알고 있으면 ,기본적인 숫자 처리 부분은 크게 어려움이 없을 것으로 생각됩니다.

[Python] 파이썬 장단점

요체크다 — Thu, 24 Dec 2020 00:58:02 +0900

IT생활을 하는 대부분의 사람들이라면 파이썬 이라고 하는 언어에 대해 한번씩은 들어 보았을 것입니다.

그 유명하디 유명한 파이썬에 대해 간략히 살펴보고 넘어가도록 하겠습니다.

Python 인기 어느정도?

TIOBE Index 라고 하는 사이트는 프로그래밍 언어들에 대해 과거부터 현재까지 얼마나 인기 있었는지를 종합적으로 판단하여 순위를 선정하여 제공해 주는 곳입니다.

아래 정보는 2020년 기준 정보이며, 파이썬의 경우 3위에 랭크되어 있는 것을 확인할 수 있습니다.

해당 사이트에 따르면 파이썬의 인기가 어느정도인지 대략적으로 실감을 할 수 있는 부분입니다.

[ 출저 : TIOBE ]

자 그럼 이런 인기 있는 프로그래밍 언어인 파이썬이 도대체 어떤 장점이 있어 많은 사람들의 선택을 받아 이렇게 사용되고 있는지 장/단점에 대해 살펴 보도록 하겠습니다.

Python 장/단점

제가 개인적으로 사용해보고 느낀 부분들을 간략히 정리해보면,

1. 장 점

1) 다른 언어들(ex, C, C++, Java 등)에 비해 배우기 쉽다.

- 구문자체가 간결하여 초보자가 배우기에 쉬운 편입니다.

- 이런 부분 때문에 미국에서는 초등학생들에게 코딩 교육을 할때 파이썬을 많이 사용한다고 합니다.

2) 생산성이 뛰어나다.

- 배우기 쉽고 코드 자체가 간결하기 때문에 결과물이 다른 언어에 비해 빨리 나올 수 있습니다.

3) 다양한 라이브러리 및 다양한 예제가 많다.

- 많은 사람들이 사용하다보니 다양한 라이브러리가 제공되어 필요한 라이브러리를 손쉽게 다운받아 사용이 가능합니다.

- 그리고 다양하고 많은 예제들이 인터넷에 존재하기 때문에 필요한 예제 코드를 가져와 자기 입맛에 맞게 활용 가능합니다.

2. 단 점

1) 속도가 느리다.

- C와 C++은 소스코드를 기계어로 컴파일해서 실행파일을 만들어 실행하는 컴파일 언어라 속도가 빠른 편입니다.
파이썬의 경우에는 인터프리터 언어로서 코드를 한줄씩 읽어 내려가며 실행하는 언어라 컴파일 언어들에 비해 속도가 느립니다.

2) 취업이 어렵다.

- 개발자를 전문 직업으로 생각하고 있는 분인 경우 파이썬 하나만 마스터 한다고 해서 취업하기는 현재로서는 쉽지 않을 거라고 생각합니다.

아직 국내시장은 전통적인 언어(ex, C, C++, Java 등)를 주언어로 사용하고 있기 때문에 해당 언어를 사용할 수 있는 인재를 더 우선적으로 채용할 것이며, 파이썬의 경우 다른 언어들에 비해 배우기 쉬운 편이라 전문적인 개발자 분들은 금방 파이썬에 적응하여 필요한 결과물을 만들어 낼 수 있기 때문에 주언어를 파이썬으로 잡고 취업하기에는 조금 힘든 부분이 존재할 것으로 생각됩니다.