linux (ubuntu) 해킹 방어 (webserver, database 등)

개인 펫 프로젝트 용으로 AWS를 운영 중이라, 초기에 보안에는 크게 신경을 쓰지 않았는데

서버상태를 자세히 보니 여러 형태의 해킹흔적을 발견했다.

 

  1. Tomcat web-shell 악성코드 deploy

    Tomcat admin site를 편의상 사용 중이 었는데, admin 계정의 password가 허술했던게 원인으로 보인다.
    해당 web-shell project들을 삭제하고 admin 계정의password의 복잡도를 올려 변경하였다.


  2. Database(MYSQL) 서버 접속 흔적 (mysql, error.log)

    web-shell을 통해 취득한 db접속정보를 이용해 원격접속을 계속해서 시도한 흔적이 발견되었다.  mysql user host 접속 제한으로 denied 된 것으로 보이나,
    추가 적으로 접속가능 host를 제한하여 user 정보를 변경하였다.


  3. 접속자 IP정보 조회 및 IP차단 (linux – iptables)

    접속흔적이 남은 ip를 whois에서 searching 해보았다.  역시 나 중국으로 예상된다.

    iptables를 이용해 해당 ip를 차단 처리 하였다.

     

AWS EC2 [t2.micro (무료)]에서의 Memory 관리

AWS의 무료 Instance (EC2, T2.micro)에 blog, mysql, webServer(tomcat) 등을 운영하려 하니

Memory Size가 1GB 밖에 되지 않아 메모리 문제가 발생한다. (cannot allocate memory)

 

  1. linux swap 할당 (기본적으로 AWS의 경우 swap이 할당되지 않은 상태로 instance가 생성된다.)

    > swap 할당 (2GB)

    > 할당 상태 확인

     

  2. MYSQL (innodb buffer size 조정)

    > /etc/mysql/my.cnf    (or)  /etc/mysql/mysql.conf.d/mysqld.cnf

    > MYSQL 재시작 후 적용 확인 (/var/log/mysql/error.log)

     

SpringBoot – Ehcache 사용

※ 사전지식

  • JSR : (Java Specification Requests) 사양 및 기술적 변경에 대한 정식 제안 문서.  개인 및 조직은 JCP (Java Community Process)의 회원이 될 수 있으며 JSR에 언급 된 스펙에 따라 코드를 개발할 수 있다.   개발 된 기술적 변화는 JCP 회원들의 검토를 거쳐 승인된다.
    .
  • JSR-107 : (JCACHE – Java Temporary Caching API) 객체 생성, 공유 액세스, 스풀링, 무효화 및 JVM 전반에 걸친 일관성을 포함하여 Java 객체의 메모리 캐싱에서 사용할 API 에 대한 기준으로 볼 수 있다.    해당 Spec 으로 구현된 cache로는 EhCache가 유명하며, Hazelcast, Infinispan, Couchbase, Redis, Caffeine 등도 해당 기준을 따르는 것으로 알려져 있다.

 

> Cache의 활용

지금까지 경험했던 Site (주로 중대형 금융사)에서는 Cache의 활용이 거의 없었다.   (계정계)라는 꽤나 변화하기 Cache도입이 쉽지 않은 (구)환경(Pro C, Mainframe (Cobol 등))의 원인도 있겠지만, Java Framework(Spring, Struts)을 이미 꽤 오래전에 도입한 중형 금융사들의 환경도 마찬가지 였다.   물론 Data변화가 잦은 Business 특성에는 맞지 않을 수 있지만, 그 가운데도 Cache를 도입할 요소는 분명  많이 있다고 생각된다.  (예 : 코드 및 기준정보와 같은 Access가 잦으나 자주 Update되지 않는)
특히 공통으로 사용하는 코드정보는, 그 규모가 대형이 아닌 중형 금융사임에도 불구하고 하루 동안 Database Access (Select) 횟수가 10만회를 넘어 섰다.  이러한 경우 Database의 Cache가 분명 활용되었겠으나 Database의 Cache 및 리소스 활용을 더 중요한일에 할 수 없었던 아쉬운 경우가 아닌가 생각된다.

 

> SpringBoot에서의  Cache

기본적으로 (JSR-107) 에 따르는 Cache들을 지원한다.   또한 Spring은 각 Cache API들의 기술 및 변화에 관계 없이 일관된 사용을 위해 추상화를 지원한다(CacheManager) .  Auto Detect 기능으로 인해 EhCache나 Redis등 별도 Cache library가 추가되면 해당 라이브러리를 자동적으로 이용하게 된다.

 

> Dependency 추가 (Maven)

SpringBoot Cache 및 사용할 Ehcache를 추가한다.

 

> Ehcache config (XML) 파일 생성 (ehcache.xml)

> name : 캐시 이름 지정
> maxEntriesLocalHeap: 메모리에 생성될 Entry Max값  (0=제한없음)
> maxEntriesLocalDisk: 디스크(DiskStore)에 저장될 Entry Max값 (0=제한없음)
> eternal: 영구 Cache 사용 여부 (true 인경우 timeToIdleSeconds, timeToLiveSeconds 설정은 무시된다.)
> timeToIdleSeconds: 해당 시간 동안 캐쉬가 사용되지 않으면 삭제. (0=삭제되지 않는다)
> timeToLiveSeconds: 해당 시간이 지나면 캐쉬는 삭제된다. (0=삭제되지 않는다)
> diskExpiryThreadIntervalSeconds: DiskStore 캐시 정리 작업 실행 간격 (Default=120초)
> diskSpoolBufferSizeMB: 스풀버퍼에 대한 DiskStore 크기 설정
> clearOnFlush: flush() 메서드 호출 시점에 메모리(MemoryStore) 삭제 여부. (Default=true)
> memoryStoreEvictionPolicy : maxEntriesLocalHeap 설정 값에 도달했을때 설정된 정책에 따라객체가 제거되고 새로 추가된다.
> logging: 로깅 사용 여부를 설정한다.
> maxEntriesInCache: Terracotta의 분산캐시에만 사용가능하며, 클러스터에 저장 할 수 있는 최대 엔트리 수를 설정한다. 0은 제한이 없다. 캐시가 작동하는 동안에 속성을 수정할 수 있다.
> overflowToOffHeap: 이 설정은 Ehcache 엔터프라이즈 버전에서 사용할 수 있다. true 로 설정하며 성능을 향상시킬 수 있는 Off-heap 메모리 스토리지를 활용하여 캐시를 사용할 수 있다. Off-heap 메모리 자바의 GC에 영향을 주지않는 다. (Default=false)
(참고사이트 : http://www.ehcache.org/ehcache.xml)

 

> SpringBoot Property 파일 수정 (application.properties)

 

> Cache Enable (@EnableCaching 어노테이션 추가)

※ 만약 추가된 별도 Cache (Ehcache)가 없을 경우 Cache Enable되면 ConcurrentMap 이용하는 방식으로 Cache가 Enable 된다.

 

> 어노테이션을 통한 Cache 사용

  1. @Cacheable

    메서드를 기준으로 수행되며, 2가지의 캐쉬기능이 동작한다.  1. 해당 메서드의 Argument, 혹은 그 중 일부를 key로 취하여 캐쉬에 해당 Key가 존재할 경우 메서드는 수행되지 않고 캐쉬 값을 바로 return 값으로 반환 한다.   2. 또한 캐쉬에 해당 값이 존재 하지 않아 메서드가 수행될 경우 Key와 수행결과 (return 값)을 캐쉬에 저장한다.

    – 어노테이션 Parameter

    > cacheNames, value : 사용할 Cache 명을 지정한다.  cache설정 파일(ehcache.xml)에서 생성해준 Cache 명을 지정한다. 배열 형식({A, B, C}) 등으로 명시하여 여러개의 Cache에 적용토록 사용할 수도 있다.

    > key : cache key로 사용할 key를 명시적으로 지정한다.  해당 메서드의 Argument 중 일부를 지정할 수도 있고, keyGenerator를 사용하도록 지정할 수도 있다.  혹은 문자열의 조합을 사용하도록 지정도 가능하다.

    > condition : true나 false가 되는 SpEL 표현식을 받는 conditional 파라미터로 캐시수행 여부를 결정하는 조건을 지정할 수 있다.
    (예: condition=”#name.length < 32″)

    unless  : SpEL표현식, 값이 true이면 반환 값이 캐시에 남지 않게 된다.

    > 어노테이션의 Parameter명 지정 없이 @Cacheable(“cacheNM”) 와 같이 사용할 경우 cacheNames와 같다.

    > Key가 지정되지 않은 상태로 해당 어노테이션이 사용될 경우 메서드가 단일 Argument일 경우 자동으로 해당 값을 취하며, 여러개의 Argument가 존재할 경우 SimpleKey의 형태로 자동으로 복합키를 생성하여 취하도록 수행된다.

  2. @CacheEvict

    저장된 캐쉬를 제거한다.  @Cacheable와는 달리 @CacheEvict 어노테이션은 캐시를 제거(eviction)하는 메서드를 구분하는데 즉, 캐시에서 데이터를 제거하는 트리거로 동작하는 메서드다. 다른 캐시 어노테이션과 마찬가지로 @CacheEvict는 동작할 때 영향을 끼치는 하나 이상의 캐시를 지정해야 한다.

    – 어노테이션 Parameter

    > cacheNames, value, key, condition : @Cacheable 과 동일

    > allEntries : @CacheEvict에서 키나 조건을 지정해야 할 수 있지만 딱 하나의 엔트리(키에 기반을 둔)가 아니라 제거를 할 캐시의 범위를 나타내는 allEntries 파라미터를 추가로 사용할 수 있다. 해당 값을 true로 할 경우 해당 CacheName에 해당하는 모든 캐쉬를 비운다.

    > beforeInvocation : 메서드 실행 이후(기본값)나 이전에 제거를 해야 하는 지를 지정할 수도 있다. false 일 경우 메서드가 실행되지 않거나(캐시 되어서) 예외가 던져지면 제거가 실행되지 않는다.   true로 지정할 경우 메서드 정상 수행 여부와 관계 없이 항상 캐쉬 제거가 수행된다.

  3. @CachePut

    메서드를 수행 후 Return 값을 캐쉬에 저장한다.  @Cacheable과의 차이는 캐싱값을 취하는 (메서드가 수행되지 않는) 방법이 아닌 메서드 수행 후 항상 캐쉬값을 저장 하도록 한다는 것이다.

    – 어노테이션 Parameter : @Cacheable 과 동일

  4. @Caching

    @CacheEvict나 @CachePut처럼 같은 계열의 어노테이션을 여러 개 지정해야 하는 경우가 있는데 예를 들어 조건이나 키 표현식이 캐시에 따라 다른 경우이다. 안타깝게도 자바는 이러한 선언을 지원하지 않지만 감싸진(enclosing) 어노테이션을 사용해서(이 경우에는 @Caching) 우회할 수 있다. @Caching에서 중첩된 @Cacheable, @CachePut, @CacheEvict를 같은 메서드에 다수 사용할 수 있다.

 

> ehCacheManager를 통한 Cache 사용

자동 Detecting 되어 생성된 Bean – EhCacheCacheManager (혹은 CacheManager)를 주입 받아 해당 Cache를 수동으로 생성 혹은 삭제할 수도 있다.  어노테이션에 의한 방법의 경우 캐쉬값의 생성에 있어서는 최초에 한번 put 해주는 작업이 필요하며 key가 low 레벨일 경우 번거로움을 수반한다.   (예 : Batch 혹은 Bean Construct 후 Cache 값 셋팅 등)

아래의 코드와 같이 현재 생성된 Cache값을 모두 Print 해볼수도 있다.

 

MYSQL 컬럼 Default 설정 (DATETIME)

> Datetime type의 컬럼 Create 문에 아래와 같이 사용함으로 Default 값을 설정할 수 있다. (현재 timestamp)

 

> DEFAULT CURRENT_TIMESTAMP

현재 Timestamp 값을 Insert 시점에 기본값으로 Set 한다.

 

> ON UPDATE CURRENT_TIMESTAMP

해당 row가 Update될 경우 자동으로 해당 시점의 Timestamp 값으로 set 된다.

 

> 기타

  1. 2가지를 병행 기재 함으로 Insert / Update 될 경우 자동 설정을 모두 취할 수 있다.
  2. 단, Java – Hibernate 와 같은 ORM 과 함께 사용할 경우 Entity Class에 @DynamicInsert, @DynamicUpdate  와 같은 어노테이션을 사용하여, Default를 자동 Set하기 원하는 컬럼이 DML에 포함되지 않도록 한다. (DML에 포함될 경우 NULL로 INSERT/UPDATE 될 수 있다.)

 

참조:
http://dev.mysql.com/doc/refman/5.7/en/timestamp-initialization.html
http://optimize-this.blogspot.com/2012/04/datetime-default-now-finally-available.html

JPA-entity 복합PK 맵핑 (@EmbeddedId, @IdClass)

먼저 기본 entity Class 외에 복합 기본키를 표현하기 위한 PK Class를 정의해야 한다.

그리고 PK Class는 아래의 조건을 만족해야한다.

  1. PK Class는 public이어야하고 public no-arg 생성자.
  2. property-based 접근이 사용될 경우, 해당 properties도 public or protected.
  3. implements <Serializable>
  4. equals 및 hashCode 메소드를 정의, 구현 해야한다.  해당 메소드의 결과는 Database의 동일성 Check 결과와 같아야 한다.
  5. 복합 기본 키는 (@EmbeddedId, @IdClass) 어노테이션으로 표현한다.

 

> PK Class를 생성

 

> Entity Class에서의 사용

@EmbeddedId

 

@IdClass

 

> 차이점

  1. 물리적 모델 관점에서 차이점은 없음
  2. @EmbeddedId는 결합 된 pk가 의미있는 엔티티 자체이거나 코드에서 재사용 될 때 의미가 있음을보다 분명하게 전달한다.
  3. @IdClass는 필드의 일부 조합이 고유하지만 특별한 의미가 없을 경우 유용

 

> 기타

  1. IDE(Eclipse)에서 JPA  – Facet 을 통해 Entity Class를 자동 생성 할 경우 @EmbeddedId 를 사용하는 방식으로 PK Class까지 자동 생성된다.
  2. JSON 등 기타 Mapping 이 필요하거나 Table과 비교 등 직관적으로 잘 인지 할 수 있는건 @IdClass 로 생각된다.

MYSQL 원격 접속 허용 (linux)

> 오류 내용

Host ‘<ip address>’ is not allowed to connect to this MySQL server

 

> 확인 <user table>   (※ 아래와 같을 경우 localhost외의 접근이 불가능하다.)

 

> 수정 <user table에 허용 가능 host를 insert 한다>

모든 IP 허용

 

> BIND-ADRESS 변경

/etc/mysql/my.cnf    (or)  /etc/mysql/mysql.conf.d/mysqld.cnf

아래 line을 주석처리 하거나 (0.0.0.0) 으로 변경

 

> MYSQL 재시작

 

MYSQL 기본 명령어

기본 명령어

 

> 접속 (on terminal)

mysql -u <username> -p <password> <dbname>
-u : 사용할 username 지정을 위한 option
-p : 사용할 password 지정을 위한 param, 만약 password 미입력시 prompt로 입력 가능하다.
본 option을 입력하지 않을 경우 user별 로그인 권한에 따라 로그인이 접속이 제한된다.

 

>  비밀번호변경

1. mysql> UPDATE user SET password=password(‘새비밀번호’) WHERE user=’root’;
mysql> FLUSH PRIVILEGES;

2. mysql> SET PASSWORD FOR root=password(‘새비밀번호’);

 

> 유저 생성

1. 특정 Database에 대한 권한부여와 함께 유저를 생성한다.
mysql> GRANT ALL PRIVILEGES ON <dbname>.* TO <username>@’%’ IDENTIFIED BY ‘<password>’;

 

> Database 생성/조회/사용/삭제

1. 생성 – mysql> CREATE DATABASE <dbname>;

2. 조회 – mysql> SHOW DATABASES;

3. 사용 – mysql> USE <dbname>;

4. 삭제 – mysql> DROP DATABASE [IF EXISTS] <dbname>;

 

AWS instance (ubuntu) – 표준 시간

AWS – instance (ubuntu) 생성 후 시간을 확인하니, UTC로 표시되어 진다.

KST로 변경을 위해 아래와 같이 변경처리

 

현재설정 확인

 

가능한 timezone  리스트 확인

 

timezone 설정변경

 

UTC (협정 세계시) – 영국 그리니치 천문대(경도 0)를 기준으로 하는 세계의 표준시간대로서, 동경 135도를 표준시로 하는 우리나라보다는 9시간이 느림)

KST (한국 표준시)

linux (ubuntu) – 사용자(user) 관련 (생성/삭제/권한 등)

1 . adduser  : 계정생성시 비밀번호 까지 입력받으며 기본정보를 바로 입력.  홈 디렉토리 또한 자동으로 생성.

 

2. useradd  : 순수계정만 생성되며 홈디렉토리, 비밀번호 설정은 별도로 필요.

3. usermod  : 계정의 Group, 홈디렉토리 등을 핸들링.

 

usermod -aG sudo