UPDATED: CVE-MITRE Source code updated

Author: Ruskonert

.gitignore

@@ -0,0 +1,123 @@
+# Intelij
+.idea/
+*.txt
+
+# MAC OS X
+.DS_Store
+
+# temp file
+*.html
+*.dump
+*.json
+*.xml
+*.csv
+*.zip
+*.sql
+
+# Visual stduio code
+.vscode/
+
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+.hypothesis/
+.pytest_cache/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# pyenv
+.python-version
+
+# celery beat schedule file
+celerybeat-schedule
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/

README.md

@@ -0,0 +1,70 @@
+# cve-mysql-python
+CVE 데이터베이스 구축을 위한 프로그램입니다. MySQL 기반으로 작동합니다.
+
+# Function
+해당 통합 플랫폼은 NVD-NIST, CVE-MITRE, ICS-CERT로부터 CVE 리스트들을 읽어들여 데이터베이스로 구축하여 필요한 데이터만을 로드하고 추출하는 데 도움을 줄 수 있습니다.
+이것은 다음과 같은 기능을 포함하고 있습니다.
+
+- SQL Database, CSV 파일 추출 지원
+- CVE, CPE, Vendor등 데이터베이스 기본 요소 자동 탐색
+
+# Installation
+귀하의 컴퓨터에 MySQL 데이터베이스에 접근할 수 있는 클라이언트가 요구됩니다.<br>
+Python Framework을 기반으로 작동하므로, Python 3 이상의 인터프리터를 요구하며, 해당 모듈을 실행하려면 다음과 같은 명령어가 권장됩니다:<br>
+```
+git clone https://github.com/ruskonert/cve-mysql-python.git
+cd cve-mysql-python
+pip install -r requirements.txt
+```
+만약 파이썬 인터프리터가 없다면, 아래의 링크를 통해 Released된 실행 가능한 최신 파일을 다운로드하여 사용하십시오.<br>
+https://github.com/Ruskonert/cve-mysql-python/releases
+
+
+# Command
+해당 모듈을 사용하기 전 정의된 명령어는 다음과 같습니다.
+```
+python cvemysql.py [-u user] [-p password] [-y year] [output_name] [--cofigurations]...
+```
+
+## Requirement argument
+`[-y year]` CVE 리스트 연도를 설정합니다. `2010-2018` 처럼 특정 연도를 지정하는 것도 가능합니다.<br>
+단, `content`가 `mitre`라면 해당 인자 값은 무시합니다.
+
+## Option argument
+`[-u user]` MySQL 서버에 연결할 유저명을 입력합니다. 지정하지 않으면 기본값은 `root`입니다.<br>
+`[-p password]` MySQL 서버에 연결할 유저 비밀번호를 입력합니다. 지정하지 않으면 콘솔에서 입력받습니다.<br>
+`[-i ip]` MySQL 서버에 연결하기 위한 IP 주소를 지정합니다. 지정하지 않으면 기본값은 `127.0.0.1`입니다.<br>
+`[-port]` MySQL 서버에 연결하기 위한 포트를 지정합니다. 지정하지 않으면 기본값은 `3309`입니다.<br>
+`[-d dbname]` 생성할 데이터베이스의 이름을 미리 설정합니다. 기본값은 `NVD_NIST`입니다.<br>
+`[-t tablename]` 테이블 이름을 미리 설정합니다. 기본값은 `NVD_NIST_TABLE`입니다.<br>
+`[-c content]` 리스트 컨텐츠을 선택합니다. 현재는 해당 인자를 사용하지 않아도 자동으로 `NVD_NIST`로 기본 설정되어 있습니다.<br> Available type - nvd, mitre<br>
+
+`[-tc thread_count]`  멀티쓰레드 갯수를 설정합니다. 기본값은 `4`입니다. 해당 값을 건드리는 것은 추천하지 않습니다.
+
+`[output_file]` 출력 타입 지정시, 추출될 파일명을 지정합니다. 출력 파일의 이름을 지정하는 것을 강력히 권장합니다. 확장자는 기재하지 않아도 되며, 만약 압축 확장자(.zip)가 붙어있다면, 추출된 파일들을 전부 압축하여 `zip` 파일로 만들어줍니다.<br>
+
+
+## Configuration argument
+`[--year-all]` 모든 연도를 지정합니다. (NVD-NIST 전용)<br>
+`[--db]` 데이터베이스 파일로 추출합니다. MySQL 기반에서는 SQL 파일이 기본 확장자입니다.<br>
+`[--csv]` 데이터베이스에 있는 데이터 값들을 CSV 파일로 추출합니다.<br>
+`[--setup-install]` 처음 실행할 때 모듈이 정상적으로 작동할 수 있도록 합니다. DEPRECATED.<br>
+
+<b>현재, ICS-CERT 타입은 지원하지 않아 `-type` 이나 `--all` 옵션 인자값을 사용해도 NVD-NIST 타입 1개만 사용됩니다.</b><br>
+## Example
+아래는 해당 플랫폼을 사용하기 위해 입력하는 명령어의 예시들을 나열한 것입니다. 프로그램을 실행시킬 때 참조하시기 바랍니다.<br>
+예를 들어 특정 년도의 NVD-NIST CVE 리스트를 모두 가져와서 데이터베이스만 만들려면 다음과 같이 하십시오:
+```
+python cvemysql.py -year <year>
+```
+
+2003년부터 2008년까지의 NVD-NIST CVE 리스트를 데이터베이스에 담고 CSV 파일과 DB로 추출하고 싶다면 다음과 같이 하십시오:
+```
+python cvemysql.py -u <name> -p <password> -year 2003-2008 --db --csv "my-cve-list-export"
+```
+
+모든 년도의 NVD-NIST 리스트를 데이터베이스에 담고 CSV 파일과 DB로 추출한 후, 파일이름이 `my-cve-list-export` 인  `zip`파일로 압축하고 싶다면 다음과 같이 하십시오.
+단, 이 경우에는 시간이 오래 걸릴 수 있으며, 용량이 매우 클 수 있습니다:
+```
+python cvemysql.py -u <name> -p <password> --year-all --db --csv "my-cve-list-export.zip"
+```

cve.py

@@ -0,0 +1,34 @@
+# -*- coding: utf-8 -*-
+import abc
+from database import *
+
+class TypeInstanceException(Exception):
+    def __init__(self, *args, **kwargs):
+        super().__init__(args, kwargs)
+
+class CVEDatabase(MySqlBase):
+    def __init__(self, db):
+        if isinstance(db, MySqlBase):
+            self.conn = db.conn
+            self.database = db.database
+            self.user = db.user
+            self.port = db.port
+            self.host = db.host
+            self.password = db.password
+            self.cur = db.cur
+            if self.database is not None:
+                self.use_database(self.database)
+        else:
+            raise TypeInstanceException("The variable 'db' is not instance of MySqlBase")
+
+    def default_table_column(self):
+        raise NotImplementedError("You should override this method to use.")
+
+    def insert(self, obj):
+        raise NotImplementedError("You should override this method to use.")
+
+    def load(self, obj):
+        raise NotImplementedError("You should override this method to use.")
+    
+    def table_insert(self, tablename, jsonCollection):
+        raise NotImplementedError("You should override this method to use.")

cvemitre.py

@@ -0,0 +1,127 @@
+import csv
+import re
+import xml.etree.ElementTree as ET
+from database import *
+from cve import CVEDatabase
+
+execption_list = {}
+
+class Cvemitre(CVEDatabase):
+    def __init__(self, mysql_base):
+        super().__init__(mysql_base)
+    
+    def default_table_column(self):
+        a1 = TableColumn("_number", "INT PRIMARY KEY AUTO_INCREMENT")
+        a2 = TableColumn("cve_year", "VARCHAR(5)")
+        a3 = TableColumn("name", "VARCHAR(24)")
+        a4 = TableColumn("status", "VARCHAR(12)")
+        a5 = TableColumn("description", "TEXT")
+        a6 = TableColumn("reference", "TEXT")
+        a9 = TableColumn("phase", "VARCHAR(32)")
+        a7 = TableColumn("vote", "TEXT")
+        a8 = TableColumn("comment", "TEXT")
+        return tuple(vars().values())
+
+    def load(self, obj):
+        self.connect()
+        if isinstance(obj, dict):
+            year = obj.get('year')
+            raw_type = obj.get('specific_type')
+        else:
+            raise TypeError("The variable 'obj' must be dict, not {t}".format(t=type(obj).__str__()))
+        
+        url = "https://cve.mitre.org/data/downloads/"
+
+        if raw_type is None:
+            raw_type = "csv"
+        raw_file = "allitems.{ft}".format(ft=raw_type)
+        is_exist = False
+        
+        if os.path.exists(raw_file):
+            if raw_type == "xml":
+                if util.vaildxml(raw_file):
+                    print("The resource file already exist, continue without the download")
+                    is_exist = True
+                else:
+                    os.remove(raw_file)
+            elif raw_type == "csv":
+                if util.vaildcsv(raw_file):
+                    print("The resource file already exist, continue without the download")
+                    is_exist = True
+                else:
+                    os.remove(raw_file)
+        if not is_exist:
+            target_url = url + raw_file
+            print("Downloading the resource file ...")
+            util.downloadfrom(target_url)
+
+        collection = []
+        if raw_type == "xml":
+            readTo = ET.parse(raw_file).getroot()
+        else:
+            with open(raw_file, 'r', newline='', encoding='ISO-8859-1') as fs:
+                    readTo = csv.reader(fs)
+                    for line in readTo:
+                        try:
+                            name : str = line[0]
+                            if not name.startswith("CVE-"):
+                                continue
+                            status = line[1]
+                            description = line[2]
+                            reference = line[3]
+                            phase = line[4]
+                            vote = line[5]
+                            comment = line[6]
+                            collection.append((name,status,description,reference,phase,vote,comment))
+                        except UnicodeDecodeError as e:
+                            print("오류: 해당 CSV를 객체화할 수 없었습니다 -> {cve} | Reason: {reason}".format(cve=name, reason=e)) 
+        return raw_file, collection
+
+    def table_insert(self, tablename, collection):
+        for line in collection:
+            line = list(line)
+            name = line[0]
+            p = re.compile(r'CVE-(\d{4})-.+$')
+            cve_year = str(p.match(name).group(1))
+
+            status = line[1]
+            description = line[2]
+            reference = line[3]
+            phase = line[4]
+            vote = line[5]
+            comment = line[6]
+
+            ex = None
+            query_argument = None
+            query_format = None
+            query_argument = None
+            query_header = None
+            variable_name = None
+
+            v = dict(vars())
+
+            query_header = "("
+            query_format = "("
+            query_argument = []
+            # automatic insert value
+            for variable_name in v.keys():
+                if isinstance(v[variable_name], str) and not variable_name == "tablename":
+                    query_header += variable_name + ','
+                    query_format += "%s,"
+                    query_argument.append(v[variable_name])
+            query_header = query_header[:-1]
+            query_header += ")"
+            query_format = query_format[:-1]
+            query_format += ")"
+            self.send_query("INSERT INTO {table_name} {header} VALUES {format}".format(table_name=tablename, header=query_header, format=query_format), tuple(query_argument), False, execption_list)
+            if len(execption_list) != 0:
+                current_key = list(execption_list.keys())
+                for ex in current_key:
+                    print("\n실패: Column에 값을 넣을 수 없습니다. -> {cve} | Reason: {r}".format(cve=name, r=ex))
+                execption_list.clear()
+
+    def insert(self, obj):
+        raise NotImplementedError("No need to execute")
+
+    def export(self, export_path_name="unspecified", export_type='sql', tablename="Unknown_table", option=None, charset='utf-8'):
+        return super().export(export_path_name, export_type, tablename, option, "ISO-8859-1")