[정보처리기사] 데이터 전환 ,데이터 검증 , 오류 데이터 측정 및 정제, 스키마, DBMS

[정보처리기사] 

[정보처리기사] 데이터 전환

 

[정보처리기사] 데이터 전환
기존 정보 시스템에 축적되어
데이터를 추출하여
새로운 개발할 정보 시스템에서
운영할 수있도록 
변환,적재하는 일련의 과정을 말한다.

ETL
(Extraction, transformation, Load)
변환 추출 적재 과정을 이라고한다.

데이터 이행, 데이터 이관

 

[정보처리기사] 데이터 검증

 

[정보처리기사] 데이터 검증

원천 시스템의 데이터를 목적 시스템의 데이터 전환하는
과정이 정상적으로
수행 되었는지 여부를 확인하는 과정


로그 검증(Log Validation):
데이터 전환 과정에서 생성된 로그를 검증하여 오류 또는 예외 상황을 확인합니다.
로그를 분석하여 데이터 전환 과정에서 발생한 문제를 파악하고 해결합니다.

기본 항목 검증(Field Validation):
데이터 필드의 형식, 길이, 범위 등을 확인하여 유효성을 검증합니다.
예를 들어, 숫자 필드는 숫자로 구성되어야 하고, 날짜 필드는 올바른 날짜 형식을 가져야 합니다.

응용 프로그램 검증(Application Validation):
데이터 전환에 사용되는 응용 프로그램의 동작을 검증합니다.
응용 프로그램이 정확하게 데이터를 추출, 변환, 로드하는지 확인합니다.

응용 데이터 검증(Application Data Validation):
전환된 데이터가 목적 시스템에서 예상한 형식과 구조로 저장되었는지 확인합니다.
데이터의 일관성, 중복, 누락 등을 검증하여 데이터 품질을 보장합니다.

값 검증(Value Validation):
데이터의 값이 예상된 범위 또는 규칙을 따르는지 확인합니다.
예를 들어, 나이 필드는 음수가 될 수 없고, 금액 필드는 음수가 아니어야 합니다.


추출(Extraction):
데이터 전환의 첫 번째 단계는 원본 시스템에서 데이터를 추출하는 것입니다.
추출된 데이터는 일반적으로 CSV, Excel, XML, JSON 등의 형식으로 저장됩니다.
추출된 데이터는 전환 단계에서 사용됩니다.

전환(Transformation):
추출된 데이터를 목적 시스템에서 사용할 수 있는 형식으로 변환하는 단계입니다.
전환 단계에서는 데이터를 필터링, 정렬, 그룹화, 계산 등의 작업을 수행합니다.
전환된 데이터는 DB 적재 단계에서 사용됩니다.

DB 적재(Database Loading):
전환된 데이터를 목적 시스템의 데이터베이스에 적재하는 단계입니다.
DB 적재 단계에서는 데이터베이스 스키마를 생성하고, 데이터를 적재합니다.
데이터 적재 후에는 데이터베이스 인덱스를 생성하고, 데이터베이스 무결성 제약 조건을 설정합니다.

DB 적재 후 전환 완료:
DB 적재 후, 전환된 데이터가 목적 시스템에서 정상적으로 작동하는지 확인하는 단계입니다.
데이터 전환 과정에서 발생한 오류를 수정하고, 데이터의 일관성과 정확성을 보장합니다.
전환 완료 후에는 데이터 전환 프로세스가 종료됩니다.

 

[정보처리기사] 오류 데이터 측정 및 정제

 

[정보처리기사] 오류 데이터 측정 및 정제

고품질의 데이터를 운영및 관리하기 위해 수행함
데이터품질 분석-> 오류데이터 측정-> 오류데이터 정제
순으로 함

데이터 품질 분석:
데이터 품질 분석은 데이터의 정확성, 일관성, 유효성, 완전성, 중복성 등을 평가하는 과정입니다.
데이터 품질 분석을 통해 데이터의 문제점을 파악하고, 개선할 수 있는 방안을 도출합니다.
데이터 품질 분석은 데이터의 출처, 형식, 구조, 내용 등을 검토하여 수행됩니다.
오류 데이터 측정:
오류 데이터 측정은 데이터 품질 분석을 통해 파악된 문제점을 해결하기 위해 수행되는 과정입니다.
오류 데이터 측정은 데이터의 정합성, 일관성, 유효성, 완전성, 중복성 등을 검증하여 오류 데이터를 식별합니다.
오류 데이터 측정은 데이터의 출처, 형식, 구조, 내용 등을 검토하여 수행됩니다.
오류 데이터 정제:
오류 데이터 정제는 오류 데이터를 식별하고, 이를 수정 또는 삭제하여 데이터의 품질을 개선하는 과정입니다.
오류 데이터 정제는 데이터의 정합성, 일관성, 유효성, 완전성, 중복성 등을 보장하도록 데이터를 수정합니다.
오류 데이터 정제는 데이터의 출처, 형식, 구조, 내용 등을 검토하여 수행됩니다.

 

[정보처리기사] 데이터베이스 

 

[정보처리기사] 데이터베이스 

여러 사랄들에 의해서
공동으로 사용될데이터를 중복으로 배제하여
통합하고

저장장치르에 저장하여 항상 사용할수있도록
운영하는 운영데이터

 

통합 데이터(Integrated Data):
데이터베이스는 여러 개의 파일이 아닌 하나의 통합된 데이터베이스로 구성됩니다.
이러한 통합 데이터는 중복을 배제하여 데이터의 일관성과 정확성을 보장합니다.

 

저장된 데이터(Stored Data):
데이터베이스는 디스크나 테이프와 같은 저장장치에 저장됩니다.
저장된 데이터는 필요할 때마다 검색, 수정, 삭제, 추가 등의 작업을 수행할 수 있습니다.

 

운영 데이터(Operational Data):
데이터베이스는 조직의 운영에 필요한 데이터를 저장하고 관리합니다.
운영 데이터는 일상적인 업무 처리에 사용되며, 예를 들어, 고객 정보, 주문 정보, 재고 정보 등이 있습니다.

 

공용 데이터(Shared Data):
데이터베이스는 여러 사용자가 동시에 접근하여 사용할 수 있습니다.
이러한 공용 데이터는 데이터의 일관성과 정확성을 보장하면서, 다수의 사용자가 동시에 접근하여 사용할 수 있습니다.

 

[정보처리기사] DBMS

 

[정보처리기사] DBMS
데이터베이스 관리 시스템

사용자의 요구에 따라 정보를 생성해주고
데이터베이스를 관리 해주는소프트 웨어
기존의 파일을 시스템이 갖는
데이터 종속성과
중복성의 문제를 해결하기 위해
제안된시스템

DBMS의 주요 기능은 다음과 같습니다:

 

정의 기능(Definition): 이 기능은 데이터베이스의 구조를 정의하거나 수정하는 데 사용됩니다. 예를 들어, 어떤 데이터 필드가 어떤 데이터 타입을 가질 것인지, 어떤 필드가 기본 키가 될 것인지 등을 정의합니다.

 

조작 기능(Manipulation): 이 기능은 데이터베이스에 저장된 데이터를 조작하거나 처리하는 데 사용됩니다. 데이터를 검색, 삽입, 수정, 삭제하는 등의 작업을 수행합니다.

 

제어 기능(Control): 이 기능은 데이터베이스의 무결성, 보안, 병행 제어 등을 관리합니다. 무결성은 데이터의 정확성과 일관성을 보장하는 것을 의미하며, 보안은 데이터베이스를 접근하거나 조작하는 것을 허가된 사용자만 가능하게 하는 것을 의미합니다. 병행 제어는 여러 사용자가 동시에 데이터베이스를 사용할 때 발생할 수 있는 문제를 관리하는 것을 의미합니다.

 

DBMS 

제 , 정, 조

 

제 정을 조라

 

DMC

Definition, Manipulation ,Control

 

제어, 정의, 조작 기능이 있다.

 

[정보처리기사]스키마

 

[정보처리기사]스키마

외부 스키마, 각 개인의 입장에서 필요로 하는 
데이터베이스구조

개념 스키마, 전체적인 논리구조

내부 스키마, 물리적 저장 장치의입장

스키마는 사람들을 말하는것이다.

 

스키마는 왜 4개냐?
스키마는 외내개 냐?
스키마 외부, 내부,개념 스키마있다.

스키마의 간략한 서술
구조, 제약조건에 대한 명세를 하는 기술 메타데이터
라고 한다.

---