EMR 기반 질환 예측 모델 개발

# 주요 기술 구성
Data Processing      : SQL, Python, Pandas, NumPy, re (정규표현식)
ML/Statistics        : Scikit-learn, XGBoost, 통계분석, Feature Selection
Model Interpretation : SHAP, Feature Importance
Automation           : Python ETL Pipeline, GridSearch

# 실제 발견된 이상치 예시
critical_outliers = [
    "키: 250cm, 체중: 1130kg",
    "혈압: 300/200 mmHg", 
    "나이: 150세",
    "체온: 50도",
    ...
]
# 단위 표현 불일치 예시
unit_inconsistencies = [
    "170cm", "1.7m", "170센티미터",
    "70kg", "70킬로", "70키로그램",...
]

# 1-1. 패턴파악 예시
unit_patterns = {
    'height': r'(\d+\.?\d*)\s*(cm|m|센티미터)',
    'weight': r'(\d+\.?\d*)\s*(kg|g|킬로|키로그램)',
    'volume': r'(\d+\.?\d*)\s*(ml|cc|L|리터)',
    'temperature': r'(\d+\.?\d*)\s*(도|°C|celsius)',
    'blood_pressure': r'(\d+)\s*/\s*(\d+)',
    }

# 1-2. 표준단위 통일 예시   
def normalize_units(self, text, data_type):
    pattern = unit_patterns.get(data_type)
    if not pattern:
        return None
    match = re.search(pattern, str(text).lower())
    if match:
        if data_type == 'height':
            value, unit = match.groups()
            value = float(value)
            # m 단위는 cm로 변환
            return value if 'cm' in unit or '센티' in unit else value * 100
        elif data_type == 'weight':
            value, unit = match.groups()
            value = float(value)
            # g 단위는 kg으로 변환
            return value if 'kg' in unit or '킬로' in unit else value / 1000
        # 다른 데이터 타입들도 유사하게 처리
    return None

# 2. IQR 이상치 식별 예시
def statistical_outlier_detection(df, columns):
    outlier_results = {}
    for col in columns:
        Q1 = df[col].quantile(0.25)
        Q3 = df[col].quantile(0.75)
        IQR = Q3 - Q1
        # IQR 방법으로 이상치 경계 설정
        lower_bound = Q1 - 1.5 * IQR
        upper_bound = Q3 + 1.5 * IQR
        # 이상치 식별
        outliers = df[(df[col] < lower_bound) | (df[col] > upper_bound)]
        outlier_results[col] = {
            'count': len(outliers),
            'percentage': len(outliers) / len(df) * 100,
            'outlier_indices': outliers.index.tolist()
        }
    return outlier_results

# 검토한 의학 논문 기반 주요 지표들 
medical_literature_insights = {
    "BMI"           : "체질량지수 - 비만도 평가의 표준 지표",
    "CCI"           : "Charlson Comorbidity Index - 동반질환 중증도",
    "복합_위험인자"   : "연령+동반질환, 흡연+당뇨 등 상호작용",
    "대사증후군_지표" : "허리둘레, 혈압, 혈당 조합",
    "염증_마커"      : "CRP, ESR 등 염증 수치 조합"
}

# 2-1. 파생변수 생성 및 설계 예시
def create_derived_features(self, df):
    df['BMI'] = df['weight'] / (df['height'] / 100) ** 2
    df['obesity_level'] = df['BMI'].apply(classify_obesity)
    df['CCI'] = calculate_cci(df)
    df['high_risk_age_comorbidity'] = (df['age'] > 65) & (df['CCI'] > 2)
    df['diabetes_smoking_interaction'] = df['diabetes'] & df['smoking']
    df['hypertension_obesity_combo'] = (df['hypertension'] == 1) & (df['BMI'] > 30)
    df['metabolic_syndrome_score'] = calculate_metabolic_syndrome(df)
    df['age_risk_stratification'] = df['age'].apply(stratify_age_risk)
    return df

# 2-2. 파생변수 중 CCI 지수 설계 예시    
def calculate_cci(self, df):
    cci_weights = {
        'myocardial_infarction': 1,
        'congestive_heart_failure': 1,
        'peripheral_vascular_disease': 1,
        'cerebrovascular_disease': 1,
        'dementia': 1,
        'chronic_pulmonary_disease': 1,
        'rheumatic_disease': 1,
        'peptic_ulcer_disease': 1,
        'mild_liver_disease': 1,
        'diabetes': 1,
        'diabetes_with_chronic_complications': 2,
        'hemiplegia_or_paraplegia': 2,
        'renal_disease': 2,
        'any_malignancy': 2,
        'moderate_or_severe_liver_disease': 3,
        'metastatic_solid_tumor': 6,
        'aids_hiv': 6
    }
    cci_score = 0
    for condition, weight in cci_weights.items():
        if condition in df.columns:
            cci_score += df[condition] * weight
    return cci_score

# config.json 예시
{
    "EMR_PATH": "...",
    "structures": {
        "height": "normalize",
        "weight": "normalize",
        ...
    },
    "derived_variables": [
        "BMI",
         ...
    ],
}

# config.json 예시
{
    ...,
    "models": ["LogisticRegression", "RandomForest", ...],
    "CV": 5,               # Cross Validation
    "classwight": True,
    "gridsearch": True,
    "result": True,        # 결과 Report Table 작성
    "print_image": False,  # 결과 Graph (ROC_AUC) Table 작성
}