# 实验3 · 数据资产盘点：扫描数据库生成资产清单

> 对应模块 M2 ｜ 2 学时 ｜ 产出物：《数据资产清单.xlsx》（含库/表/字段/体量/负责人/级别）
> 一句话：分类分级的前提是"知道自己有什么数据"——盘点比识别更枯燥也更值钱

## 实验目标
对课程环境 3 个数据库（MySQL 业务库、MySQL 影子库、PostgreSQL）做全量 schema 扫描，输出带敏感级别标注的资产清单，并发现 1 个"影子库违规拷贝"风险点。

## 前置条件
- 实验2 完成（打标结果可复用）
- 库连接信息：
  - MySQL 业务库 192.168.32.130:3306，bank_biz，root / fds_root_2026
  - MySQL 影子库 192.168.32.130:3307，bank_shadow，root / fds_root_2026
  - PostgreSQL 192.168.32.130:15432，bank_rl，postgres / fds_pg_2026

## 实验步骤

### Step 1：扫描三个库的元数据（20 分钟）
新建 `scan_assets.py` 照抄：

```python
import pymysql, psycopg2, pandas as pd

def scan_mysql(host, port, db):
    c = pymysql.connect(host=host, port=port, user='root',
                        password='fds_root_2026', database='information_schema')
    sql = """
    SELECT table_schema AS 库, table_name AS 表,
           table_rows AS 行数估算,
           ROUND(data_length/1024/1024,1) AS 大小MB,
           table_comment AS 备注
    FROM tables WHERE table_schema = %s"""
    tables = pd.read_sql(sql, c, params=(db,))
    cols = pd.read_sql("""
    SELECT table_name AS 表, column_name AS 字段, column_type AS 类型,
           column_comment AS 注释
    FROM columns WHERE table_schema = %s""", c, params=(db,))
    c.close()
    return tables, cols

t1, c1 = scan_mysql('192.168.32.130', 3306, 'bank_biz')
t2, c2 = scan_mysql('192.168.32.130', 3307, 'bank_shadow')

pg = psycopg2.connect(host='192.168.32.130', port=15432, user='postgres',
                      password='fds_pg_2026', dbname='bank_rl')
t3 = pd.read_sql("""
    SELECT schemaname AS 库, relname AS 表,
           n_live_tup AS 行数估算,
           pg_size_pretty(pg_total_relation_size(relid)) AS 大小
    FROM pg_stat_user_tables""", pg)

print("== bank_biz ==");  print(t1)
print("== bank_shadow =="); print(t2)
print("== bank_rl ==");    print(t3)
t1.assign(实例="mysql-biz").append(t2.assign(实例="mysql-shadow")) \
  .to_csv("exp03_表清单.csv", index=False, encoding="utf-8-sig")
c1.assign(实例="mysql-biz").append(c2.assign(实例="mysql-shadow")) \
  .to_csv("exp03_字段清单.csv", index=False, encoding="utf-8-sig")
```

运行：`python scan_assets.py`，检查两个 CSV 已生成。

### Step 2：合并打标结果（15 分钟）
用 Excel 或 pandas 把 `exp03_字段清单.csv` 与实验2 的 `exp02_全表打标.csv` 按"表+字段"左连接，
给每个字段补上【识别类型/级别】两列：
```python
f = pd.read_csv("exp03_字段清单.csv")
m = pd.read_csv("exp02_全表打标.csv")        # 列名按你实验2的输出调整
merged = f.merge(m, on=["表", "字段"], how="left")
merged.to_csv("exp03_字段清单-已定级.csv", index=False, encoding="utf-8-sig")
```

### Step 3：发现影子库风险（15 分钟）——本实验的点睛之笔
```bash
python - << 'EOF'
import pymysql, pandas as pd
a = pymysql.connect(host='192.168.32.130', port=3306, user='root',
                    password='fds_root_2026', database='bank_biz')
b = pymysql.connect(host='192.168.32.130', port=3307, user='root',
                    password='fds_root_2026', database='bank_shadow')
da = pd.read_sql("SELECT * FROM customers LIMIT 3", a)
db = pd.read_sql("SELECT * FROM customers LIMIT 3", b)
print("业务库样例:"); print(da)
print("影子库样例:"); print(db)
EOF
```
对比输出回答三个问题并写进报告：
1. 影子库和业务库的字段结构一致吗？（一致=全量拷贝）
2. 影子库的数据**脱敏了吗**？（看姓名/证件号是否明文）
3. 影子库有没有单独的访问控制与审批记录？（去控制台页签⑥查审计）

结论写法示例：**"shadow 库为生产库全量拷贝、含明文 C2 字段、无独立审批——构成 M3 实验5 的整改对象"**。

### Step 4：补齐管理信息（10 分钟）
清单补 3 列：负责人（自拟岗位如"科技部-数据管理员"）、存储位置（实例名）、定级（继承实验2）。
真实工作中这三列最难填——课程里允许自拟，但格式必须齐。

## 验收自查
- [ ] 两个 CSV 覆盖 3 个库全部业务表
- [ ] 每个字段有级别标注（含"未识别-待人工"也算标注）
- [ ] 影子库风险结论 ≥ 3 句话有对比证据
- [ ] 负责人/位置/定级三列齐全

## 评分要点（10 分制）
扫描完整 3 分｜定级合并正确 3 分｜影子库风险发现与论证 3 分｜清单字段齐全 1 分

## 常见问题
| 问题 | 处理 |
|---|---|
| append 报 FutureWarning/AttributeError | 新版 pandas 改用 `pd.concat([t1, t2], ignore_index=True)` |
| PG 行数估算为 0 | 统计信息未更新；先在 PG 里对每表跑一次 `SELECT count(*)` 再看 |
| 影子库连不上 | 3307 是容器映射端口，确认 `docker compose ps` 里 mysql-shadow Up |

## 提交物
`scan_assets.py` + `exp03_表清单.csv` + `exp03_字段清单-已定级.csv` + 影子库风险分析（≥3 句）
