AI và học máy đang biến đổi hình ảnh y tế, nhưng đào tạo các mô hình này đòi hỏi các bộ dữ liệu lớn, được phân biệt danh tính đúng cách. trong hướng dẫn này, bạn sẽ tìm hiểu làm thế nào để ** chuẩn bị các tập dữ kiện DICOM cho nghiên cứu AI** bằng cách sử dụng một dòng công việc hoàn chỉnh kết hợp với phân tích danh tiếng với xuất khẩu metadata JSON cho sự tích hợp không dây vào các đường ống ML.

Bảng nội dung

Tại sao AI Research cần dữ liệu DICOM Anonymous

Các mô hình AI hình ảnh y tế cho chẩn đoán, phân khúc và phát hiện đòi hỏi dữ liệu đào tạo đáng kể. Dữ liệu này phải được ẩn danh thích hợp để tuân thủ HIPAA, GDPR, và các chính sách tổ chức. Ngoài ra, hợp tác nghiên cứu thường bao gồm nhiều cơ quan, làm cho tiêu chuẩn hóa de-identification cần thiết.

Việc chuẩn bị tập tin dữ liệu đúng đắn liên quan đến nhiều hơn là chỉ cần xóa tên bệnh nhân. nó đòi hỏi phải xử lý một cách có hệ thống tất cả các thông tin nhận dạng, áp dụng liên tục các quy tắc ẩn danh trên hàng ngàn tệp, và định dạng chuyển đổi mà làm cho data có thể truy cập vào các khung ML.

Rủi ro của việc chuẩn bị dữ liệu không phù hợp

Sử dụng các bộ dữ liệu được phân biệt danh hoặc cấu trúc không đúng tạo ra những vấn đề đáng kể. Sự hiểu biết không đầy đủ có thể tiếp xúc với thông tin của bệnh nhân, dẫn đến vi phạm quy định và bất hợp pháp về đạo đức. Việc nhận dạng không liên tục trên một bộ data có khả năng đưa ra sự hiểu lầm hoặc các câu hỏi về chất lượng. Các metadata không cấu hình làm cho nó khó khăn để lọc, truy vấn, và xử lý trước các dữ kiện cho đào tạo mô hình.

Những rủi ro này được giảm bớt bằng cách sử dụng các đường ống tự động, liên tục và chuyển đổi dữ liệu sang định dạng thân thiện với máy.

Khung công việc chuẩn bị hoàn chỉnh

Quá trình làm việc đầy đủ bao gồm bốn giai đoạn. Thứ nhất, bộ phân tích các nghiên cứu DICOM bằng cách sử dụng các hồ sơ liên tục. thứ hai, chuyển đổi các metadata ẩn danh sang JSON để nhập đường ống; thứ ba, lưu trữ hình ảnh và metadat để truy cập vào khuôn khổ ML; Thứ tư, duy trì bản mapping giữa các ID vô danh và ban đầu trong bảo quản an toàn.

Chúng ta hãy thực hiện từng giai đoạn với các ví dụ mã.

Batch Anonymization (liên kết sửa đổi)

Bắt đầu bằng cách vô danh bộ sưu tập DICOM của bạn với một hồ sơ liên tục:

using Aspose.Medical.Dicom;
using Aspose.Medical.Dicom.Anonymization;

public class DicomDatasetPreparation
{
    private readonly string _inputFolder;
    private readonly string _outputFolder;
    private readonly string _mappingFile;
    private readonly Anonymizer _anonymizer;
    private readonly List<string> _mappings = new();

    public DicomDatasetPreparation(string inputFolder, string outputFolder)
    {
        _inputFolder = inputFolder;
        _outputFolder = outputFolder;
        _mappingFile = Path.Combine(outputFolder, "id_mapping.csv");

        Directory.CreateDirectory(outputFolder);

        // Create anonymizer with research-appropriate profile
        ConfidentialityProfile profile = ConfidentialityProfile.CreateDefault(
            ConfidentialityProfileOptions.BasicProfile |
            ConfidentialityProfileOptions.RetainPatientChars
        );
        _anonymizer = new Anonymizer(profile);

        _mappings.Add("OriginalFile,AnonymizedFile,Timestamp");
    }

    public async Task ProcessDatasetAsync()
    {
        string[] dicomFiles = Directory.GetFiles(_inputFolder, "*.dcm", SearchOption.AllDirectories);
        Console.WriteLine($"Found {dicomFiles.Length} DICOM files to process.");

        int processed = 0;
        int failed = 0;

        foreach (string filePath in dicomFiles)
        {
            try
            {
                string relativePath = Path.GetRelativePath(_inputFolder, filePath);
                string outputPath = Path.Combine(_outputFolder, "images", relativePath);

                Directory.CreateDirectory(Path.GetDirectoryName(outputPath)!);

                DicomFile dcm = DicomFile.Open(filePath);
                DicomFile anonymizedDcm = _anonymizer.Anonymize(dcm);
                anonymizedDcm.Save(outputPath);

                // Record mapping for audit trail
                _mappings.Add($"\"{relativePath}\",\"{outputPath}\",\"{DateTime.UtcNow:O}\"");

                processed++;
                if (processed % 100 == 0)
                {
                    Console.WriteLine($"Progress: {processed}/{dicomFiles.Length}");
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Error processing {filePath}: {ex.Message}");
                failed++;
            }
        }

        // Save mapping file
        await File.WriteAllLinesAsync(_mappingFile, _mappings);

        Console.WriteLine($"\nAnonymization complete:");
        Console.WriteLine($"  Processed: {processed}");
        Console.WriteLine($"  Failed: {failed}");
        Console.WriteLine($"  Mapping file: {_mappingFile}");
    }
}

Chuyển đổi Metadata sang JSON

Sau khi được ẩn danh, chuyển đổi metadata sang JSON cho nhúng đường ống ML:

using Aspose.Medical.Dicom;
using Aspose.Medical.Dicom.Serialization;

public class MetadataExporter
{
    public async Task ExportMetadataToJsonAsync(string dicomFolder, string jsonOutputPath)
    {
        string[] dicomFiles = Directory.GetFiles(dicomFolder, "*.dcm", SearchOption.AllDirectories);
        List<Dataset> datasets = new();

        Console.WriteLine($"Extracting metadata from {dicomFiles.Length} files...");

        foreach (string filePath in dicomFiles)
        {
            try
            {
                DicomFile dcm = DicomFile.Open(filePath);
                datasets.Add(dcm.Dataset);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Skipping {filePath}: {ex.Message}");
            }
        }

        // Serialize all datasets to JSON array
        string jsonArray = DicomJsonSerializer.Serialize(datasets.ToArray(), writeIndented: true);
        await File.WriteAllTextAsync(jsonOutputPath, jsonArray);

        Console.WriteLine($"Exported {datasets.Count} datasets to {jsonOutputPath}");
    }

    public async Task ExportMetadataPerFileAsync(string dicomFolder, string jsonOutputFolder)
    {
        Directory.CreateDirectory(jsonOutputFolder);
        string[] dicomFiles = Directory.GetFiles(dicomFolder, "*.dcm", SearchOption.AllDirectories);

        foreach (string filePath in dicomFiles)
        {
            try
            {
                DicomFile dcm = DicomFile.Open(filePath);
                string json = DicomJsonSerializer.Serialize(dcm, writeIndented: true);

                string jsonFileName = Path.GetFileNameWithoutExtension(filePath) + ".json";
                string jsonPath = Path.Combine(jsonOutputFolder, jsonFileName);
                await File.WriteAllTextAsync(jsonPath, json);
            }
            catch (Exception ex)
            {
                Console.WriteLine($"Error exporting {filePath}: {ex.Message}");
            }
        }

        Console.WriteLine($"Individual JSON files saved to {jsonOutputFolder}");
    }
}

Kết hợp với ống ML

JSON xuất khẩu có thể được tải vào các khung ML và công cụ khác nhau.

Tải về Python với Pandas

import json
import pandas as pd

# Load the JSON array
with open('dicom_metadata.json', 'r') as f:
    dicom_data = json.load(f)

# Flatten nested structure for analysis
def extract_values(record):
    result = {}
    for tag, data in record.items():
        if 'Value' in data and data['Value']:
            value = data['Value'][0]
            if isinstance(value, dict) and 'Alphabetic' in value:
                result[tag] = value['Alphabetic']
            else:
                result[tag] = value
    return result

flat_data = [extract_values(record) for record in dicom_data]
df = pd.DataFrame(flat_data)

print(df.head())
print(f"Dataset shape: {df.shape}")

Đánh giá về Elasticsearch

from elasticsearch import Elasticsearch, helpers

es = Elasticsearch(['http://localhost:9200'])

with open('dicom_metadata.json', 'r') as f:
    dicom_data = json.load(f)

def generate_actions(data):
    for i, record in enumerate(data):
        yield {
            '_index': 'dicom_studies',
            '_id': i,
            '_source': record
        }

helpers.bulk(es, generate_actions(dicom_data))
print(f"Indexed {len(dicom_data)} records to Elasticsearch")

Màn hình Pipeline Script

Dưới đây là một kịch bản C# hoàn chỉnh thực hiện toàn bộ dòng công việc chuẩn bị:

using Aspose.Medical.Dicom;
using Aspose.Medical.Dicom.Anonymization;
using Aspose.Medical.Dicom.Serialization;

class Program
{
    static async Task Main(string[] args)
    {
        string inputFolder = args.Length > 0 ? args[0] : @"C:\DicomSource";
        string outputFolder = args.Length > 1 ? args[1] : @"C:\DicomPrepared";

        Console.WriteLine("=== DICOM Dataset Preparation for AI ===\n");

        // Step 1: Anonymize
        Console.WriteLine("Step 1: Anonymizing DICOM files...");
        var prep = new DicomDatasetPreparation(inputFolder, outputFolder);
        await prep.ProcessDatasetAsync();

        // Step 2: Export metadata to JSON
        Console.WriteLine("\nStep 2: Exporting metadata to JSON...");
        var exporter = new MetadataExporter();
        string anonymizedFolder = Path.Combine(outputFolder, "images");
        string jsonOutput = Path.Combine(outputFolder, "metadata.json");
        await exporter.ExportMetadataToJsonAsync(anonymizedFolder, jsonOutput);

        Console.WriteLine("\n=== Dataset Preparation Complete ===");
        Console.WriteLine($"Anonymized images: {Path.Combine(outputFolder, "images")}");
        Console.WriteLine($"Metadata JSON: {jsonOutput}");
        Console.WriteLine($"ID Mapping: {Path.Combine(outputFolder, "id_mapping.csv")}");
    }
}

Thực hành tốt nhất (Best Practices)

  • Bảo mật ID mapping lưu trữ** là điều cần thiết.Maping giữa những người nhận dạng ẩn danh và ban đầu nên được lưu giữ ở một vị trí an toàn, kiểm soát truy cập riêng biệt với dữ liệu không danh tính.Điều này cho phép xác định lại nếu cần để theo dõi lâm sàng trong khi duy trì quyền riêng tư.

** Đăng ký tất cả các hoạt động** cho khả năng tái tạo. ghi lại các tập tin đã được xử lý, khi nào, với hồ sơ nào và bất kỳ lỗi nào xảy ra. Tài liệu này là quan trọng đối với các yêu cầu tái phát nghiên cứu và kiểm toán.

Đánh giá kết quả mẫu trước khi xử lý toàn bộ tập tin dữ liệu. kiểm tra các tệp ẩn danh để đảm bảo hồ sơ hoạt động như mong đợi và chất lượng hình ảnh được bảo tồn.

Consider data partitioning cho các tập dữ liệu lớn.Organize output by study type, modality, or other relevant criteria to facilitate subset selection for different training tasks.

Kết luận = kết luận

Chuẩn bị các bộ dữ liệu DICOM cho AI và học máy đòi hỏi sự chú ý cẩn thận đến quyền riêng tư, tính nhất quán và khả năng tương thích định dạng.Bằng cách sử dụng Aspose.Medical cho .NET, bạn có thể xây dựng các ống dẫn tự động kết hợp các nghiên cứu với các hồ sơ liên tục, xuất khẩu metadata cho JSON cho việc thu thập khuôn khổ ML, và duy trì các con đường kiểm toán để tái tạo.

Quá trình làm việc này đảm bảo dữ liệu nghiên cứu của bạn được xác định đúng cách, được cấu trúc tốt và sẵn sàng cho thế hệ tiếp theo của AI hình ảnh y tế.

Để biết thêm thông tin và ví dụ, hãy truy cập ASPOSE - Tài liệu y tếĐể thử các khả năng API đầy đủ, Nhận giấy phép tạm thời miễn phí.

More in this category