Một số mô hình phân tích ảnh y tế dựa trên học sâu

Tóm tắt

Nghiên cứu các mô hình học sâu để phân tích từ ảnh y tế, đặc biệt là ảnh X-quang, nhằm mục đích tạo ra các báo cáo chẩn đoán tự động. Mục tiêu chính của luận văn là xây dựng các mô hình có khả năng hiểu nội dung ngữ nghĩa của ảnh y tế và diễn đạt thông tin đó dưới dạng ngôn ngữ tự nhiên, tương tự như các bác sĩ chuyên khoa. Công trình tập trung vào việc khảo sát và thử nghiệm nhiều kiến trúc học sâu khác nhau theo mô hình mã hóa - giải mã (encoder-decoder), trong đó phần mã hóa sử dụng các mạng CNN đã được huấn luyện trước như ResNet-101 và EfficientNetB3 để trích xuất đặc trưng từ ảnh, ngoài ra còn thử nghiệm với kiến trúc Swin Transformer, một mô hình Transformer được thiết kế cho thị giác máy tính. Với phần giải mã, các mô hình sinh ngôn ngữ như Transformer Decoder, LSTM và BertEncoder-TransDecoder cũng được kết hợp thử nghiệm. Một điểm nhấn quan trọng là việc tích hợp tri thức y tế vào quá trình sinh báo cáo để giải quyết các vấn đề như sự chênh lệch giữa hình ảnh và văn bản cũng như thiếu tri thức chuyên môn. Có hai loại tri thức được sử dụng là tri thức tổng quát (General knowledge), được lấy từ đồ thị tri thức RadGraph và được mã hóa bằng mô hình RotateE. Cơ chế Knowledge-enhanced multi-head attention (KEMHA) được sử dụng để kết hợp tri thức này với đặc trưng ảnh. Tri thức riêng (Specific knowledge) được truy xuất bằng cách tìm kiếm các báo cáo tương tự (trong bộ dữ liệu MIMICCXR), trích xuất các thực thể bằng Stanza, truy vấn RadGraph để lấy các bộ ba liên quan, và mã hóa bằng mô hình Clinical BERT. Tri thức riêng sau đó cũng được tích hợp bằng cơ chế KEMHA. Các thử nghiệm trong luận văn này được thực hiện trên bộ dữ liệu IU-Xray, kết quả cho thấy sự kết hợp giữa EfficientNetB3 và Transformer Decoder mang lại hiệu suất tốt nhất trong việc tạo ra các mô tả y tế chính xác. Các mô hình được đánh giá bằng các metric như BLEU, ROUGE và CIDEr. Kết quả thực nghiệm cho thấy rằng mô hình EfficientNetB3 - Decoder’s Transformer là mô hình có hiệu suất tốt nhất trên hầu hết các chỉ số đánh giá trên tập validation và test. Việc sử dụng Knowledge graph đã cải thiện hiệu suất của mô hình này. Các mô hình khác như LSTM và Swin Transformer không cho kết quả tốt bằng trong trường hợp này