Object Detection (Part 1 - Traditional Algorithms)

• 2016: YOLO (You Only Look Once) được đề xuất bởi Joseph Redmon, sử dụng single neural network để phát hiện đối tượng trong một lần duy nhất.
• 2016: SSD (Single Shot MultiBox Detector) cũng ra đời, sử dụng multi-reference và multi-resolution detection.
• 2017: RetinaNet được đề xuất bởi T.-Y. Lin, sử dụng focal loss để giải quyết vấn đề mất cân bằng lớp.
• 2019: MobileNetV3 được đề xuất bởi Andrew Howard, sử dụng thuật toán NAS+NetAdapt để tối ưu cho thiết bị di động.
• 2020: DERT (Detection Transformer) được đề xuất bởi Carion Nicolas, sử dụng end-to-end attention mechanism.

• 2001: HOG (Histogram of Oriented Gradients) được đề xuất bởi N. Dalal & B. Triggs, sử dụng để phát hiện các lớp đối tượng khác nhau.
• 2008: DPM (Deformable Part Model) được đề xuất bởi P. Felzenszwalb & R. Girshick, sử dụng root-filter và part-filter để phát hiện đối tượng.
• 2012: AlexNet ra đời, đánh dấu bước phát triển vượt bậc của CNN (Convolutional Neural Network) trong thị giác máy tính.
• 2014: R-CNN được đề xuất bởi R. Girshick, sử dụng CNN để trích xuất đặc trưng từ các vùng đề xuất (object candidate boxes).
• 2015:
  • SPPNet được đề xuất bởi K. He, sử dụng Spatial Pyramid Pooling để cải thiện hiệu suất của R-CNN.
  • Fast R-CNN cũng do R. Girshick đề xuất, cải thiện tốc độ xử lý của R-CNN.
• 2016: Faster R-CNN được đề xuất bởi S. Ren, sử dụng Region Proposal Network (RPN) để tạo vùng đề xuất, tăng tốc độ xử lý đáng kể.
• 2017: Pyramid Networks được đề xuất bởi T.-Y. Lin, sử dụng kiến trúc top-down với các kết nối lateral để phát hiện đối tượng ở nhiều tỉ lệ khác nhau.
• 2019: Context R-CNN được đề xuất bởi Beery S et.al, sử dụng long term memory bank và contextual feature để cải thiện độ chính xác.
• 2020: MnasFPN được đề xuất bởi Chen B et.al, sử dụng kiến trúc latency-aware để tối ưu tốc độ xử lý.

Để tăng tốc độ xử lý OD, người ta chia các phương pháp ra thành 3 level (3 hướng tiếp cận) chính, tùy theo tính chất của bài toán mà nhà nghiên cứu có thể tiếp cận theo level khác nhau.

Multi-scale (đa tỷ lệ) đề cập đến việc xử lý và phát hiện các đối tượng ở nhiều kích thước khác nhau trong một bức ảnh. Vấn đề này phát sinh do trong thực tế, các đối tượng có thể xuất hiện với kích thước rất đa dạng, từ nhỏ bé (ví dụ: con kiến) đến cực lớn (ví dụ: tòa nhà).

Nếu chỉ sử dụng một kích thước cố định để xử lý ảnh, mô hình có thể gặp khó khăn trong việc phát hiện các đối tượng có kích thước quá khác biệt so với kích thước đó. Ví dụ, nếu mô hình chỉ được huấn luyện trên các đối tượng lớn, nó có thể bỏ sót các đối tượng nhỏ hoặc ngược lại.

Mục tiêu là làm sao cho mô hình có thể “nhìn thấy” hình ảnh ở nhiều mức độ chi tiết, tỉ lệ khác nhau.

Có hai cách tiếp cận chính:

• Image pyramid: Chia hình ảnh đầu vào thành nhiều phiên bản với kích thước khác nhau (tạo thành một kim tự tháp ảnh), sau đó xử lý từng phiên bản độc lập.

Nguồn: link

• Feature pyramid: Tạo ra một kim tự tháp các feature map (bản đồ đặc trưng) từ các tầng khác nhau của mạng CNN. Các feature map ở tầng thấp chứa thông tin chi tiết về các đối tượng nhỏ, trong khi các feature map ở tầng cao chứa thông tin ngữ nghĩa về các đối tượng lớn.

[!NOTE] Feature pyramid học được thông tin trừu tượng hơn, giúp mô hình “hiểu” ảnh sâu hơn và cho kết quả chính xác hơn, nhưng đánh đổi bằng việc giảm tính interpretable. Ngược lại, Image pyramid dễ hiểu và diễn giải hơn, nhưng kém hiệu quả về mặt tài nguyên.

Thay vì phải xem xét tất cả các vùng có thể có trong ảnh để tìm kiếm đối tượng, Object Proposals sẽ tạo ra một tập hợp các vùng “tiềm năng” (candidate regions) có khả năng cao chứa đối tượng. Các vùng này được gọi là “object proposals” hay “region proposals”.

Điều này giúp:

• Giảm không gian tìm kiếm, bỏ qua các vùng không gian background.
• Tăng tốc độ xử lý, vì chỉ cần xem xét các vùng đề xuất thay vì toàn bộ ảnh như sliding windows.

Các phương pháp Object Detections phổ biến

• Selective Search: Dựa trên các đặc trưng màu sắc, kết cấu, và kích thước để nhóm các pixel lại với nhau và tạo thành các vùng đề xuất.

• EdgeBoxes: Sử dụng các cạnh trong ảnh để tạo vùng đề xuất -> sử dụng các features như sobel để detect cạnh phần nào nhiều cạnh xuất hiện phần đó sẽ là vùng cần được detect.

• Region Proposal Network (RPN): Một thành phần trong kiến trúc Faster R-CNN, sử dụng mạng nơ-ron để tạo vùng đề xuất -> sử dụng một mạng nơ ron để học và detect.

Anchor box là các hộp có kích thước cố định và tỷ lệ cố định đặt sẵn trong ảnh, đóng vai trò như điểm tham chiếu để mô hình dự đoán bounding box của đối tượng.

Khi thực hiện object detection, chúng ta có thể sử dụng region proposal để khoanh vùng trước khu vực có khả năng cao chứa đối tượng trong ảnh. Các thuật toán như Selective Search hay Region Proposal Network thường được dùng để tạo ra các vùng đề xuất này.

Sau đó, tại mỗi vùng đề xuất, chúng ta sẽ đặt một số lượng anchor box với kích thước và tỷ lệ cố định khác nhau. Các anchor box này đóng vai trò như “mẫu” để mô hình dự đoán bounding box của đối tượng bằng cách dự đoán độ lệch từ anchor box đến vị trí thực tế của đối tượng.

Tuy nhiên, cần lưu ý rằng không phải mô hình object detection nào cũng sử dụng cả region proposal và anchor box.

.

Hạn chế của Anchor box:

• Nhiều siêu tham số cần điều chỉnh: Cần phải xác định số lượng, kích thước, tỷ lệ của anchor box sao cho phù hợp với tập dữ liệu.
• Tính toán phức tạp: Cần phải tính toán IoU (Intersection over Union) giữa anchor box và ground-truth box cho mỗi vị trí trên feature map.
• Mất cân bằng giữa positive và negative anchor boxes: Thường có rất nhiều anchor box không chứa đối tượng (negative), dẫn đến mất cân bằng trong quá trình huấn luyện.

Thay vì dựa vào anchor box, các phương pháp anchor-free dự đoán trực tiếp vị trí và kích thước của đối tượng dựa trên các đặc trưng của feature map.

Một số thuật toán anchor-free phổ biến:

• CornerNet: Phát hiện đối tượng bằng cách dự đoán hai góc của bounding box (góc trên bên trái và góc dưới bên phải).
• CenterNet: Phát hiện đối tượng bằng cách dự đoán tâm của bounding box và kích thước của đối tượng.
• FCOS (Fully Convolutional One-Stage Object Detection): Dự đoán trực tiếp bounding box cho mỗi điểm trên feature map.
• RepPoints: Sử dụng một tập hợp các điểm đại diện để biểu diễn đối tượng, sau đó dự đoán bounding box dựa trên các điểm này.

Context Priming trong Object Detection là một kỹ thuật tận dụng thông tin ngữ cảnh (contextual information) trong ảnh để cải thiện độ chính xác của việc phát hiện đối tượng. Ý tưởng chính là các đối tượng thường xuất hiện trong những ngữ cảnh nhất định, và việc hiểu được ngữ cảnh này có thể giúp mô hình dự đoán chính xác hơn.

Ví dụ, nếu ta thấy một cái bàn, ta có thể mong đợi sẽ thấy các đối tượng liên quan như ghế, máy tính, sách vở,… ở gần đó. Hoặc nếu ta thấy một người đang cầm vợt tennis, ta có thể suy ra rằng có khả năng cao sẽ có một quả bóng tennis hoặc một sân tennis trong ảnh.

Lưu ý rằng ta chỉ lấy thêm 1 phần nhỏ xung quanh đối tượng mới cải thiện được performance, không lấy quá nhiều → local context.

Global Context là việc nắm bắt thông tin toàn bộ bức ảnh.

CNN truyền thống chủ yếu tập trung vào local context, nhưng có thể kết hợp với các kỹ thuật như Global Average Pooling (GAP) hoặc Attention mechanism để lấy thông tin toàn cục từ ảnh.

Hard Negative Mining là một kỹ thuật được sử dụng trong Object Detection để cải thiện độ chính xác của mô hình bằng cách tập trung vào những hard negative samples.

Negative samples là những vùng trong ảnh không chứa đối tượng mà chúng ta quan tâm, trong quá trình huấn luyện mô hình object detection, chúng ta cần cung cấp cho mô hình cả Positive samples (chứa đối tượng) và Negative samples (không chứa đối tượng ) để mô hình phân biệt nếu không thì mô hình sẽ rất dễ bị bias cũng như khôgn dự đoán tốt được class bị imbalanced (trainning trên số lượng ít hơn nhiều so với các class khác)

Giai đoạn đầu, Bootstrap được sử dụng rộng rãi để xử lý các vấn đề về hạn chế tài nguyên tính toán.

• Ý tưởng: Bootstrap là một kỹ thuật tối ưu trong lấy mẫu, trong đó ta lấy mẫu ngẫu nhiên có thể lặp lại từ tập dữ liệu gốc để tạo tập dữ liệu mới (giống bootstrap trong decision tree nhỉ).

• Ứng dụng trong Hard Negative Mining: Bootstrap được sử dụng để tạo ra các tập huấn luyện chứa nhiều mẫu negative khó hơn, giúp cải thiện hiệu quả huấn luyện khi tài nguyên tính toán còn hạn chế.

• Một số phương pháp tiêu biểu:

  • Face Det. (H. A. Rowley et al-CMUTechRep1995)
  • Haar Det. (C. P. Papageorgiou et al-ICCV1998)
  • VJ Det. (P. Viola et al-CVPR2001)
  • HOG Det. (N. Dalal et al-CVPR2005)
  • DPM (P. Felzenszwalb et al-CVPR2008, ΤΡΑΜ12010)

Giai đoạn này, các phương pháp **không tập trung **vào Hard Negative Mining mà chủ yếu cân bằng trọng số giữa các lớp đối tượng và lớp nền.

• Ý tưởng: thay vì tìm kiếm các mẫu âm khó, các phương pháp tập trung vào việc điều chỉnh trọng số (weight) của các lớp trong hàm loss, giúp cân bằng giữa mẫu negative và positive.

• Một số phương pháp tiêu biểu:
  • RCNN (R. Girshick et al-CVPR2014)
  • SPPNet (K. He et al-ECCV2014)
  • Fast RCNN (R. Girshick-ICCV2015)
  • Faster RCNN (S. Ren et al-NIPS2015)
  • YOLO (J. Redmon et al-CVPR2016)

Giai đoạn này đánh dấu sự trở lại của Bootstrap, kết hợp với các hàm loss mới, tập trung vào việc khai thác các mẫu khó.

• Ý tưởng: Sử dụng Bootstrap để tạo ra các tập huấn luyện chứa nhiều mẫu âm khó, đồng thời sử dụng các hàm loss mới để tập trung vào việc huấn luyện trên các mẫu này.
• Một số phương pháp tiêu biểu:
  • SSD (W. Liu et al-ECCV2016)
  • FasterPed (L. Zhang et al-ECCV2016)
  • OHEM (A. Shrivastava et al-CVPR2016)
  • RetinaNet (T. Y. Lin et al-ICCV2017)
  • RefineDet (Zhang et al-CVPR18)
  • FCOS (Z. Tian et al-ICCV2019)
  • YOLOv4 (A. Bochkovskiy et al-arXiv2020)

Non-maximum suppression (NMS) là một kỹ thuật post-processing được sử dụng để loại bỏ các bounding box trùng lặp và chỉ giữ lại các bounding box tốt có độ tin cậy cao nhất.

Đây là phương pháp NMS truyền thống sử dụng thuật toán tham lam (greedy algorithm) để loại bỏ các bounding box trùng lặp.

Ý tưởng: Chọn bounding box có độ tin cậy cao nhất, sau đó bỏ các bounding box chồng chéo với nó. Lặp lại qúa trình đến khi không còn bounding box nào.

Hạn chế: Có thể loại bỏ nhầm các bouding box của các đối tượng gần nhau.

Nhánh này tập trung vào việc tổng hợp các bounding box chồng chéo để tạo ra bounding box chính xác hơn.

Ý tưởng: Thay vì loại bỏ các bounding box chồng chéo, các phương pháp này kết hợp chúng lại để tạo ra bounding box mới có vị trí và kích thước chính xác hơn.

Lợi ích: Cải thiện độ chính xác, đặc biệt là khi các đối tượng gần nhau.

Nhánh này sử dụng học máy để học cách thực hiện NMS.

Ý tưởng: Huấn luyện một mô hình để học cách lựa chọn bounding box tối ưu, thay vì sử dụng các thuật toán tham lam cố định.

Lợi ích: Cải thiện độ chính xác và khả năng thích ứng với các tập dữ liệu khác nhau.

Nhánh này phát triển các mô hình Object Detection không cần sử dụng NMS.

Ý tưởng: Thiết kế kiến trúc mạng và hàm loss để mô hình tự động dự đoán các bounding box không trùng lặp.

Lợi ích: Đơn giản hóa quy trình, giảm thời gian xử lý.

• Làm sao trích xuất được thông tin/feature có trong window đó.
• Từ các thông tin trích xuất được, làm sao để phân loại đối tượng đó chính xác

Ta có thể sử dụng các thông tin có sẵn trong image như:

Haar-like features: Các đặc trưng haar-like là các bộ lọc đơn giản dựa trên sự khác biệt của cường độ các pixel giữa các vùng hình chữ nhật. Chúng tìm kiếm thông tin sẵn có trong pixel như:

• Edge (Cạnh): Là ranh giới giữa các vùng có màu sắc hoặc cường độ sáng khác nhau.
• Corners (Góc): Là điểm giao của 2 cạnh hoặc là điểm có độ cong cao.

SIFT (Scale-Invariant Feature Transform): là một thuật toán trích xuất đặc trưng (feature extraction) giúp tìm các điểm quan trọng bất biến với tỉ lệ xoay, biến đổi ánh sáng.

• Ưu điểm:
  • Dễ tính toán, hiệu quả với các tác vụ đơn giản.
• Nhược điểm:
  • Phải xử lý rất nhiều ROI từ window
  • Do đó dù dễ tính và interpretable nhưng tổng thể cực kì chậm chạp.
  • Khó hiểu các đặc trưng phức tạp nhạt cảm với nhiễu và các biến đổi nhỏ.

Không phải áp bộ kernel này trong 1 lần mà là phải Sliding window rất nhiều lần

“Viola-Jones uses 24*24 as base window size and calculates the above features all over the image shifting by 1 PX (Template + Feature). There are over 160,000 possible feature combinations that can fit into a 24x24 pixel image, and over 250,000 for a 28x28 image.”

Giả sử ta có 1 ROI được lưu dưới máy tính như sau:

Và filter để detect mũi như sau:

Ta sẽ lấy tổng toàn bộ giá trị pixel trong vùng màu đen - tổng pixel trong vùng màu trắng.

Vậy bạn có thể thay đổi giá trị filter thành con số bất kì, nó không ảnh hưởng đến các giá trị của image.

Integral Image. Idea chính của nó là làm đẩy qua 1 bước trung gian, tính tổng 1 lần ban đầu, sau đó ta có thể đưa các bước tính tổng tiếp theo

Ta sẽ tạo một ma trận mới với các giá trị của nó sẽ được tính bằng tổng các giá trị ở vị trí bên trái và phía trên của bức ảnh gốc

Nhìn vào hình minh họa bên dưới, ta có thể thấy

• Cách thông thường → long way $\mathcal O(N)$ do phải chạy vòng lặp tính tổng toàn bộ pixel ảnh gốc.
• Short way → $\mathcal O(1)$ do chỉ cần lấy giá trị góc phải của ROI là 178 - đi góc phải của vùng liền kề bên trái là 90.

[!NOTE] Vậy công thức tổng quát để tính tổng của một vùng filter bất kì ở original image thông qua integral image sẽ là \text{Giá trị tổng của index (pixel integral image) : } 4 -(2+3) + 1

Lí do ta phải cộng lại cho 1 là vì $4-(2+3)$ vô tình trừ đi 2 lần vùng $A$

AdaBoost giúp chọn ra một tập hợp nhỏ các đặc trưng tốt nhất, có khả năng phân loại cao nhất.

• Mỗi đặc trưng Haar-like tương ứng với một bộ phân loại yếu. AdaBoost sẽ huấn luyện các bộ phân loại yếu này trên tập dữ liệu huấn luyện.
• AdaBoost sẽ gán trọng số cho từng mẫu huấn luyện. Các mẫu bị phân loại sai sẽ được gán trọng số cao hơn.
• Sau đó chọn ra những bộ phân loại yếu có hiệu suất tốt nhất trên tập dữ liệu được gán trọng số.
• Và cuối cùng là kết hợp các bộ phân loại yếu đã chọn thành một bộ phân loại mạnh (strong classifier).

Vì top-K filter đã đủ để 100% positive samples, vậy chỉ cần những ROI nào không đáp ứng top-K filter đó thì ta loại bỏ. Còn nếu đáp ứng thì tiếp tục apply những filter tiếp theo để tăng accuracy. Do đó hình vẽ ban đầu mới chia ra thành nhiều stage với số lượng filter lớn hơn.

Phương pháp này được gọi là Cascade Classifier.

Tại mỗi pixel, chúng ta sẽ quan tâm đến 2 giá trị:

1. Độ lớn (magnitude)
2. Hướng (direction)

Giả sử ta crop được hình ảnh người đàn ông như bức hình bên dưới (làm sao crop được thì không được đề cập trong bài giảng).

1. Ta resize nó về 64x128

2. Sau đó lại tiếp tục chia nó thành một grid, mỗi ô 8x8, áp dụng kernel như câu 40 ta sẽ ra được 2 ma trận như sau:

3. Chia ảnh thành các ô nhỏ (cells). Thường kích thước mỗi ô là 8x8 pixels.

Trong mỗi cell, xây dựng histogram 9 bins theo hướng gradient (từ 0° đến 180°, hoặc 0° đến 360° tùy chọn).

Image pyramid là việc biểu diễn một hình ảnh ở nhiều độ phân giải (resolution) hay multi-scale khác nhau.

Có hai loại Image pyramids chính:

• Gaussian Image pyramids : Mỗi cấp độ trong kim tự tháp được tạo ra bằng cách làm mờ (Gaussian blur) và sau đó lấy mẫu xuống (downsampling) phiên bản trước đó.
• Laplacian Image pyramids: Kim tự tháp này lưu trữ sự khác biệt giữa các cấp độ trong kim tự tháp Gaussian. Nó được sử dụng để tái tạo lại hình ảnh gốc từ kim tự tháp Gaussian.

Soft NMS là một cải tiến của thuật toán Non-Maximum Suppression (NMS) truyền thống, được đề xuất để giải quyết vấn đề loại bỏ nhầm các bounding box chứa đối tượng.

Thay vì loại bỏ hoàn toàn các bounding box có IoU lớn, Soft NMS sẽ giảm confidence score của chúng. Mức độ giảm điểm số phụ thuộc vào IoU giữa các bounding box.

Decoupled head là phần head của mô hình được tách thành hai nhánh độc lập, thường là:

1. Branch 1: Classification Head - Chịu trách nhiệm dự đoán nhãn lớp của các đối tượng trong ảnh.
2. Branch 2: Regression Head - Chịu trách nhiệm dự đoán tọa độ hộp giới hạn (bounding box) của các đối tượng.

Mỗi head chịu trách nhiệm khác nhau

• Classification cần tập trung vào việc phân biệt các đặc trưng của các lớp đối tượng.
• Regression đòi hỏi độ chính xác cao trong việc ước lượng tọa độ bounding box.

Hai nhiệm vụ này có bản chất và trọng tâm khác nhau, việc dùng chung một head sẽ khiến mô hình khó tối ưu tốt cho cả hai. Nếu không tách biệt, hai nhiệm vụ có thể “cạnh tranh” trong việc tối ưu hóa các tham số của mô hình, dẫn đến hiệu suất thấp hơn.

Vấn đề nằm ở bước Fully-connected cuối khi tổng hợp thông tin. Số neurons ở bước này phải khai báo trước và cố định cho toàn bộ samples. Do đó nếu input size khác nhau sẽ không match với lớp FC cuối này.

Điều này vô tình giúp CNN tạo ra tính localization, giống với pooling có thể tổng hợp thông tin ở nhiều vị trí khác nhau của input (có nghĩa mỗi cột sẽ vẫn là ouput của một sliding windows nhưng tại vì số lượng input lớn hơn nên tạo nhiều sliding windows hơn tạo ra nhiều output của nhiều sliding windows hơn).