Transformer and Its Applications

So sáng sử dụng batch size của 32 ảnh trên 1 GPU trong tập ImageNet. Valid Error với số epoch training được mô tả ở bên dưới đây:

[!NOTE] Word Embedding là kỹ thuật biểu diễn từ ngữ dưới dạng vector số thực, giúp máy học hiểu được mối quan hệ ngữ nghĩa giữa các từ. Các mạng nơ-ron có thể học các embedding này thông qua các kiến trúc như Word2Vec, FastText hoặc các mô hình hiện đại hơn như BERT.

Dựa vào binary representation của các bit ta có thể thấy được. các số 0 với 1 theo các dimeson khác nhau sẽ có tần số lặp lại khác nhau.

Trên ý tưởng đó người ta ứng dụng vào positional encoding.

Trong này từ it có mối quan hệ với từ pizza bởi vì it thay thế cho từ pizza trong câu. Và từ it sẽ có mối quan hệ kém hơn với các từ như oven, tasted. Như các bài trước chúng ta sẽ tách thành các token và sẽ embedding thành các vector.

Trọng số của từ pizza với các từ được tính bằng dot product giữa vector của từ pizza và các từ còn lại, để tốt nhất chúng ta phải normalization.

Chồng các bộ tham số Q, K, V với nhau.

Tương tự như Resnet.

Dữ liệu đầu vào được encoder xử lý qua Transformer, tạo ra các embedding cho từng từ với các trọng số attention phản ánh mối quan hệ ngữ nghĩa giữa chúng. Sau đó, decoder sử dụng đầu ra của encoder làm Key và Value cùng với target để dự đoán từ tiếp theo một cách chính xác.

Giả sử bên decoder chúng ta bật [EOS] lên 1 và các từ còn lại là 0. Chúng ta sẽ dự đoán từ tiếp theo dựa vào từ trước đó. Để dự đoán từ tiếp theo chúng ta sẽ sử dụng attention giữa từ trước đó và các từ còn lại.

Ouput ta cho qua một lớp mạng để dự đoán từ tiếp theo được dự đoán.

Ta có bộ dataset IMDB với 50k review, mỗi review có label là positive hoặc negative. Mục tiêu là dự đoán label của review.

Informer là một mô hình transformer được thiết kế để dự đoán chuỗi thời gian. Mô hình này sử dụng các biến thể của transformer để xử lý dữ liệu chuỗi thời gian, giúp giảm thời gian tính toán.

Time Consuming

Mặc dù Transformer là một kiến trúc cực kỳ mạnh mẽ và tiềm năng, song thời điểm nghiên cứu ban đầu chỉ thực hiện trên dữ liệu văn bản. Điều này đã thôi thúc các nhà nghiên cứu tìm cách áp dụng Transformer cho các kiểu dữ liệu khác, đặc biệt là dữ liệu hình ảnh. Trong số các công trình đã được thực hiện, Vision Transformer (ViT) là một điểm nổi bật.

Ý tưởng cốt lõi của ViT là chuyển đổi hình ảnh thành một chuỗi các vùng ảnh nhỏ, gọi là “patch”, tương tự như cách một câu được chia thành các từ trong ngôn ngữ. Sau khi chia hình ảnh thành các patch, mỗi patch được chuyển đổi tuyến tính (linear projection) thành một vector biểu diễn (embedding), tương tự như cách các token embedding được sử dụng trong Transformer gốc. Các vector này sau đó được kết hợp với thông tin vị trí (positional encoding) để tạo thành một chuỗi các embedding, đóng vai trò là đầu vào cho Transformer.

Khi đã có chuỗi các vector embedding này, ViT áp dụng gần như tương tự các bước tính toán như trong encoder của Transformer. Cụ thể, ViT sử dụng cơ chế self-attention để tính toán mối liên hệ giữa các patch trong toàn bộ bức ảnh, cho phép mô hình hiểu được các đặc trưng không gian và mối quan hệ giữa các vùng khác nhau trong hình ảnh. Quá trình này giúp ViT tận dụng sức mạnh tính toán song song và khả năng học các mối quan hệ dài hạn của Transformer, đồng thời thích ứng hoàn hảo với dữ liệu hình ảnh. Với cách tiếp cận này, ViT không chỉ kế thừa sức mạnh từ Transformer mà còn mở ra một hướng đi mới trong xử lý hình ảnh, nơi dữ liệu hình ảnh được biểu diễn và phân tích theo cách giống như dữ liệu ngôn ngữ. Đây chính là bước tiến quan trọng, đặt nền móng cho việc ứng dụng Transformer vào các lĩnh vực thị giác máy tính.

Để hiểu rõ cách hoạt động của ViT, chúng ta sẽ tìm hiểu từng bước xử lý mà ViT cần thực hiện trong một lần forward dữ liệu đầu vào để lấy kết quả dự đoán. Theo đó, với pipeline xử lý tổng quát của ViT, như được minh họa trong hình trên, chúng ta sẽ khám phá cách xử lý dữ liệu cho một ảnh và một batch ảnh.