Transformer to text

trước khi đi xâu vào, chúng ta sẽ đi đến một ví dụ. Bạn đặt từ “Apple” ở mặt phẳng này? có nhiều nơi có thể xuất hiện, cho phép 3 khả năng được dán nhẵn là A, B, và C.

Nếu là mình mình sẽ chọn C bởi nhận thấy góc trái có một vài môn thể thao, góc dưới thì thấy căn nhà, góc phải thì thấy các căn nhà. Góc phải trên thì thấy một vài loại trái cây, nên mình sẽ đặ Apple vào vị trí C có tọa độ (5,5).

-> Kết luận là mình đặt apple gần với nhóm trái cây và đặt xa nhóm về phương tiện hay nhà ở.

Mình rút ra một số kinh nghiệm:

• Các số được gán giá trị từ (như tọa độ x, y) chính là word embedding theo các này từ apple sẽ được gán giá trị [5,5]

Đặt ở đâu cũng đúng , Bởi vì ‘Calf’ và ‘Cow’ đều là bò nên ở A cũng đúng. Nếu xét về tuổi thì ở B cũng đúng vì ‘Dog’ và ‘Cow’ là hai động vật trưởng thành. Nhưng tại sao ở C đúng? Bởi vì, đặt tại C giúp bắt được các mối quan hệ quan trọng giữa các từ, được mô tả thông qua hình chữ nhật.

1. “A puppy is to a dog as a calf is to a cow” or “The path from the word puppy to the word dog is the same as the path from the word calf to the word cow” —> Nếu xét từ trái sang phải: Quan hệ: Trẻ → Trưởng thành (sự phát triển theo độ tuổi).
2. A dog is to a cow as a puppy is to a calf —> Nếu xét từ dưới lên Quan hệ: Loài động vật trưởng thành → Loài động vật nhỏ hơn. (Quan hệ về kích cỡ)

[!NOTE] Vậy là embedding này hiểu được 2 thuộc tính chính (features): Tuổi(age) và Kích cỡ(size). Hơn thế nữa, là embedding này định nghĩa được trục tung là Age và trục hoành là Size

Một word embedding tốt không chỉ nắm bắt được các thuộc tính như tuổi và kích thước, mà còn nhiều đặc điểm khác của từ. Vì mỗi thuộc tính tương ứng với một chiều (axis) hoặc tọa độ mới, nên một embedding tốt cần có nhiều hơn hai tọa độ để biểu diễn mỗi từ. Ví dụ, một embedding của Cohere có đến 1024 tọa độ gán cho mỗi từ. Các hàng gồm 1024 (hoặc nhiều hơn) tọa độ này được gọi là vector, vì vậy chúng ta thường nói về vector tương ứng với một từ, và mỗi số bên trong vector được gọi là một tọa độ.

Một số tọa độ có thể biểu thị các thuộc tính quan trọng của từ, chẳng hạn như tuổi, giới tính, hoặc kích thước. Một số khác có thể biểu diễn sự kết hợp của nhiều thuộc tính, và thậm chí có những tọa độ phản ánh các đặc tính phức tạp mà con người khó có thể hiểu được. Tuy nhiên, nhìn chung, word embedding được xem là một cách hiệu quả để chuyển đổi ngôn ngữ con người (từ ngữ) thành ngôn ngữ máy tính (số liệu), từ đó tạo nền tảng để huấn luyện các mô hình machine learning với những con số này.

Khi bạn nói về bạn sẽ đặt nhóm nào, bạn sẽ không biết đặt ở đâu đành đặt nó ở giữa.

Attention sẽ giải quyết vấn đề dựa vào ngữ cảnh để giúp embedding giải quyết các bài mơ hồ (ambiguous)

Từ “Apple” có thể gây nhầm lẫn vì nó không rõ ràng đang nói về thương hiệu apple hay là quả táo vậy nên chúng ta cần ngữ cảnh. Chính các từ khác trong câu nói sẽ giúp hiểu được ý nghĩa của từ “Apple” đang đề cập đến.

Ví dụ cho 2 câu, câu hỏi đặt ra ở đây là chìa khóa (key) nào cho chúng ta biết rằng chúng ta đang nói về một loại cây (fruit) ở câu bên trái và thương hiệu ở câu bên phải.

Đáp án là : Orange ở câu bên trái và phone ở câu bên phải

Biểu diễn dưới hình học như sau:

Vậy dựa vào 2 câu này : embedding từ ‘apple’ sẽ di chuyển:

• Xét câu đầu tiên : ‘apple’ đỏ sẽ di chuyển đến gần ‘orange’ , hay có thể nói là thay đổi tọa độ ‘apple’ đỏ gốc để di chuyển đến gần tọa độ “orange”. Theo đúng nghĩa đen là từ “Orange” đang kéo “apple” đỏ lại gần
• Xét câu thứ hai : ‘apple’ đen sẽ di chuyển gần lại chữ phone.

Khi sử dụng vector mới làm embedding trong câu, mô hình sẽ dễ dàng xử lý hơn. Qua quá trình lặp lại nhiều lần, tọa độ của từ “apple” sẽ thay đổi để phản ánh đúng ngữ cảnh, ví dụ gần “orange” trong ngữ cảnh trái cây hoặc gần khu vực công nghệ khi liên quan đến công nghệ.

Đối với người , thì mình nhìn vào có thể biết “orange” ảnh hưởng đến “apple”. Nhưng máy tính thì không.

Máy tính không hiểu nghĩa “Apple” là trái táo hay thương hiệu ngay lập tức. Nó phải xem xét tất cả các từ trong câu thông qua thuật toán để điều chỉnh nghĩa của từ “Apple” sao cho phù hợp.

Khi bạn giao tiếp, ý nghĩa không chỉ đến từ câu riêng lẻ mà còn từ toàn bộ ngữ cảnh xung quanh. Nếu ngữ cảnh hiện tại của bạn đang tập trung vào chủ để trái cây thì các từ liên quan như ‘Banana’, ‘Strawberry’, và ‘Lemon’ sẽ tạo nên một ’thiên hà trái cây’ trong không gian ngữ nghĩa. Khi bạn bất ngờ nhắc đến từ ‘Apple’, từ này sẽ bị lực hấp dẫn của ’thiên hà trái cây’ kéo lại gần, khiến vector tọa độ của nó dịch chuyển để nằm gần các từ trái cây khác.

Điều này phản ánh rằng, nếu bạn đã nói về một chủ đề cụ thể trong một thời gian dài, ngữ cảnh sẽ tạo nên một ’thiên hà ngữ nghĩa’ mạnh mẽ, và bất kỳ từ nào bạn nói ra cũng sẽ bị kéo vào quỹ đạo của thiên hà đó. Đây chính là cách cơ chế Attention giúp mô hình theo dõi và duy trì ngữ cảnh, giống như việc các từ ‘hút’ lẫn nhau nhờ trọng lực.

 

Một embedding duy nhất chỉ cung cấp một góc nhìn cố định về từ không gian ngữ nghĩa. Điều này có thể ổn trong một số trường hợp, nhưng không thể xử lí được các tình huống phức tạp hoặc khi một từ mang nhiều ý nghĩa tùy thuộc vào ngữ cảnh.

Ví dụ:

• Embedding đầu tiên được đánh giá là tốt nhất vì nó phân tách rõ ràng các điểm dữ liệu trong không gian ngữ nghĩa.

• Embedding này không xử lý tốt sự mơ hồ.Các vector không được phân tách rõ ràng, dẫn đến tình trạng “Apple” trong cả hai ngữ cảnh (trái cây và công nghệ) vẫn nằm quá gần nhau.

• Embedding này chỉ ở mức chấp nhận được. Mặc dù có tách biệt phần nào “Apple” trong hai ngữ cảnh, nhưng sự phân tách chưa đủ rõ ràng, khiến Attention không thể đạt hiệu quả tối ưu.

Tốn nhiều tài nguyên và công sức: Việc xây dựng embedding chất lượng cao là một quá trình phức tạp và đòi hỏi nguồn lực lớn (dữ liệu, mô hình huấn luyện, thời gian).

Tiết kiệm bằng cách Tạo embedding mới dựa trên embedding có sẵn

Khác biệt về kích thước embedding: Các embedding được xây dựng có thể có các kích thước vector khác nhau (số chiều khác nhau). Ví dụ, một embedding có thể là vector 300 chiều, trong khi một embedding khác có thể là vector 512 chiều.

Sử dụng Linear Transformations để biến đổi để có thể combination

Cosine similarity giống như một phiên bản được chuẩn hóa của Dot product, với giá trị tối đa là 1 (khi hai vector hoàn toàn đồng hướng) và tối thiểu là -1 (khi hai vector hoàn toàn ngược hướng). Cosine similarity chỉ phụ thuộc vào góc giữa hai vector, không bị ảnh hưởng bởi độ dài của chúng.

• vector nhiều chiều -> dot product lớn -> cần normalize

Không phải lúc nào mình cx tìm được embeddim tốt, việc tạo ra embeddim mới mà tốt thì cần nhiều thời gian . Ở ví dụ dưới bạn có thể thấy khi thực hiện attention dựa vào các embeddim gốc lúc thì tốt , lúc thì xấu.

Vậy làm sao mình có thể tạo ra những embeddim tốt nhưng không tốn quá nhiều chi phí

-> Ma trận $K,Q$ sẽ giúp mình tìm được embeddim tốt bằng Linear Transformation

Trong hình, không gian vector bên trái (hình vuông) là embeddings ban đầu. Sau khi áp dụng ma trận $Q ,K$, embeddings được chuyển sang không gian bên phải (hình bình hành), giúp cải thiện Attention.

Không gian bên trái (Keys và Queries):

• Hiểu ý nghĩa của từ “buy” và các từ liên quan (ví dụ: “car,” “apple,” “phone”), dựa trên đặc điểm ngữ nghĩa như:
  • Color (Màu sắc): Táo có màu đỏ hoặc xanh.
  • Size (Kích thước): Xe hơi lớn, điện thoại nhỏ.
  • Technology: Điện thoại liên quan đến công nghệ.
  • Fruitness: Táo là một loại trái cây.
• Mục tiêu: Tìm sự tương đồng giữa các từ trong câu dựa trên đặc điểm của chúng.

Không gian bên phải (Values):

• Sử dụng thông tin từ sự tương đồng tính toán được để:
  • Xác định các từ phù hợp trong ngữ cảnh cụ thể (dự đoán từ tiếp theo).
  • Ví dụ: Trong câu “I want to buy a ___”, các từ “car,” “apple,” và “phone” nằm gần nhau trong không gian này, vì chúng có khả năng xuất hiện tiếp theo trong câu.
• Mục tiêu: Tối ưu hóa việc dự đoán từ tiếp theo dựa trên ngữ cảnh.

Bước 1 : $Q.K^T$ : giúp mô hình đo lường độ tương đồng giữa Query và các Key.

Để tránh giá trị Dot Product trở nên quá lớn khi kích thước vector lớn, chúng ta chia nó cho $\sqrt{d^k}$

Bước 2 : Softmax: nơi xác định cụ thể cách “di chuyển” các từ.(Vào mục Why use softmax to normalization để biết rõ hơn)

Bước 3: Nhân với ma trận Value:

Ma trận V đóng vai trò như một phép biến đổi tuyến tính ( linear transformation) để chuyển đổi không gian embedding bên trái thành không gian embedding bên phải. Trong không gian embedding bên phải, chúng ta thực hiện việc “di chuyển” các từ, bởi vì không gian này đã được tối ưu hóa cho chức năng chính của Transformer, đó là tìm từ tiếp theo trong một câu.

Mục đích bước Linear rất quan trọng bởi vì :

• Giảm chiều embedding từ không gian cao chiều thành không gian thấp hơn, giúp việc tính toán dễ quản lý hơn.
• Ma trận Linear không chỉ giảm chiều mà còn học cách phân loại embedding tốt/xấu:
  • Embedding tốt sẽ được phóng đại (scaled up) để có ảnh hưởng lớn hơn.
  • Embedding kém sẽ được giảm trọng số (scaled down) để giảm tác động.
• Tích hợp thông tin từ nhiều đầu:
  • Sau khi tính toán Attention từ nhiều đầu (heads), các kết quả được ghép nối (Concat) và chuyển qua một bước Linear cuối cùng.
  • Mục tiêu: Kết hợp thông tin từ tất cả các đầu Attention để tạo ra embedding tốt nhất, phù hợp với mục đích dự đoán tiếp theo.

1. Chỉ nhìn vào bên trái:

• Khi dự đoán từ $Y_0$ , mô hình chỉ được phép sử dụng thông tin từ các từ trước đó $(D_0)$ hoặc chính nó, mà không được nhìn thấy các từ bên phải ($D_1, D_2, \dots, D_n$ ).
• Điều này đảm bảo rằng mô hình học theo cách “tuần tự”, giống như cách con người xử lý ngôn ngữ.

2. Loại bỏ ảnh hưởng của từ bên phải:

• Trong quá trình tính toán $Y_0$ , cần đảm bảo rằng ảnh hưởng của các từ bên phải bị triệt tiêu hoàn toàn.
• Điều này có nghĩa là trọng số attention của các từ bên phải, ví dụ như $\alpha_{01}, \alpha_{02}, \dots,$ phải bằng 0 sau khi áp dụng softmax.

• Bài toán sinh từ yêu cầu tính toán tuần tự. Tại mỗi bước, mô hình chỉ được dựa vào thông tin đã biết.
• Nếu mô hình sử dụng thông tin từ tương lai (các từ bên phải), điều này sẽ giống như “gian lận”, phá vỡ mục tiêu học tập thực sự.