今日在GPT (General Pretrained Transformer) 的助攻下，基於attention的Transformer早已是深度學習的主流模型之一。不過在電腦視覺領域，即使ViT (Vision Transformer) 與Swin Transformer相繼展現驚人成果，至今 (2023年) 以CNN (Convolution …

在電腦視覺 (Computer Vision) 領域上，不論歷經 ViT (Vision Transformer) 如何地挑戰， convolution neural network (CNN) 始終是最受喜愛的架構之一。為了提升 CNN 的效果，近年常用的設計之一就是搭配 residual path 或是多分支 (multi-branch) ， …

近年，生成式模型 (generative model) 用於圖像生成展現了驚人的成果，最知名的莫過於基於 diffusion model 的 Stable Diffusion 與 Midjourney。雖然目前還無法完整地指出 Midjourney 背後的方法，但透過 Stable Diffusion 團隊的技術論文與 diffusion mod …

在物件偵測 (object detection) 領域，不論是 anchor-based或 anchor-free方法，FPN (feature pyramid network) 與其衍生架構是提升偵測準確度的常用技巧，特別是在偵測中小物件有顯著效果。長期以來，多數人相信 FPN主要的價值在於將尺度等變 (scale equivariance) …

隨著電腦科學的發展，主流的軟體系統已經不是單單部屬在一台計算機上，而是部屬在一群計算機組成的叢集 (cluster)。一般常見的雲端資源，其實背後也都是由 cluster支持。另一方面，因為近期使用容器 (container) 來部屬應用程式也相當流行，因此部屬基於 container的 Kubernetes自然成為架設 cluster的熱門選項。 Kubernetes (k8s) 是用於自動部署、擴充和管理「容器化應用程式」的開源系統，是目前軟體開發領域炙手可熱的要角。藉由 Kubernetes可以建構出一套穩健的 cluster與營運系統，並且無縫使用大量的開源專案資源。不過 Kubernetes本身使用與操作也具有一定難度，因此對於大部分的人來說也是有一定的學習難度。這篇文章以使用者的角度，概述 container與 Kubernetes的基本架構與使用概念 …

在軟體開發中，有許多知名的法則如物件導向原則、SOLID 原則等。而這些法則其實都是基於完成一個共同的目標－生產乾淨且可重複利用的程式碼。隨著軟體專案模組的開發，會遇到的就是在不同模組之間存在一些共用的模組，或者說程式碼。這時候如何達到程式碼的隔離，並有效地管理共用模組版本是很至關緊要的。 在 Python中，可以使用的方法就是利用 git原生的 su …

生成模型 (Generative Model) 網路一直都是 machine learing中熱門的題目。除了過往的幾年中常被提起的 VAE (Variational Auto-Encoder)與 GAN (Generative Adversarial Network)，近年崛起、或者說復辟成功的其中一個方法就是擴散模型 (Diffusion M …

以應用的角度來看，程式碼的撰寫是過程，程式碼能夠帶來的功用才是有應用價值的地方。但當一個應用有一定的規模後，完成這個應用的程式碼很難是一個人去完成的，有些時候要導入一些穩定的開源碼，有些時候則是要與夥伴或同事合作完成。 因此，在大部分的開發情況下，一段程式碼被閱讀的次數遠比被修改的次數來的多。這也是為什麼會去追求所謂的專案風格的目的。一言以蔽之，讓人 …

Deep learning在電腦視覺 (Computer Vision, CV)上最常被使用的架構是 Convolution Neural Network (CNN)。 CNN以參數來做 convolution的概念可以說是 Yann LeCun於 1998年發表的 LeNet中提出的，憑藉著優異的歸納偏置 (inductive bias) 至今 …