閱讀筆記：GPU的指令運算細節

最近看到了一篇 Nervana 發表的文章
他們宣稱可以讓 CUDA 矩陣乘法運算速度在 Maxwell 上達到理論上限的 90% 以上
裡面除了用到 register blocking（從別的 paper 借來用的技巧）
也講解了很多一般不太可能知道的 NVIDIA GPU 運作細節
讓人不禁懷疑作者是不是從 NVIDIA 的相關部門拿到資料
知道這些細節之後，就可能產生出高效率的矩陣乘法 CUDA kernel

東京四日行（二）

從日本回來已經快一個月了
繼續把剩下的東西補齊
這邊紀錄一下有去的景點
基本上都是東京市區搭地鐵好到的

東京四日行（一）

今年過年期間去日本旅遊
在東京跟北海道各待了四天
趁記憶還新鮮的時候
先來紀錄一下東京的交通方式
說不定以後有機會用到
景點、食物的紀錄稍晚再說好了

Neural network 的 forward/backward propagation （二）

修改係數 W 的流程前一篇中講了 forward propagation 的目的有二

1. testing 階段用來猜出 label
2. training 階段看猜出的 label 離答案多遠，藉此可以在 backward propagation 計算係數矩陣 W 要作什麼修改

這邊說明修改係數矩陣 W 的流程

Neural network 的 forward/backward propagation （一）

因為種種需要，所以重新看了一下 neural network (NN) 的教學
http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/
其實這篇講的蠻清楚的
不過這邊試著自己用比較圖像、直觀的方式自己解釋一次
如果以後自己要複習的時候比較好用

攔截 dynamic library 裡面的函數 - 3

前面的文章中
Part 1 說明了如何用 LD_PRELOAD 替換掉 dynamic library 的函數
Part 2 說明了如果是 dlopen 開啟的 dynamic library 要如何處理

攔截 dynamic library 裡面的函數 - 2

Part 1 中說明了如何使用 LD_PRELOAD
攔截 link stage 階段包進去的 dynamic library
這些 library 可以夠過 ldd 看到
不過有時候 dynamic library 是透過 dlfcn.h 下的 dlopen 實現的