網頁開發知識 | Web-Dev Blog
Intro MongoDB Manual – Query Documents Mongo Shell The mongo Shell – MongoDB Manual 安裝 Mac $ brew tap mongodb/brew $ brew install mongodb-community-shell mongodb – Install mongo shell in mac – Stack Overflow Compass. The GUI for MongoDB. (TBC) […]
Intro 設計要點 即時搶票模型 若為 User base，則驗證資格後可以先把 status row lock，以免同一 user 搶超過數量限制 實際搶 ticket 則使用高效能的 ACID 資料結構實現即可 (例如 Redis DECR) 排隊消化模型 搶票即產生MQ，consume處理後更新狀態以供使用者後續查詢與繼續往下進行
Intro MongoDB – Wikipedia Introduction to MongoDB Cluster MongoDB Clusters Query / Mongo Shell [Mongo] Query & Mongo Shell 指南
Intro Concurrency control – 並行控制 Database – 資料庫管理系統 悲觀鎖 – PCC 悲觀並行控制 – Pessimistic Concurrency Control，縮寫「PCC」 「先取鎖再訪問」 效率不佳，且有增加產生死鎖(deadlock)機會 MySQL 實現案例 (InnoDB Transaction) # Row-level Lock for share SELECT * FROM parent WHERE NAME = ‘Jones’ FOR SHARE; # Row-level Lock […]
Intro Elasticsearch是與名為Logstash的資料收集和紀錄檔解析引擎以及名為Kibana的分析和視覺化平台一起開發。這三個產品被設計成一個整合解決方案，稱為「Elastic Stack」（以前稱為「ELK stack」）。 Wiki – Elasticsearch ELK Stack: Elasticsearch, Logstash, Kibana | Elastic Node Node (Node roles) – Configuring Elasticsearch – Elastic Cluster Set up a cluster for high availability – Elastic References 喬叔帶你上手 Elastic Stack – Gitbook 使用 […]
Intro 防範XSS、SQL Injection以及驗證資料已經是基本開發流程，但要如何標準化的去做團隊開發就是一門學問。 資料驗證 顧名思義，就是在寫入Datebase之前處理Input資料驗證。 以MVC架構來說，Validator最佳的實踐流程點是在Model/Entity上，也就是Model已定義好驗證規則，所以所有經過此Model寫入的資料都會是經過經過規則驗證通過的，提供絕佳的共用性與嚴謹度。 Yii 2 – Validating Input (Yii 2 透過Model定義Validator實踐開發) CodeIgniter/Model – Validation (CI擴充框架中，一樣透過Model定義整合Validator實踐開發) Filter前處理or後處理 以XSS來說，到底要前處理還是後處理? 兩個都沒錯，這全看你後端/資料庫那個欄位到底是定義成Plain Text還是HTML Content。 平均開發上，只要一開始寫資料庫沒特別定義，不外乎都是Plain Text，意即做後處理比較直覺(畢竟過往資料都寫進去了)。 後處理缺點 每次在前端(HTML)顯示時都須謹記後處理，漏一個沒處理就中了廣義XSS 前處理缺點 因為資料預設就是HTML，所以應付前端不須處理；相反的在需要Plain Text(例如Excel Plain Text)時就需要在後處理反轉回來 無法保障資料驗證，因為輸入過濾將影響驗證一致性，例如最大字數通過過濾的不確定性造成不精準 遇到textarea給值時需要Decode回來 (歸類input，正規給值方式value或jQuery val()，用html不標準) 綜合以上，優缺點是一體兩面的，取決於需求。 例如80/20法則，前端顯示開發較多、Plain Text顯示開發較少，那選前處理絕對較省成本，且較嚴謹(畢竟反轉與否不影響安全性)，所以依照專案與團隊自行評估即可。 我個人對於Pattern來說會選擇後處理為主，因為儲存資料定義為原始輸入資料(Plain […]
Intro 一個專案會有遇到需要操作多個資料庫的情境，然而多資料庫分離的Type一般分兩類： 同一Application分主資料庫和附屬資料庫，如分myapp與myapp_log兩個DB。 異質系統，若非API串接，也是有可能直接SQL Connection跨過去連線異質資料庫。 異質系統資料庫連線 異質系統連線沒甚麼設計模式，基本上必定需要另外設定一個連線，以PHP Yii2 Framework連線異質MySQL為例： return [ ‘components’ => [ ‘db’ => [ ‘class’ => ‘yii\db\Connection’, ‘dsn’ => ‘mysql:host=localhost;dbname=myapp’, ‘username’ => ‘user’, ‘password’ => ‘pass’, ‘charset’ => ‘utf8’, ], ‘dbOtherApp’ => [ ‘class’ => ‘yii\db\Connection’, ‘dsn’ […]
Intro Redis 快速安裝檔 安裝 $ sudo apt install redis-server That’s all 進階設定 開啟驗證 新增密碼設定 /etc/redis/redis.conf: requirepass your-password-here Redis驗證僅使用密碼，不需要帳號 Bind IP驗證 /etc/redis.conf: bind 192.168.1.100 10.0.0.1 不支援子網遮罩，不需要就註解掉，自行設防火牆。 管理介面套件 phpRedisAdmin Additoins TTL (Time to live) Redis – TTL key EXPIRE key seconds [ […]
Intro 快速設定MySQL Slow Query Log參數。 參數設定方法 可在my.cnf或是全域參數設定或修改： // 開啟Slow Query Log 預設off slow_query_log => on // Long query 時間門檻，預設10 long_query_time => 10 // 載體，預設FILE改寫進Table global log_output => TABLE
Intro MySQL Benchmark方法指南。 效能測試 取得PROFILE資料檢測Query： SET profiling=1;<query>;SHOW PROFILE; 從mysqlDB測測CPU: SELECT DISTINCT Transition_type_id FROM `time_zone_transition`; 連線測試 MySQL目前有個有趣的連線Latency問題，可參考：[MySQL] 如何佈署Database最佳連線路由 – phpMyAdmin建議走本機或內網 這邊提供測試方法(透過mysql client)： 預裝好的選mysqldatabase來測試： use mysql; 找最大的time_zone_transition來測： SELECT * FROM `time_zone_transition`; 結果範例最後的資訊帶有總體來回時間： 120208 rows in set (0.08 sec) 交叉測試便可知越遠的client connection時間越久。