Giải pháp CDN cho site ảnh

loại này giờ làm vì đam mê chứ lúa thì còn lâu bác ah!

 

Chuẩn rồi em. Em post vụ này anh mới nhớ ra nó Lâu quá ko xài cái này.

 

Tại sao thế vậy a. Nếu request liên tục thì đúng là rủi ro thật. Nhưng làm theo cách trên thì gần như là nó lưu vĩnh viễn luôn. Cho tới khi nào mình không muốn lưu nữa thì thôi chứ. Kể cả bản quyền nếu mình không share trực tiếp thì cũng không bị xóa được. Vì e có hơn 1TB phim còn lưu trên đó từ 2014 đến h. Vẫn còn nguyên

 

Pé @Nai đã nói hết rồi. Cái rủi ro lớn nhất là khi đã bị detect vi phạm thì thường sẽ ra đi nguyên 1 dàn acc. Content ảnh nói chung, thường ít vi phạm và nếu có vi phạm thì cũng nhẹ chứ không căng như phim. Tuy nhiên, ảnh của các lĩnh vực mà bị report bản quyền thì rủi ro khá cao. Ngoài ra còn 1 lí do nữa là anh khá ác cảm với Google vì đã từng bị nó càn quét acc năm 2011 rồi, ám ảnh mãi không quên
Còn nếu mua dung lượng từ Google thì cũng mắc lòi ra. Chưa kể vẫn không né được nếu bị report bản quyền.

 

Chuẩn rồi a. Vụ bản quyền chơi vs gg thì hơi căng. E đang nói đến giải pháp mà cụ sincos nêu ra là dùng gg làm nơi backup. Cache mình lưu lên những server trung gian. Request sẽ request đến server này để lấy ảnh chứ ko lấy trực tiếp từ gg. Nên cách này ko thể bị bản quyền đc

 

Bác nói đúng. Giải pháp thì là vậy còn cách làm thì tùy mỗi người. Biến tấu sao cho nó hợp với mình nhất là được

 

site us tổng có 2TB dữ liệu thôi. mình download FULL ảnh của mangapark mang về nhà để rồi. còn vấn đề CDN cứ dùng của cloudflare khi nào site bác lớn có doanh thu thì tính theo kiểu khác. 1 site chung bình nhỏ. bác chả có cách nào dùng hết băng thông free do cloudflare cho đâu.

còn nettruyện chặn là dùng firewall là dc

 

Cảm ơn bác đã share kinh nghiệm quý báu của mình. E còn biến tấu 1 vài thứ nữa nên dữ liệu hơi nhiều chút. Dữ liệu craw về đc hơn 6TB rồi. E tính trước để set up server với các thứ một thể. Sau này scale lên mà ngay lúc đầu thiết kế đã không ổn thì mệt lắm bác

 

Những phân tích của cụ @money và @Nai đều chính xác cả. Anh em trong nghề đủ lâu cũng sẽ ngộ ra hết các điều đó. Nắm được cái lợi, cái rủi ro của từng trường hợp để xem xét dùng như nào cho phù hợp.

Riêng mình khi crawl data mình luôn lưu info của page được crawl như url, link images...... nên khi cân nhắc dùng cách lưu trữ thì sẽ như sau:

- Google drive: Chủ yếu lưu những thứ không quan trọng - nếu bay acc thì có chỉ cần thay acc và code tự check không có thì sẽ tự tải lại và up lên. Cũng vì không muốn quấy phá site victim nhiều...... đơn giản mình là loại ký sinh nên không nên hại chủ thể. Ngoài ra khi lưu trên Google mình sẽ chọn extension là null --> hệ thống google không check data của file là gì nên hạn chế được vụ bản quyền này nọ.
- Server storage: Lưu dữ liệu quan trọng hoặc dữ liệu không có khả năng reCrawl khi bị mất (thường dữ liệu lấy từ nhiều nguồn hoặc nguồn không ổn định).
- Server cache: Dùng để phục vụ embed cho site và là nơi bộ đệm hạn chế request quá nhiều tới site victim hay google drive. Nhiều coder non cứ phang proxy cực đoan như mấy site truyện kia rất dễ gây khó chịu cho site nguồn --> hay bị chặn -> mất ổn định.

Nếu tính toán và setup tốt thì chúng ta có thể đứng trên vai người khổng lồ. Có data ngang ngửa với người khổng lồ trong khi tài nguyên server hạn hẹp.

Cách đây hơn 1 năm mình có làm dịch vụ stream video cho các site phim khi google drive fix.... Khi đó chỉ có 1 cách là proxy là ổn định nên đã scale dịch vụ có lúc gần 500 con VPS 5$ trên DO để chạy. Thật là tuyệt vời với Port toàn ~~ 10Gbs của DO và khi đó DO chưa counting BW như hiện tại. Tuy nhiên đêm động phòng thường không kéo dài..... dc 2 tháng sau khi Google fix... dân streaming đổ về DO và CF quá nhiều có lúc 2 ông lớn này gần ngỏm vì lụt BW...... và sau đó là DO counting và tính thêm BW phát sinh...... CF thì limit ~~ 10TB/acc/day (vượt sẽ bị bóp chậm như rùa).

 

Mình không rõ.... nếu có thì phải do cả làng streaming chứ không riêng gì mình. Mình thì đoán chắc trước đó DO đang mải scale và chiều khách nên thả hoặc chưa Dev xong module countinh BW..... và mình cũng hiểu là cái này sẽ là tất yếu thôi. BW luôn là thứ đắt đỏ mà.

 

Nghe các pro nói chuyện có khác. Đúng là đi 1 ngày đàng học đc một mớ kinh nghiệm. Những thứ mà nếu tự học hỏi có khi phải mất vài năm. Đa tạ cụ @sincos @Nai @money

 

Em có ý kiến thế này, bác thử xem nhé.
Mua 1 vps riêng chuyên chứa ảnh. Add vào Cloudflare, bật cached 30 ngày.
Ở site chính của bác, bác thêm một proxy này nữa giống thế này này http://i0.wp.com/i-vnexpress.vnecdn.net/2018/12/03/importxls-event-1-coordinates-R332-time-1486528668.jpg
trong đó thay i0, i1, i2, i3 random cho đẹp. Có thể thêm ?resize=200,200 để resize ảnh cho nhẹ. Coi như cách của em cached được 2 lớp. Giảm tải cho VPS ảnh của bác

Vụ bản quyền, nếu các bác sợ lưu trên mấy VPS (khác Nga ) hoặc google drive.... bị dính bản quyền. Thì bác tìm thể loại "free offshore hosting" hoặc "offshore VPS" . Location bên NGA, khỏe re không ai dám đụng.

 

Cám ơn bác đã cho giải pháp. E hỏi ngu chút cái proxy http:// i0.wp.com... là gì vậy ạ

 

Cái này cứ dí thẳng vào trước url ảnh thôi anh. Nó là cdn của photon jetpack.

 

Cái này chỉ wp mới xài đc hả cụ. E ko dùng wp

 

Anh vẫn dùng cách này. Nhưng vẫn ko ổn lắm. Site auto thì ok còn site có đầu tư thì vẫn cần storage ảnh.